얼마전 이삼구글님의 블로그를 통해 구글 웹마스터 툴 업데이트 소식을 확인하고, 구글 로봇정책을 변경하였습니다. 그간 구글의 경우, 로봇파일의 Crawl-delay 옵션을 무시하는 관계로 방문횟수를 제한하는데 많은 어려움이 있었는데, 이번 업데이트를 통해 좀더 손쉽게 제어가 가능하게 되었네요.
기존 구글 사이트맵 등록자는 크롤링 옵션에서 빠름, 정상, 느림 이 세가지 옵션중 하나를 선택하여 로봇의 방문횟수를 제한할 수 있습니다.
또 구글봇 활동 리포트도 이번 업데이트를 통해 공개되었습니다. 소금이의 블로그에 대한 구글 봇 활동 리포트는 다음과 같습니다.
어찌되었든 그간 구글봇때문에 신경쓰이셨던 분들은 이번 업데이트를 통해 한시름 놓았겠네요. 구글의 경우, 다음검색과 연계되어있어 무작정 막기도 뭐했는데(사실 검색결과를 통한 방문자 유입은 구글과 다음을 통해 들어온 분이 대부분이지요) 이번 업데이트는 정말 대 환영입니다. 구글봇에 시달리는 일은 이제 더이상 없었으면 좋겠네요.
