구글 웹마스터 업데이트.. 구글봇 정책 변경중.

얼마전 이삼구글님의 블로그를 통해 구글 웹마스터 툴 업데이트 소식을 확인하고, 구글 로봇정책을 변경하였습니다. 그간 구글의 경우, 로봇파일의 Crawl-delay 옵션을 무시하는 관계로 방문횟수를 제한하는데 많은 어려움이 있었는데, 이번 업데이트를 통해 좀더 손쉽게 제어가 가능하게 되었네요.

기존 구글 사이트맵 등록자는 크롤링 옵션에서 빠름, 정상, 느림 이 세가지 옵션중 하나를 선택하여 로봇의 방문횟수를 제한할 수 있습니다.

또 구글봇 활동 리포트도 이번 업데이트를 통해 공개되었습니다. 소금이의 블로그에 대한 구글 봇 활동 리포트는 다음과 같습니다.

하루평균 1334회나 방문하고 최고 40메가까지 봇이 긇어간 흔적이 있군요. 3.5기가 트랙백에 비하면 아직 여유가 있긴하지만 그렇다고해도 부담이 되는 수치임에는 틀림이 없습니다. 야후나 msn봇의 경우, 겨우 50~80정도의 수치를 유지하고 있는것에 반하여 말이죠. 일단 크롤링 정책을 느림으로 변경하였는데, 얼마나 줄어들지 신경써서 지켜보아야 겠네요.

어찌되었든 그간 구글봇때문에 신경쓰이셨던 분들은 이번 업데이트를 통해 한시름 놓았겠네요. 구글의 경우, 다음검색과 연계되어있어 무작정 막기도 뭐했는데(사실 검색결과를 통한 방문자 유입은 구글과 다음을 통해 들어온 분이 대부분이지요) 이번 업데이트는 정말 대 환영입니다. 구글봇에 시달리는 일은 이제 더이상 없었으면 좋겠네요.