얼마전 이삼구글님의 블로그를 통해 구글 웹마스터 툴 업데이트 소식을 확인하고, 구글 로봇정책을 변경하였습니다. 그간 구글의 경우, 로봇파일의 Crawl-delay 옵션을 무시하는 관계로 방문횟수를 제한하는데 많은 어려움이 있었는데, 이번 업데이트를 통해 좀더 손쉽게 제어가 가능하게 되었네요. 기존 구글 사이트맵 등록자는 크롤링 옵션에서 빠름, 정상, 느림 이 세가지 옵션중 하나를 선택하여 로봇의 방문횟수를 제한할 수 있습니다. 또 구글봇 활동 리포트도 이번 업데이트를 통해 공개되었습니다. 소금이의 블로그에 대한 구글 봇 활동 리포트는 다음과 같습니다. 하루평균 1334회나 방문하고 최고 40메가까지 봇이 긇어간 흔적이 있군요. 3.5기가 트랙백에 비하면 아직 여유가 있긴하지만 그렇다고해도 부담이 되는 수..

이 글은 라온수카이님의 포스트를 트랙백한 글입니다. 오늘 큰맘먹고 봇 검색금지 파일인 robots파일을 설치했다. 카운터 숫자가 좀 신경쓰이긴 하지만 그것보단 봇의 행패가 너무 심하기 때문이다. 소금이 블러그의 통계보기 최근 3일간의 웹로그. 보통 포스트를 쓰는 날이면 순수하게 방문객분들이 100여명정도 다녀간다. 그런데 로봇은 거의 3배에 달하는 264.. 도대체 얼마나 긁어가는거야;; 어떤 로봇이 이렇게 긁어가나 보았더니, 야후와 MSN.. 구글도 있지만 그렇게 심각할정도는 아니다. 아무리 열린검색도 좋지만, 이렇게 심각할줄이야.. 게다가 이해할수가 없는 것은 지난번에 읽어간 파일을 매일매일 또 읽어간다는 것. 저장된 페이지가 예전자료를 보여주고, 검색자가 내 사이트를 직접 클릭시에만 읽어가면 안되겠..