야후봇, 너무 심각해... ㅡㅡ;

이 글은 라온수카이님의 포스트를 트랙백한 글입니다. 오늘 큰맘먹고 봇 검색금지 파일인 robots파일을 설치했다. 카운터 숫자가 좀 신경쓰이긴 하지만 그것보단 봇의 행패가 너무 심하기 때문이다. 소금이 블러그의 통계보기 최근 3일간의 웹로그. 보통 포스트를 쓰는 날이면 순수하게 방문객분들이 100여명정도 다녀간다. 그런데 로봇은 거의 3배에 달하는 264.. 도대체 얼마나 긁어가는거야;; 어떤 로봇이 이렇게 긁어가나 보았더니, 야후와 MSN.. 구글도 있지만 그렇게 심각할정도는 아니다. 아무리 열린검색도 좋지만, 이렇게 심각할줄이야.. 게다가 이해할수가 없는 것은 지난번에 읽어간 파일을 매일매일 또 읽어간다는 것. 저장된 페이지가 예전자료를 보여주고, 검색자가 내 사이트를 직접 클릭시에만 읽어가면 안되겠..

2006.04.05