야후봇, 너무 심각해... ㅡㅡ;

이 글은 라온수카이님의 포스트를 트랙백한 글입니다.

오늘 큰맘먹고 봇 검색금지 파일인 robots파일을 설치했다. 카운터 숫자가 좀 신경쓰이긴 하지만 그것보단 봇의 행패가 너무 심하기 때문이다.

소금이 블러그의 통계보기

최근 3일간의 웹로그. 보통 포스트를 쓰는 날이면 순수하게 방문객분들이 100여명정도 다녀간다. 그런데 로봇은 거의 3배에 달하는 264.. 도대체 얼마나 긁어가는거야;;

어떤 로봇이 이렇게 긁어가나 보았더니,

야후와 MSN.. 구글도 있지만 그렇게 심각할정도는 아니다.

아무리 열린검색도 좋지만, 이렇게 심각할줄이야.. 게다가 이해할수가 없는 것은 지난번에 읽어간 파일을 매일매일 또 읽어간다는 것. 저장된 페이지가 예전자료를 보여주고, 검색자가 내 사이트를 직접 클릭시에만 읽어가면 안되겠니 ㅡㅡ;

그래서 로봇파일을 통해 야후와 MSN봇을 막기로 결정. 트래픽 낭비가 너무 심한데에다가, 야후의 경우는 인코딩에 문제가 있는지 경로분석시 한글이 깨져나온다. 구글은 아무이상이 없는데. 따라서 검색자가 어떤 경로로 들어오는지 확인할수도 없고, 물론 효율적인 사이트 운영책을 세우는 자료로도 활용할수 없다.

이걸로 잘 막을수 있으면 좋을텐데.. 그런데 국내검색은 뭐로 막지;; 우리나라회사는 로봇도 무시하던데.. 킁;;