http://www.mcanerin.com/EN/search-engine/robots-txt.asp 간단한 로봇파일을 만들어주는 사이트이다. 어떤 봇을 차단할지, 또 디렉토리는 어떤 디렉토리를 차단할지 결정한 뒤에 생성버튼을 누르면 끝. 이후 노트장에 복사해서 robots.txt 파일로 저장, 계정 최상단에 올려주면 된다. 그리고 하단을 보면 주요 포탈사이트의 봇 정책에 대해 알수있다. 구글을 보니 crawl-delay를 지원하지 않는다는 치명적인 사실이.. 킁.. 타 포털사이트 봇들은 crawl-delay 옵션이 적용되어서 방문횟수가 부쩍 줄었는데, 구글은 역으로 증가하고 있다. 한달에 대략 8천번정도 들락거리는데, 이걸 차단해버려.. 아님 말어..

처음 태터를 만들었을때, 봇은 나에게 좋은 친구였다. 포털사이트의 블로그와는 달리, 고립되어 있던 나에게, 내 대신 내 블로그를 홍보도 해주고, 가끔 방문객도 모셔오는 소중한 존재였기 때문이다. 그러나 포스트를 작성할수록 봇은 나에게 부담이 되기 시작했다. 하루에도 수백번씩 긇어가는 봇들을 보면, 가끔 트래픽오버에 몸서리칠만큼...그래서 봇들을 제한하기 시작하였다. 처음엔 MSN과 Yahoo봇들을 먼저 막아놓았다. 워낙에 많이 긇어가기에 트래픽에 부담이 되기 때문이었다. 다만 구글의 경우, 그다지 많이 긇어가는 것이 아니기에 그대로 놨두었다. 그리고 몇일이 지났을까... 이전에는 별다른 히트수를 기록하지 않던 구글봇의 접속숫자가 급격히 늘어나기 시작하였다. 왜 그럴까.. 곰곰히 생각하다, 나는 한가지 추..