Robots 파일 생성해주는 사이트

http://www.mcanerin.com/EN/search-engine/robots-txt.asp

간단한 로봇파일을 만들어주는 사이트이다. 어떤 봇을 차단할지, 또 디렉토리는 어떤 디렉토리를 차단할지 결정한 뒤에 생성버튼을 누르면 끝. 이후 노트장에 복사해서 robots.txt 파일로 저장, 계정 최상단에 올려주면 된다.

그리고 하단을 보면 주요 포탈사이트의 봇 정책에 대해 알수있다. 구글을 보니 crawl-delay를 지원하지 않는다는 치명적인 사실이.. 킁..

타 포털사이트 봇들은 crawl-delay 옵션이 적용되어서 방문횟수가 부쩍 줄었는데, 구글은 역으로 증가하고 있다. 한달에 대략 8천번정도 들락거리는데, 이걸 차단해버려.. 아님 말어..