Robots 파일 생성해주는 사이트
2006. 7. 14. 03:27ㆍIssue/IT
http://www.mcanerin.com/EN/search-engine/robots-txt.asp
간단한 로봇파일을 만들어주는 사이트이다. 어떤 봇을 차단할지, 또 디렉토리는 어떤 디렉토리를 차단할지 결정한 뒤에 생성버튼을 누르면 끝. 이후 노트장에 복사해서 robots.txt 파일로 저장, 계정 최상단에 올려주면 된다.
그리고 하단을 보면 주요 포탈사이트의 봇 정책에 대해 알수있다. 구글을 보니 crawl-delay를 지원하지 않는다는 치명적인 사실이.. 킁..
타 포털사이트 봇들은 crawl-delay 옵션이 적용되어서 방문횟수가 부쩍 줄었는데, 구글은 역으로 증가하고 있다. 한달에 대략 8천번정도 들락거리는데, 이걸 차단해버려.. 아님 말어..
간단한 로봇파일을 만들어주는 사이트이다. 어떤 봇을 차단할지, 또 디렉토리는 어떤 디렉토리를 차단할지 결정한 뒤에 생성버튼을 누르면 끝. 이후 노트장에 복사해서 robots.txt 파일로 저장, 계정 최상단에 올려주면 된다.
그리고 하단을 보면 주요 포탈사이트의 봇 정책에 대해 알수있다. 구글을 보니 crawl-delay를 지원하지 않는다는 치명적인 사실이.. 킁..
타 포털사이트 봇들은 crawl-delay 옵션이 적용되어서 방문횟수가 부쩍 줄었는데, 구글은 역으로 증가하고 있다. 한달에 대략 8천번정도 들락거리는데, 이걸 차단해버려.. 아님 말어..
'Issue > IT' 카테고리의 다른 글
네띠앙의 침몰.. (2) | 2006.08.04 |
---|---|
파란 블로그, 분발중입니다. ^^ (11) | 2006.07.26 |
구글의 Gmail 도메인 서비스를 설치하다. (12) | 2006.06.10 |
구글 Analytics를 설치하다. (2) | 2006.06.09 |
구글의 도메인 서비스, 처음부터 난관이네요..ㅠ_ㅠ (8) | 2006.06.07 |