검색엔진 최적화(SEO)에서 검색로봇 접근 제어를 설정합니다. |

3. robots.txt 내용은 다음 예시를 참고할 수 있습니다.
※ 검색로봇의 종류와 이름
- 구글 : Googlebot
- 구글 이미지 : Googlebot-image
- 구글 모바일 : Googlebot-mobile
- 야후 : Slurp, yahoo-slurp
- 네이버 : naverbot
- 다음 : daumos
1) 모든 검색로봇이 쇼핑몰 정보를 수집하도록 허용
- User-agent: *
- Allow: /
2) 모든 검색로봇이 쇼핑몰 정보를 수집하지 못하도록 차단
- User-agent: *
- Disallow: /
3) 네이버 검색로봇만 쇼핑몰 정보를 수집하도록 허용
- User-agent: naverbot
- Allow: /
- User-agent: *
- Disallow: /
4) 네이버 검색로봇이 .gif 파일 형식을 수집하지 못하도록 차단
- User-agent: naverbot
- Disallow: /*.gif$
5) 네이버 검색로봇이 admin, tmp 디렉토리에 접근하지 못하도록 차단
- User-agent: naverbot
- Disallow: /admin/
- Disallow: /tmp/
6) 네이버 검색로봇이 게시판을 수집하지 못하도록 차단
(예시:네이버)
- User-agent: naverbot
- Disallow: /board/
※ 게시판 종류별 접근 차단 설정
- 게시판 전체 페이지 접근 차단 → Disallow: /board/ 로 입력
- 일반 분류 게시판 접근 차단 → Disallow: /board/free/ 로 입력
- 상품 분류 게시판 접근 차단 → Disallow: /board/product/ 로 입력
댓글
댓글 0개
댓글을 남기려면 로그인하세요.