검색로봇 접근 제어 설정

   

  3. robots.txt 내용은 다음 예시를 참고할 수 있습니다.

  ※ 검색로봇의 종류와 이름

     - 구글 : Googlebot

     - 구글 이미지 : Googlebot-image

     - 구글 모바일 : Googlebot-mobile

     - 야후 : Slurp, yahoo-slurp

     - 네이버 : naverbot

     - 다음 : daumos

    1) 모든 검색로봇이 쇼핑몰 정보를 수집하도록 허용

       - User-agent: *

       - Allow: /

    2)  모든 검색로봇이 쇼핑몰 정보를 수집하지 못하도록 차단

       - User-agent: *

       - Disallow: /

    3) 네이버 검색로봇만 쇼핑몰 정보를 수집하도록 허용

       - User-agent: naverbot

       - Allow: /

       - User-agent: *

       - Disallow: /

    4) 네이버 검색로봇이 .gif 파일 형식을 수집하지 못하도록 차단

       - User-agent: naverbot

       - Disallow: /*.gif$

    5) 네이버 검색로봇이 admin, tmp 디렉토리에 접근하지 못하도록 차단

       - User-agent: naverbot

       - Disallow: /admin/

       - Disallow: /tmp/

    6) 네이버 검색로봇이 게시판을 수집하지 못하도록 차단

         (예시:네이버)

       - User-agent: naverbot
       - Disallow: /board/

      ※ 게시판 종류별 접근 차단 설정

       - 게시판 전체 페이지 접근 차단 → Disallow: /board/ 로 입력

       - 일반 분류 게시판 접근 차단 → Disallow: /board/free/ 로 입력

       - 상품 분류 게시판 접근 차단 → Disallow: /board/product/ 로 입력