[질답/버그/제안] robots.txt 관련
밑에 글이 어떤 분이 쓰신 robots.txt 글인데 이렇게 차단을 해도 상관없을까여?
왜냐면 구글에 제 사이트를 검색하면은 글만 나오게 하고 싶은데 페이지.PHP등 잡다한 것들이 너무 많이 노출이 되어서요
Disallow로 차단할 파일을 전부 지정해주는 것 보다 허용할 파일만 지정해주고 나머지는 전부 차단 권장.
User-agent: *
Disallow: /
Allow: /index.php
Allow: /bbs/board.php
Allow: /bbs/list.php
Allow: /bbs/new.php
Allow: /bbs/view.php
Allow: /bbs/group.php
Allow: /bbs/link.php
Allow: /bbs/search.php
Allow: /bbs/tb.php
Allow: /bbs/rss.php