[질답/버그/제안] robots.txt 관련
test
분류아미나샘플
조회95
댓글0

밑에 글이 어떤 분이 쓰신 robots.txt  글인데 이렇게 차단을 해도 상관없을까여?

왜냐면 구글에 제 사이트를 검색하면은 글만 나오게 하고 싶은데 페이지.PHP등 잡다한 것들이 너무 많이 노출이 되어서요


Disallow로 차단할 파일을 전부 지정해주는 것 보다 허용할 파일만 지정해주고 나머지는 전부 차단 권장.

 

User-agent: * 

Disallow: / 

Allow: /index.php 

Allow: /bbs/board.php 

Allow: /bbs/list.php 

Allow: /bbs/new.php 

Allow: /bbs/view.php 

Allow: /bbs/group.php 

Allow: /bbs/link.php 

Allow: /bbs/search.php 

Allow: /bbs/tb.php 

Allow: /bbs/rss.php 

0 Comments
포토 제목