반응형

티스토리 robots 태그를 통해 검색 색인 해제하기


각 검색엔진에는 웹페이지를 크롤링하는 봇이 있습니다. 크롤링을 간단히 설명하자면 무수히 많은 컴퓨터에 저장된 분산된 문서를 수집하여 웹페이지의 검색 대상으로 색인하는 것입니다.

대표적으로 구글이 온갖 전세계의 문서를 수집하는 것에 안달이 나있다는 인식이 많는데, 이외의 사이트도 다양한 문서를 색인하고 있습니다.

같은 내용의 게시글이 여러 검색 결과에 노출될 경우, 원하든 원치 않았든 저품질의 원인이 될 수 있기에 이를 주의해야 합니다.

HTML 메타 태그인 robots를 통해 여러 사이트에 내 게시글이 노출되는 것을 해결해 보도록 하겠습니다.


 

티스토리 html 편집 메타 태그 추가하는 방법


<meta name="NaverBot" content="noindex, nofollow" />
<meta name="Yeti" content="noindex, nofollow" />

만약 네이버 크롤러에게 색인되고 싶지 않을 경우 상단과 같이 추가하면 됩니다.

네이버에 Yeti 라는 크롤러가 추가로 존재하기 때문에 네이버의 색인을 피하고 싶으실 경우 둘 다 등록하셔야 할 것 같습니다.

티스토리 설정 - 스킨 편집 - html 편집을 누르고 상단 <head>부터 하단 <head>까지 아무 곳에나 한 줄 추가하시면 됩니다.

저는 편의상 7번 줄에 추가했습니다.

 


 

티스토리 robots 등 색인 로봇 종류


네이버 외에도 다양한 크롤러가 있는데, 큰따옴표 내에 추가할 수 있는 목록은 다음과 같습니다.

robots (모든 검색엔진)
Googlebot (구글)
Bingbot (빙)
Daumoa (다음)
Zumbot (줌)
NaverBot (네이버)
Yeti (네이버2)

만약 티스토리 색인을 막고 싶다면 html 편집에 각 사이트를 추가해 주시면 됩니다. 만약 모든 검색엔진에서 퍼가는 게 싫다면 robots를 추가하면 됩니다. 끝

 

반응형
  • 네이버 블러그 공유하기
  • 네이버 밴드에 공유하기
  • 페이스북 공유하기
  • 카카오스토리 공유하기