X-Robots-Tag 실용 문제와 해결

By Wooribg Wooribg 5월 01, 2025

X-Robots-Tag 헤더는 웹 서버의 HTTP 응답 헤더에 설정할 수 있는 메타 태그로, 검색 엔진이 해당 페이지를 크롤링하고 색인화할 수 있는지를 제어합니다.

HTML 문서 안에 <meta name="robots" content="...">로 설정하는 것과 비슷하지만, X-Robots-Tag는 HTML 외의 파일(예: PDF, 이미지, 비디오 등)에도 적용할 수 있다는 장점이 있습니다.

X-Robots-Tag 를 블로그스팟 헤더에 SEO 목적으로 넣는데 저장 에러가 발생해서 더욱 깊이 알아 보게 되었습니다.

헤드 태그 X-Robots-Tag ,SEO

🎯 X-Robots-Tag 사용 방법 예시

X-Robots-Tag: noindex, nofollow

위 설정은 "이 페이지를 검색엔진에 색인하지 말고, 페이지 내 링크도 따라가지 마라"는 의미입니다.

🎯 자주 쓰이는 값의 의미

값 + 의미

noindex 검색 결과에 표시하지 않음
nofollow 링크를 따라가지 않음
noarchive 캐시를 저장하지 않음
nosnippet 검색 결과에 요약문을 표시하지 않음
noimageindex 이미지 검색에 색인하지 않음
none noindex, nofollow와 동일

🌐 실제 적용 예시 (Apache 또는 Nginx)

Apache (.htaccess)

<Files "secret.pdf">
Header set X-Robots-Tag "noindex, noarchive, nosnippet"
</Files>

location ~* \.pdf$ {
add_header X-Robots-Tag "noindex, noarchive, nosnippet";
}

이 적용의 설정이 필요하다면 특정 파일이나 파일 형식에만 적용해서 검색 엔진 노출을 정밀하게 제어할 수 있어 SEO 관리에 유용합니다.

아파치 서버 관리 부분은 배제 하지만, 참고 적으로 알아 본 부분입니다.

🌐원하는 목적에 따라 선택적 적용 예제

블로그 헤드태그로 작성

X-Robots-Tag는 HTTP 응답 헤더에서 주로 사용되지만, HTML 문서의 <head> 태그 안에 설정하고 싶다면 <meta> 태그를 사용해야 합니다. 기능은 거의 동일하지만, 이름이 다릅니다.

✅ <head> 태그에 설정하는 방법 (meta robots)

위 주의 : <meta name="robots" content="noindex, nofollow/">

주요 옵션 설명 / 설정값 설명

index 색인 허용 (기본값)
noindex 색인 금지
follow 링크 추적 허용 (기본값)
nofollow 링크 추적 금지
noarchive 검색엔진 캐시 금지
nosnippet 검색결과에 요약문(스니펫) 표시 금지
noimageindex 이미지 검색 색인 금지

예: 검색엔진에서 페이지 노출도 링크 추적도 모두 막고 싶을 때

🌐참고 robots

특정 검색엔진에만 적용하고 싶다면 name="googlebot"처럼 이름을 바꿀 수 있습니다.

🌐Googlebot 전용 설정, 특정 조건에 따른 예시

🔍 원인 1: 템플릿 HTML 안에서 잘못된 위치에 삽입됨

<head> 태그 안에 있어야 하며, 다른 태그와 충돌이 없어야 합니다.

<b:include> 태그와 충돌하거나 자동 삽입된 태그보다 먼저 삽입되면 에러가 날 수 있습니다.

✔️ 해결 예시: 올바른 위치

</head>

Blogger에서는 <meta name="robots">보다 <b:include ...> 태그 이후에 추가하거나, 자동 SEO 설정 기능을 사용하는 것이 더 안전합니다.

🔍 원인 2: 고급 SEO 설정과 충돌

Blogger는 자체적으로 "로봇 메타 태그" 설정 기능이 있습니다.
수동으로 <meta name="robots">를 넣으면 충돌할 수 있습니다.

✔️ 해결 방법

Blogger 관리 → 설정(Settings) → 검색 환경 설정(Search preferences) 으로 이동

사용자 지정 로봇 메타 태그(Custom robots tags) 항목 활성화
홈 페이지, 아카이브, 게시글 등에 대해 원하는 설정 (index, follow 등) 선택

🔍 원인 3: 문법 오류 또는 잘못된 인코딩

Blogger는 태그가 XHTML 스타일로 닫히지 않으면 오류를 내는 경우가 많습니다.

✔️ 수정 예시 중요

✅ 문제/해결 요약

별거 아닌 것 같은 헤드태그 하나도 제대로 알고 적용해야 SEO에 보탬이 되겠지만, 아무렇게나 헤드태그를 삽입한다면 도리어 SEO 점수가 낮아 지게 될 것입니다.
문제와 해결을 자세히 보는 습관을 가져야 하겠습니다.

※ 삽입 위치 오류 <head> 내에서 <b:include> 이후 삽입
※ 설정 충돌 Blogger의 "사용자 지정 로봇 메타 태그" 사용
※ 문법 오류 <meta ... />로 닫는 XHTML 스타일 사용

다행스럽게 블로그스팟에서는 이런 작은 실수에도 HTML 소스가 저장이 안되고 에러를 도출해 줍니다.

#저장에러 #블로그스팟에러 #HTML저장에러 #X-Robots-Tag #해드태그

Wooribg