구글 서치 콘솔에서 "색인 생성"

구글 서치 콘솔에서 "색인 생성"

구글 서치 콘솔에서 "색인 생성"은 구글이 웹페이지를 발견하고 콘텐츠를 분석한 후 검색 결과에 포함하기 위해 인덱스에 추가하는 것을 의미합니다. 색인이 생성된 페이지는 구글의 검색 결과에 노출될 수 있는 페이지입니다. 반대로 색인이 생성되지 않은 페이지는 구글의 검색 결과에 포함되지 않으며, 사용자들이 구글 검색을 통해 이 페이지를 찾을 수 없게 됩니다. 색인이 생성되지 않는 원인에는 여러 가지가 있으며, 각 원인에 따라 문제 증상, 원인, 결과, 해결책이 다릅니다. 여기에서는 6가지 주요 원인과 그에 대한 설명을 제공합니다.

---

1. 적절한 표준 태그가 포함된 대체 페이지

증상:
구글 서치 콘솔에서 "적절한 표준 태그가 포함된 대체 페이지"라는 메시지를 확인할 수 있습니다. 이는 구글이 색인에 포함하지 않은 페이지가 특정 표준 페이지와 중복된 콘텐츠로 인식될 때 발생합니다.

원인:
이 경우, 구글은 해당 페이지와 유사하거나 동일한 콘텐츠를 가진 다른 페이지가 있다고 판단합니다. 웹사이트는 중복 콘텐츠가 있을 경우 검색 순위에 불이익을 받을 수 있어, 구글은 이를 하나의 표준 페이지로 처리하고 나머지 중복된 페이지는 색인에서 제외합니다. 대개 표준 태그(rel="canonical")를 통해 중복 페이지가 아닌 표준 페이지로 연결됩니다.

결과:
이 페이지는 검색 색인에 포함되지 않으며, 구글 검색 결과에 노출되지 않습니다. 대신 구글은 표준 페이지를 색인에 포함하고 사용자가 검색할 때 표준 페이지로 안내합니다.

해결책:

• 페이지가 색인에서 제외되지 않기를 원할 경우, 표준 태그를 수정하여 구글이 원하는 페이지를 색인에 포함할 수 있도록 합니다.
• 만약 중복 콘텐츠가 많다면, 각 페이지가 고유한 콘텐츠를 가질 수 있도록 수정합니다.
• URL 구조가 표준 페이지로 명확히 설정되어 있는지 확인하고 필요시 리디렉션을 설정하여 콘텐츠를 집중시킵니다.

728x90

---

2. 리디렉션이 포함된 페이지

증상:
페이지가 다른 URL로 리디렉션될 때, 구글은 리디렉션된 페이지 대신 최종 도착 페이지를 색인합니다. 서치 콘솔에서는 "리디렉션이 포함된 페이지"로 나타납니다.

원인:
이 문제는 페이지에 301 또는 302 리디렉션이 설정되어 있는 경우 발생합니다. 리디렉션이 설정된 페이지는 최종 도착지 페이지를 표준 페이지로 간주하고, 원본 URL은 색인에서 제외됩니다.

결과:
원본 URL이 아닌 최종 리디렉션된 URL이 색인에 포함됩니다. 원본 URL은 색인되지 않으므로 검색 결과에 나타나지 않으며, 사용자는 리디렉션된 페이지로 이동하게 됩니다.

해결책:

• 원본 페이지를 검색 색인에 포함하고 싶다면 리디렉션을 제거합니다.
• 리디렉션이 필요하다면 301 리디렉션을 사용하여 페이지 권위를 최종 도착 페이지로 전송합니다.
• 페이지 구조를 점검하여 불필요한 리디렉션을 줄이고, 사용자 경험을 고려하여 리디렉션 설정을 최적화합니다.

---

3. 찾을 수 없음(404)

증상:
404 오류 페이지는 사용자와 검색엔진 모두에게 페이지가 존재하지 않음을 알리는 상태 코드입니다. 서치 콘솔에서는 이러한 페이지가 "찾을 수 없음(404)"로 나타납니다.

원인:
페이지가 삭제되었거나 URL이 변경되었지만, 새 URL로의 리디렉션이 설정되지 않았을 때 발생합니다. 구글봇이 URL을 크롤링할 수 있지만 해당 페이지를 찾지 못해 404 오류를 반환하게 됩니다.

결과:
404 오류 페이지는 검색 색인에 포함되지 않습니다. 또한, 이 페이지에 대한 링크가 외부 사이트에 남아 있을 경우, 사용자 경험에 부정적인 영향을 미칠 수 있습니다.

해결책:

• 유효한 페이지라면 URL 오류를 수정하여 해당 페이지를 복구합니다.
• 페이지가 영구적으로 삭제된 경우, 외부 링크가 있는 경우 대체 페이지로의 리디렉션을 설정하거나 410 상태 코드를 반환하여 삭제되었음을 명확히 알립니다.
• 구글 서치 콘솔에서 크롤링 오류를 확인하고 정기적으로 404 오류를 점검하여 사용자 경험과 SEO에 긍정적인 영향을 미칠 수 있도록 유지합니다.

---

4. 다른 4xx 문제로 인해 차단됨

증상:
4xx 상태 코드는 클라이언트 오류를 의미하며, 400, 403, 408 등 다양한 상태 코드가 존재합니다. 이 경우 서치 콘솔에서는 "다른 4xx 문제로 인해 차단됨"으로 표시됩니다.

원인:
잘못된 URL 요청(400), 권한 제한(403), 요청 시간 초과(408) 등이 원인이 됩니다. 일반적으로 보안 설정, 서버 설정, 잘못된 URL 요청 등으로 인해 발생합니다.

결과:
해당 페이지는 구글 색인에서 제외됩니다. 사용자는 이 페이지에 접근할 수 없고, 구글 또한 페이지를 크롤링할 수 없습니다.

해결책:

• 4xx 오류 유형에 따라 문제를 해결합니다. 예를 들어, 403 오류의 경우, 접근 권한 설정을 확인하고 필요시 권한을 수정합니다.
• 웹 서버 로그와 구글 서치 콘솔의 크롤링 오류 보고서를 검토하여 4xx 오류를 정기적으로 점검합니다.
• 발생 빈도가 높은 4xx 오류가 있다면, 웹사이트 URL 구조와 서버 설정을 점검하고 수정하여 검색 크롤러가 오류 없이 페이지를 크롤링할 수 있도록 설정합니다.

---

5. robots.txt에 의해 차단됨

증상:
구글봇이 페이지를 크롤링할 수 없도록 robots.txt 파일에 의해 차단된 경우, 서치 콘솔에서는 "robots.txt에 의해 차단됨"으로 표시됩니다.

원인:
사이트의 robots.txt 파일에서 구글봇이나 특정 크롤러의 접근을 금지하는 규칙이 설정되어 있을 경우 발생합니다. robots.txt 파일은 사이트의 일부 페이지를 크롤러가 크롤링하지 못하게 하여 민감한 정보나 비공개 페이지를 보호하는 용도로 사용됩니다.

결과:
구글은 해당 페이지를 색인하지 않으며, 검색 결과에 노출되지 않습니다.

해결책:

• 페이지가 색인에 포함되어야 한다면 robots.txt 파일을 수정하여 구글봇의 접근을 허용합니다.
• noindex 태그와 함께 robots.txt로 차단하면 구글봇이 페이지를 크롤링하지 않으므로 robots.txt와 noindex 태그를 적절히 조정합니다.
• robots.txt 파일을 주기적으로 점검하여 비공개 페이지가 의도치 않게 차단되지 않도록 하고, 민감한 정보가 노출되지 않도록 설정을 최적화합니다.

---

6. 크롤링됨 - 현재 색인이 생성되지 않음

증상:
구글이 페이지를 크롤링했으나 색인에는 포함하지 않은 경우, 서치 콘솔에서 "크롤링됨 - 현재 색인이 생성되지 않음"으로 표시됩니다.

원인:
페이지의 품질이 낮거나 콘텐츠가 부족하여 구글이 색인할 가치가 없다고 판단할 때 발생할 수 있습니다. 또는 구글의 색인 정책에 따라 특정 페이지가 제외될 수 있습니다.

결과:
해당 페이지는 검색 색인에 포함되지 않으며, 검색 결과에 나타나지 않습니다. 페이지의 트래픽이 줄어들 수 있으며, 사이트의 검색 순위에 부정적인 영향을 줄 수 있습니다.

해결책:

• 페이지의 콘텐츠 품질을 개선하여 구글이 색인할 가치가 있다고 판단하도록 합니다.
• 사용자에게 유용한 정보를 제공하는지 점검하고, 콘텐츠가 독창적이며 고유한지 확인합니다.
• 구글의 색인 정책을 검토하고, 페이지가 색인될 수 있도록 메타 태그와 페이지 구조를 최적화합니다.

---

이 6가지 경우에 대한 이해와 개선은 구글 검색 결과에 페이지를 노출하고 검색 엔진 최적화를 강화하는 데 중요한 역할을 합니다.