[Tip] Google search console 오류 : 크롤링 허용 여부 아니요: robots.txt에 의해 차단됨 해결방법

Google search console 오류 : 크롤링 허용 여부 아니요: robots.txt에 의해 차단됨

Google search console

search console Sitemap 색인 크롤링 페이지 robots.txt 오류(Error)

사이트맵을 읽을 수 없음 사이트맵을 가져올 수 없음 사이트맵을 일반 HTTP 오류 페이지 색인이 생성되지 않음 robots.txt에 의해 차단됨 크롤링 허용 여부 아니요: robots.txt에 의해 차단됨 페이지 가져오기 실패: robots.txt에 의해 차단됨

 

Sitemaps 새 사이트맵 추가

사이트맵을 읽을 수 없음 가져올 수 없음 일반 HTTP 오류

 

URL 검사

 

페이지 색인이 생성되지 않음: robots.txt에 의해 차단됨

크롤링 허용 여부 아니요: robots.txt에 의해 차단됨 페이지 가져오기 실패: robots.txt에 의해 차단됨

 

실제 URL 테스트

페이지 공개 상태 페이지 색인을 생성할 수 없음: robots.txt에 의해 차단됨

특정 조건 이 충족되는 경우에만 URL의 색인이 생성됩니다.

크롤링 허용 여부 아니요: robots.txt에 의해 차단됨 페이지 가져오기 실패: robots.txt에 의해 차단됨

robots.txt에 의해 차단됨 해결방법

준비 과정이 필요함 robots.txt 캐시 새로고침 빠른 업데이트가 가능한  robots.txt 테스터

Google의 robots.txt 캐시 새로고침

자동 크롤링 프로세스 중에 Google 크롤러는 robots.txt 파일의 변경사항을 감지하고 24시간마다 캐시된 버전을 업데이트합니다. 캐시를 더 빠르게 업데이트해야 한다면 robots.txt 테스터 의 제출 기능을 사용합니다. 업로드된 버전 보기 를 클릭하여 서비스 중인 robots.txt가 Google에서 크롤링하기를 바라는 버전이 맞는지 확인합니다. 제출 을 클릭하여 Google에 robots.txt 파일의 변경사항을 알리고 변경된 버전을 크롤링하도록 요청합니다. 도구 편집기를 업데이트하고 서비스 중인 robots.txt 코드를 보려면 브라우저에서 페이지를 새로고침하여 Google이 최신 버전을 크롤링했는지 확인합니다. 페이지를 새로고침한 후 드롭다운을 클릭하여 Google이 최신 버전의 robots.txt 파일을 처음 인식한 시점의 타임스탬프를 확인할 수도 있습니다.

robots.txt 테스터를 이용해 robots.txt 테스트하기

robots.txt 테스터 도구는 robots.txt 파일이 사이트의 특정 URL에서 Google 웹 크롤러를 차단하는지를 알려줍니다. 예를 들어 Google 이미지 검색에서 차단하고 싶은 이미지의 URL을 Googlebot-Image 크롤러가 크롤링 할 수 있는지를 테스트하는 데 이 도구를 사용할 수 있습니다.

robots.txt 테스터 열기

robots.txt 테스터 도구에 URL을 제출할 수 있습니다. 그러면 이 도구가 Googlebot처럼 작동하여 robots.txt 파일을 확인하고 URL이 제대로 차단되었는지 확인합니다.

robots.txt 파일 테스트

사이트의 테스터 도구를 열고 robots.txt 코드를 스크롤하여 강조표시된 구문 경고와 로직 오류를 찾습니다. 구문 경고와 로직 오류의 개수가 편집기 바로 아래에 표시됩니다.  페이지 하단의 텍스트 상자에 사이트의 페이지 URL을 입력합니다. 텍스트 상자 오른쪽의 드롭다운 목록에서 시뮬레이션하려는 사용자 에이전트를 선택합니다. 테스트 버튼을 클릭하여 액세스를 테스트합니다. 테스트 버튼에 허용됨 또는 차단됨이 표시되는지 보면 입력한 URL이 Google 웹 크롤러에서 차단되는지를 확인할 수 있습니다. 페이지의 파일을 수정하고 필요한 경우 다시 테스트합니다. 페이지에서 변경한 내용은 사이트에 저장되지 않으니 주의하세요. 다음 단계를 확인하세요. 변경사항을 사이트의 robots.txt 파일로 복사합니다. 이 도구는 사이트의 실제 파일을 변경하지 않으며 도구에 호스팅된 사본을 대상으로만 테스트합니다.

robots.txt 테스터 도구 사용 제한

도구는 URL 접두사 속성 에서만 작동합니다. 도메인 속성 에서 작동하지 않습니다. 도구 편집기에서 변경한 내용이 웹 서버에 자동으로 저장되지 않습니다. 편집기에서 콘텐츠를 복사하여 서버에 저장된 robots.txt 파일에 붙여넣어야 합니다. robots.txt 테스터 도구는 Google 사용자 에이전트 또는 Googlebot과 같은 웹 크롤러를 통해서만 robots.txt 를 테스트합니다. Google은 다른 웹 크롤러가 robots.txt 파일을 어떻게 해석할지 예측할 수 없습니다.

Search Console

확인된 속성 선택

robots.txt 테스터

robots.txt 테스터 Step by Step

 

1. 최신 버전 표시된 날짜를 확인한다.

2. robots.txt 테스터에서 직접 수정한다.(다른문서에서 수정 후 붙이기 해도됨)

 

3. 수정 후 [제출] 버튼을 누른다. (새로운 창이 뜬다.)

업데이트된 코드 다운로드 에디터에서 업데이트된 robots.txt를 다운로드합니다. 업로드된 버전 확인 업데이트된 robots.txt를 도메인의 루트에 업로드한 다음 업로드된 robots.txt가 Google에 제출하려는 버전인지 확인합니다. Google에 업데이트 요청 요청을 제출하여 robots.txt 파일이 업데이트되었음을 Google에 알립니다.

 

4. “3. Google에 업데이트 요청” [제출] 버튼을 누른다.

 

5. 확인문장
   “제출되었습니다. 잠시 후 테스터 페이지를 새로고침하여 타임스탬프를 확인하세요.”
   확인하고 창을 닫는다.

6. robots.txt 테스터 페이지로 돌아와 하단에 “차단되었지 테스트하려면 URL을 입력하세요”

• 입력칸 공백

• Googlebot 선택

• 테스트 버튼 클릭

• 결과 “허용됨” 확인

7. 오류가 발생한 차단된 URL도 테스트를 해본다.(결과 : 허용됨)

8. 다른 옵션들을 선택하여 차단되었지 테스트를 해본다.

9. 테스트 결과 확인

robots.txt 파일 업데이트

Search Console의 robots.txt 테스터를 사용하여 robots.txt 파일의 사본을 다운로드합니다. robots.txt 편집기의 오른쪽 하단에서 제출을 클릭합니다.  이렇게 하면 '제출' 대화상자가 열립니다. 제출 대화상자에서 다운로드를 클릭하여 robots.txt 테스터 페이지에서 robots.txt 코드를 다운로드합니다.

robots.txt 파일 업로드

robots.txt 파일을 컴퓨터에 저장했다면 검색엔진 크롤러에서 사용할 수 있습니다.  이 작업에 도움이 되는 한 가지 도구는 없습니다. robots.txt 파일을 사이트에 업로드하는 방법은 사이트와 서버 아키텍처에 따라 달라지기 때문입니다.  호스팅 회사에 문의하거나 호스팅 회사의 문서를 검색하세요. 예를 들어 '업로드 파일 infomaniak'를 검색합니다. robots.txt 파일을 업로드한 후 공개적으로 액세스할 수 있는지, Google에서 파싱할 수 있는지 테스트합니다.

업데이트된 코드 다운로드한 robots.txt 파일을 열어본다.(확인)

robots.txt 파일 업로드 (구글 블로그 사용자)

robots.txt 파일을 컴퓨터에 저장했다면 검색엔진 크롤러에서 사용할 수 있습니다.  구글블로그 추가 작업을 통해 확인 작업을 진행한다.

추가 작업 및 확인 작업

아래의 제출 창에서 “업로드된 버전 확인” 업로드된 버전 보기 버튼을 누른다.

URL : https://사이트주소/robots.txt 새로운 탭이 열린다. (또는 열려 있던 탭으로 이동한다.)

robots (수정전)

robots (수정후)

업데이트 중요한 체크사항

URL : https://사이트주소/robots.txt 탭의 내용이 수정한 내용과 동일한지 확인한다. (업데이트가 되지 않았다면 꼭! 열려있는 탭을 새로고침 (Refresh)을 하도록 한다.) 다운로드한 robots.txt 파일 내용이 업데이트한 내용과 동일한지 한번더 확인한다. 마지막 체크 사항 구글블로그(https://draft.blogger.com/blog/settings/고유넘버) > 설정 > 맞춤 robots.txt > 내용 확인

Sitemap (20230824) 수정 최신 버전이 표시된 날짜 23. 8. 23. 오후 10:46 성공(200) 799바이트

# Example 1: Block only Googlebot User-agent: Googlebot Disallow: / # Example 2: Block Googlebot and Adsbot User-agent: Googlebot User-agent: AdsBot-Google Disallow: / # Example 3: Block only Mediapartners-Google User-agent: Mediapartners-Google Disallow:  # Example 4: Block only Googlebot-Image User-agent: Googlebot-Image Disallow: /personal # Example 5: Block only Naver Search Advisor User-agent: Yeti Allow:/ # Example 6: Block all crawlers except AdsBot (AdsBot crawlers must be named explicitly) User-agent: * Disallow: /search Allow: / Sitemap: https://keycolor50.blogspot.com/sitemap.xml Sitemap: https://keycolor50.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500 Sitemap: https://keycolor50.blogspot.com/atom.xml?redirect=false&start-index=501&max-results=1000

Sitemap (20230824) 1차 수정 완료

# Example 1: Block only Googlebot User-agent: Googlebot Disallow: /nogooglebot/ # Example 2: Block only Adsbot User-agent: AdsBot-Google Allow: / # Example 3: Block only Mediapartners-Google User-agent: Mediapartners-Google Disallow:  # Example 4: Block only Googlebot-Image User-agent: Googlebot-Image Disallow: /personal # Example 5: Block only Naver Search Advisor User-agent: Yeti Allow: / # Example 6: Block all crawlers except AdsBot (AdsBot crawlers must be named explicitly) User-agent: * Allow: / Sitemap: https://keycolor50.blogspot.com/sitemap.xml Sitemap: https://keycolor50.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500 Sitemap: https://keycolor50.blogspot.com/atom.xml?redirect=false&start-index=501&max-results=1000