[추천 글]
[Tip] Google search console 오류 : 크롤링 허용 여부 아니요: robots.txt에 의해 차단됨 해결방법
- 공유 링크 만들기
- 이메일
- 기타 앱
Google search console 오류 : 크롤링 허용 여부 아니요: robots.txt에 의해 차단됨
search console Sitemap 색인 크롤링 페이지 robots.txt 오류(Error) |
|
Sitemaps 새 사이트맵 추가 |
|
|
URL 검사 |
|
|
페이지 색인이 생성되지 않음: robots.txt에 의해 차단됨 |
크롤링 허용 여부
페이지 가져오기
|
실제 URL 테스트 |
|
|
페이지 공개 상태 페이지 색인을 생성할 수 없음: robots.txt에 의해 차단됨 |
특정 조건 이 충족되는 경우에만 URL의 색인이 생성됩니다. |
크롤링 허용 여부
페이지 가져오기
|
robots.txt에 의해 차단됨 해결방법 |
준비 과정이 필요함 robots.txt 캐시 새로고침 빠른 업데이트가 가능한 |
Google의 robots.txt 캐시 새로고침 |
자동 크롤링 프로세스 중에 Google 크롤러는 robots.txt 파일의 변경사항을 감지하고 24시간마다 캐시된 버전을 업데이트합니다. 캐시를 더 빠르게 업데이트해야 한다면 robots.txt 테스터 의 제출 기능을 사용합니다.
|
robots.txt 테스터를 이용해 robots.txt 테스트하기 |
robots.txt 테스터 도구는 robots.txt 파일이 사이트의 특정 URL에서 Google 웹 크롤러를 차단하는지를 알려줍니다. 예를 들어 Google 이미지 검색에서 차단하고 싶은 이미지의 URL을 Googlebot-Image 크롤러가 크롤링 할 수 있는지를 테스트하는 데 이 도구를 사용할 수 있습니다. |
robots.txt 테스터 도구에 URL을 제출할 수 있습니다. 그러면 이 도구가 Googlebot처럼 작동하여 robots.txt 파일을 확인하고 URL이 제대로 차단되었는지 확인합니다. |
robots.txt 파일 테스트 |
|
robots.txt 테스터 도구 사용 제한 |
|
Search Console |
|
확인된 속성 선택 |
|
robots.txt 테스터 |
|
robots.txt 테스터 Step by Step |
-
최신 버전 표시된 날짜를 확인한다.
-
robots.txt 테스터에서 직접 수정한다.(다른문서에서 수정 후 붙이기 해도됨)
|
-
수정 후 [제출] 버튼을 누른다. (새로운 창이 뜬다.)
|
|
-
“3. Google에 업데이트 요청” [제출] 버튼을 누른다.
|
-
확인문장
“제출되었습니다. 잠시 후 테스터 페이지를 새로고침하여 타임스탬프를 확인하세요.”
확인하고 창을 닫는다. -
robots.txt 테스터 페이지로 돌아와 하단에 “차단되었지 테스트하려면 URL을 입력하세요”
-
입력칸 공백
-
Googlebot 선택
-
테스트 버튼 클릭
-
결과 “허용됨” 확인
|
|
|
-
오류가 발생한 차단된 URL도 테스트를 해본다.(결과 : 허용됨)
|
-
다른 옵션들을 선택하여 차단되었지 테스트를 해본다.
|
-
테스트 결과 확인
|
robots.txt 파일 업데이트 |
Search Console의 robots.txt 테스터를 사용하여 robots.txt 파일의 사본을 다운로드합니다.
|
|
robots.txt 파일 업로드 |
robots.txt 파일을 컴퓨터에 저장했다면 검색엔진 크롤러에서 사용할 수 있습니다. 이 작업에 도움이 되는 한 가지 도구는 없습니다. robots.txt 파일을 사이트에 업로드하는 방법은 사이트와 서버 아키텍처에 따라 달라지기 때문입니다. 호스팅 회사에 문의하거나 호스팅 회사의 문서를 검색하세요. 예를 들어 '업로드 파일 infomaniak'를 검색합니다. robots.txt 파일을 업로드한 후 공개적으로 액세스할 수 있는지, Google에서 파싱할 수 있는지 테스트합니다. |
|
|
robots.txt 파일 업로드 (구글 블로그 사용자) |
robots.txt 파일을 컴퓨터에 저장했다면 검색엔진 크롤러에서 사용할 수 있습니다. 구글블로그 추가 작업을 통해 확인 작업을 진행한다. |
추가 작업 및 확인 작업 |
|
|
|
robots (수정전) |
|
robots (수정후) |
|
업데이트 중요한 체크사항 |
(업데이트가 되지 않았다면 꼭! 열려있는 탭을 새로고침 (Refresh)을 하도록 한다.)
|
Sitemap (20230824) 수정 최신 버전이 표시된 날짜 23. 8. 23. 오후 10:46 성공(200) 799바이트 |
# Example 1: Block only Googlebot User-agent: Googlebot Disallow: / # Example 2: Block Googlebot and Adsbot User-agent: Googlebot User-agent: AdsBot-Google Disallow: / # Example 3: Block only Mediapartners-Google User-agent: Mediapartners-Google Disallow: # Example 4: Block only Googlebot-Image User-agent: Googlebot-Image Disallow: /personal # Example 5: Block only Naver Search Advisor User-agent: Yeti Allow:/ # Example 6: Block all crawlers except AdsBot (AdsBot crawlers must be named explicitly) User-agent: * Disallow: /search Allow: / Sitemap: https://keycolor50.blogspot.com/sitemap.xml Sitemap: https://keycolor50.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500 Sitemap: https://keycolor50.blogspot.com/atom.xml?redirect=false&start-index=501&max-results=1000 |
Sitemap (20230824) 1차 수정 완료 |
# Example 1: Block only Googlebot User-agent: Googlebot Disallow: /nogooglebot/ # Example 2: Block only Adsbot User-agent: AdsBot-Google Allow: / # Example 3: Block only Mediapartners-Google User-agent: Mediapartners-Google Disallow: # Example 4: Block only Googlebot-Image User-agent: Googlebot-Image Disallow: /personal # Example 5: Block only Naver Search Advisor User-agent: Yeti Allow: / # Example 6: Block all crawlers except AdsBot (AdsBot crawlers must be named explicitly) User-agent: * Allow: / Sitemap: https://keycolor50.blogspot.com/sitemap.xml Sitemap: https://keycolor50.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500 Sitemap: https://keycolor50.blogspot.com/atom.xml?redirect=false&start-index=501&max-results=1000 |
댓글
댓글 쓰기