워드프레스 블로그에서 작성한 글이 네이버 웹마스터 도구의 ‘웹페이지 수집’이 안되는 경우에 대한 해결 방법입니다. 다양한 방법이 있겠으나 이번에는 Robots.txt 편집을 통하여 워드프레스로 작성한 글이 1~2시간 내에 네이버에 반영되는 법을 알려드리겠습니다.
이 글을 쓰는 이유
이 글을 쓰는 이유는 명확합니다.
저 또한 제가 작성한 워드프레스 블로그 글이 네이버 웹마스터 도구에서 웹페이지 수집이 안되어 검색 결과에 반영이 되지 않았던 기억이 있었기 때문입니다.
(예를 들자면 수집 보류 등의 문제가 발생했습니다.)
워드프레스나 네이버, 티스토리 등 다양한 블로그에 글을 쓰는 이유는 개인 취미에서부터 전문 지식 공유 및 업체 홍보까지 매우 다양합니다.
다들 아시다시피 블로그를 운영하는 경우, 열심히 작성한 내용이 구글이나 네이버, 다음 등의 포털사이트 검색 결과에 반영되지 않는다면 어느 누구라도 적지 않게 실망하게 됩니다.
위와 같은 경험을 하게 되면 해당 문제를 해결하기 위하여 매우 다양한 시도를 하곤 합니다.
저 또한 운영 중인 워드프레스 블로그의 네이버 검색 문제를 해결하기 위하여 여러가지 시도를 해보았습니다.
워드프레스 블로그를 운영하는 경우에는 네이버 및 티스토리 블로그보다도 더욱 다양한 오류를 경험하게 될 가능성이 있습니다.
따라서 위와 같은 시도를 통하여 네이버 웹마스터 도구 오류를 해결한 기억이 있습니다.
하지만 위의 방법 또는 다른 해결 방법 등을 시도했음에도 불구하고 여전히 포털사이트에서 검색되지 않는 자신의 블로그를 보며 적지 않게 실망하게 됩니다.
때로는 블로그 운영의 의지가 꺾이는 경우도 적지 않습니다.
따라서 이번에는 얼마 전의 저와 같은 실망과 좌절감을 맛보지 않도록 여러분께 Robots.txt 편집을 통하여 구글이나 다음, 네이버에서 워드프레스 블로그에서 내가 쓴 글을 신속하게 긁어가는 방법을 알려드리겠습니다.
네이버 웹마스터 도구 ‘웹페이지 수집’ 안되는 경우 해결 방법
워드프레스를 이용하면서 네이버 웹마스터 도구의 웹페이지 수집이 안되는 경우에 대한 해결 방법입니다.
- Rank Math SEO 플러그인 설치
- Rank Math SEO > ‘일반 설정’ > ‘Robots.txt 편집’으로 이동
- Rank Math SEO의 기본 Robots.txt 파일에 User-agent: Yeti Allow:/ 추가
- 네이버 서치어드바이저 > 웹마스터 도구 > ‘웹페이지 수집’으로 이동
- ‘수집 요청 URL 입력’ > 워드프레스 글의 주소를 입력 > ‘확인’ 클릭
더욱 자세한 네이버 웹마스터 도구의 웹페이지 수집 보류 해결 과정은 아래의 글을 참고바랍니다.
해결 과정
국내 호스팅 업체 중 하나인 카페 24에는 워드프레스를 이용한 수익형 블로그를 손쉽게 제작할 수 있는 ‘매니지드 워드프레스‘ 상품이 있습니다.
처음에는 다른 호스팅 업체를 이용하여 워드프레스 블로그를 2개 정도 운영해 보았으나 확실히 저와 같은 워드프레스 초보자에게는 카페 24의 워드프레스 전용 상품이 적합하다고 느꼈습니다.
카페24의 매니지드 워드프레스 상품으로 블로그를 제작한 후, 곧바로 워드프레스 플러그인 중 하나인 ‘Rank Math SEO‘를 설치했습니다.
당연한 이야기지만 Rank Math SEO는 매니지드 워드프레스 뿐만 아니라 워드프레스를 이용하는 분이라면 대부분 자유롭게 이용할 수 있는 플러그인입니다.
Rank Math SEO를 설치한 후 Rank Math SEO의 일반 설정 탭을 클릭해봅니다.
Rank Math SEO > 일반 설정 > Robots.txt 편집으로 이동하게 되면 Rank Math SEO에서 제공하는 기본 Robots.txt 파일의 내용을 확인할 수 있습니다.
여기서 한번 생각해봅시다.
Rank Math SEO는 저희 뿐만 아니라 워드프레스를 이용하는 전 세계인이 가장 선호하는 플러그인 중 하나입니다.
그렇다면 “전 세계에서 가장 선호도가 높은 구글 검색에도 최적화되어 있는 Robots.txt 파일이 아닐까?” 하는 생각이 들었습니다.
공공연한 사실이지만 구글 검색 시스템을 네이버와 다음 등의 국내 포털 사이트에서 따라가는 모습을 보여주고 있습니다.
Rank Math SEO의 Robots.txt 파일이 구글에 최적화되어 있다면 네이버와 다음에도 최적화되어 있을 것으로 추측되었습니다.
따라서 Rank Math SEO에서 제공하는 Robots.txt 파일을 기반으로 네이버, 다음 등의 국내 포털 사이트에도 저의 워드프레스 블로그를 잘 긁어갈 수 있도록 해보았습니다.
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /readme.html
Disallow: /xmlrpc.php
Disallow: /?s=
Disallow: /search/
Allow: /wp-admin/admin-ajax.php
Allow: /wp-content/uploads/
User-agent: Yeti
Allow:/
Sitemap: https://abcdefg.com/sitemap_index.xml
#DaumWebMasterTool:flsdkjfsdlkjflaksdjflsadk;jfasjflkasfjdsalfjalk;jflas;dkfjalkf:j3tj3tl3j4tj3t34ltlgnmfgmnlajffjs==위의 Robots.txt 파일에서 추가된 부분은 다음과 같습니다.
네이버 서치어드바이저의 네이버 웹마스터 도구 robots.txt는
User-agent: Yeti
Allow:/
를 권장하고 있어 Rank Math SEO에서 제공하는 Robots.txt 파일에 추가하였습니다.
또한 Rank Math SEO에서 제공하는 기본 사이트맵 주소인
Sitemap: https://abcdefg.com/sitemap_index.xml
을 위의 Robots.txt 파일에 추가하였습니다.
마지막으로 다음 검색 결과에 반영되기 위하여 다음 웹마스터도구 베타에서 제공하는 PIN 코드를 발급받은 후,
DaumWebMasterTool:flsdkjfsdlkjflaksdjflsadk;jfasjflkasfjdsalfjalk;jflas;dkfjalkf:j3tj3tl3j4tj3t34ltlgnmfgmnlajffjs==
위와 같은 방식으로 Robots.txt 파일의 마지막에 붙여넣기하였습니다.
주의) 사이트맵 주소와 다음 PIN 코드는 임의로 작성한 부분이니 자신의 사이트맵 주소와 PIN 코드로 이용바랍니다.
이제 거의 다 왔습니다.
네이버 서치어드바이저 > 웹마스터 도구 > 웹페이지 수집으로 이동합니다.
이 글을 읽는 분 중에서 네이버 웹마스터 도구를 이용하지 않는 분은 거의 없을 것이기 때문에 자세한 내용은 생략하겠습니다.
네이버 웹마스터 도구에서 ‘웹페이지 수집’을 클릭한 후 우측의 ‘수집 요청 URL 입력’에 자신이 작성한 워드프레스 글의 주소를 입력하고 ‘확인’ 버튼을 눌러줍니다.
또한 그동안 네이버에 검색되지 않던 여러 개의 워드프레스 글이 있었다면 해당 글의 주소를 복사하여 수집 요청 URL 입력 부분에 붙여넣기 후 확인 버튼을 눌러줍니다.
위의 과정까지 진행한 후, site:자신의 블로그 주소와 정렬은 최신순, 기간은 전체로 설정하여 네이버에서 검색해보면 위의 모습처럼 1~2시간 전에 작성했던 자신을 글을 확인할 수 있습니다.
말 그대로 워드프레스 Rank Math SEO 플러그인의 Robots.txt 파일 수정으로 네이버에서 확실한 검색 반영 효과를 볼 수 있었습니다.
(검색 결과에 블로그 썸네일은 즉시 반영되지 않았으나 최소 2~3일, 일반적으로 5~7일 사이에 블로그 썸네일까지 확실하게 반영됩니다.)
다시 말씀드리지만 네이버 뿐만 아니라 구글과 다음 등의 다른 포털 사이트에서도 신속하게 자신의 블로그 포스팅을 긁어갈 수 있는 최적의 Robots.txt라고 생각됩니다.
정리
지금까지 워드프레스 Robots.txt 편집을 이용하여 네이버 웹마스터 도구에서 ‘웹페이지 수집’ 안되는 문제를 해결하는 방법에 관하여 알아보았습니다.
워드프레스에는 기본 Robots.txt 파일이 있는 것으로 알고 있습니다.
하지만 워드프레스 기본 Robots.txt 파일의 내용을 수정하는 것은 생각보다 번거로운 과정이 필요합니다.
워드프레스 Rank Math SEO 플러그인을 활용하면 간편하게 Robots.txt 파일을 수정하여 다양한 포털사이트(특히 네이버)에서 확실한 검색 반영 결과를 가져올 수 있다고 생각됩니다.
포털사이트에서 자신의 블로그가 검색 결과에 반영되지 않는다면 정말 심각한 스트레스를 받곤 합니다.
이를 해결하는 법은 정말 다양하지만 우선 Robots.txt 파일을 이용한 해결 방법도 있다는 사실을 알려드리고 싶었습니다.
추가
아래는 제가 직접 경험하여 작성한 워드프레스와 티스토리 관련 글입니다.
티스토리 블로그에서 구글 애드센스 광고 크롤러 오류를 해결하는 방법이 궁금하시다면?
‘현재창에서 열기’가 안되는 워드프레스 링크를 해결하는 방법이 궁금하시다면?
워드프레스 글에 카카오맵을 추가하는 방법이 궁금하시다면?
워드프레스를 가비아에서 카페24로 이전했던 경험담이 궁금하시다면?
