IT·인터넷/블로그

애드센스 크롤러 오류 페이지를 찾을 수 없음 원인과 해결 방법 참고

2021. 1. 13. 18:12

광고 크롤러 오류가 있으며, 이 때문에 수익 손실이 발생할 수 있습니다.

티스토리에서 새 글을 발행하면 애드센스에 "크롤러 페이지를 찾을 수 없음" 메시지가 뜨네요. 크롤러 오류는 발행한 글을 비공개 또는 삭제하면 발생하는 것으로 알고 있습니다. 그러나 저의 경우는 새 글이고 발행한 지 몇 시간 안 되거든요. 당연히 비공개로 바꾼 적이 없습니다 그런데도 이런 문제가 발생하니 답답한데요, 원인을 알 것 같아요. 만일 새 글을 예약으로 발행하신다면 아래 내용을 꼭 참고하세요.

▲ 경험으로 알게 된 것이라서 정확하지는 않지만, 이 경고는 아무래도 티스토리에서 글 작성할 때 "미리보기"를 해서 발생하는 것 같습니다. 더 자세히 말씀드린다면, 새 글을 미리보기를 하고 예약을 걸거나 시간이 한참 지난 후에 공개 발행하면 크롤러 오류 경고가 뜨는 것 같다는 거죠.

▲ 티스토리 에디터에 있는 미리보기를 사용하지 않는다고 해도 글 관리에서 비공개 글을 클릭하면 미리보기처럼 볼 수 있습니다.

문제는 글을 미리보기 하면 애드센스 광고가 자리를 잡는 모습이 보입니다. 그렇다면 애드센스는 이 글을 알고 있다는 것이 되지 않을까요? 그런데 아직 발행하지 않았습니다. 발행할 때까지는 비공개인 셈이죠. 애드센스 크롤러 오류는 공개된(알고 있는) 글이 비공개되거나 삭제해서 보이지 않을 때 경고합니다.

애드센스 크롤러 오류가 발생하는 이유

미리보기를 의심하게 된 이유는 크롤러 오류 메시지의 등록 시간 때문입니다. 애드센스에 자주 들어가지 않습니다. 어쩌다 가끔 들어가는 편인데요, 최근에 또 크롤러 오류 경고 메시지가 보여서 정말 이유가 무엇인지 궁금했습니다. 그러나 애드센스의 설명으로는 도대체 이유가 무엇인지 모르겠어요. 게시자가 취할 수 있는 조치라고는 애드센스 크롤러의 작동 방식을 숙지하라는 것입니다.

그러나 이것이 정말 해결 방법이라는 것을 이제야 깨달았습니다.

▲ 애드센스에 들어가 보아도 딱히 할 수 있는 일이 없어서 무심히 보았는데, 날짜가 이상하다는 것을 알게 되었습니다. 1월 10일로 등록 됐거든요. 문제의 글은 1월 11일 오전에 발행된 글입니다. 그렇다면 1월 10일은 뭐야? 앗! 미리보기한 시간!!

이것을 지금에야 알다니... 며칠 동안 작성한 글이라서 더욱 속상합니다. 경고받은 글은 포트포워딩을 설명하는 글인데요, 이해를 돕기 위해 파워포인트로 그림을 만들어 가면서 작성하다 보니 시간이 많이 걸렸죠.

티스토리에서 새 글을 한 번에 작성한 적이 거의 없습니다. 글 실력이 딸리기도 하지만, 직장을 다녀야 해서 시간이 날 때마다 내용을 추가하는 식으로 조금씩 완성하거든요. 그러다 보니 문장 연결이 자연스럽지 못한 경우가 많아요. 그래서 모두 작성한 후에 전체적으로 다시 읽어 보고 수정을 하는데요, 가끔 미리보기로 문서 양식이 적용된 모습을 보기도 합니다.

그리고 방문자 수를 올리려는 욕심에 다음 날 오전으로 예약을 걸어 놓습니다. 출근 시간에 스마트폰을 보는 분이 많으니 이 시간에 발행하면 글을 보는 분이 많지 않을까 해서요. 주말에 밀린 숙제를 하듯이 글 여러 개를 수정 완료하고 월수금으로 나누어서 예약을 걸기도 합니다.

만일 저의 예상이 맞다면, 애드센스는 미리보기로 새 글을 알았는데 발행 예약 날까지 보이지 않는 글이 됩니다. 예약을 하지 않았더라도 미리보기하고 한참 후에 발행했다면 같은 경우가 되겠죠.

어쩐지 이상하게 크롤러 오류가 많더라니...

애드센스 크롤러 오류 해결 방법 참고

이 방법이 확실한 것이 아님을 미리 말씀드립니다. 애드센스에서 알려 준 방법도 아니고요. 경험을 통해 말씀드립니다만, 크롤러 오류가 발생하지 않도록 하기 위해서는 에디터에서 미리보기를 했거나 글 관리에서 비공개 글을 클릭해서 열어 보았다면 빠른 시간 안에 공개하는 것이 좋겠습니다.

과연 이 생각이 맞는지 확인하기 위해 여러 번 미리보기를 하면서 글을 작성하고 30분 정도 후에 발행했는데, 크롤러 오류가 발생하지 않았습니다.

크롤러 오류가 발생했다고 해도 시간이 지나면 자연스럽게 없어지는 경고이지만, 이틀이 넘어가도 없어지지 않아서 구글 검색으로 찾아보았습니다. 방법은 간단합니다. 구글 서치 콘솔에서 색인 요청을 하는 것입니다.

구글 서치 콘솔에 방문한 후 검색 창에서 문제가 되는 URL을 입력하고 엔터키를 누릅니다. 혹시 구글 서치 콘솔에 아직 등록하지 않으셨다면 구글 검색에도 글이 보일 수 있도록 꼭 등록하세요.

▲ 검색 후에 색인 생성 요청을 합니다.

▲ 구글 색인 생성이 요청되었습니다. 이제 기다리면 됩니다. 이 방법으로 크롤러 오류가 바로 사라졌다고 하는데, 제 글은 하루가 지나도 안 없어지네요. 가만히 있는 것보다는 이렇게라도 하는 것이 좋겠죠. 구글에 URL 등록도 하고요. 어쩌면 더 빠르게 경고 메시지를 제거될지도 모르고요.

제일 좋은 방법은 경고 메시지를 받지 않는 것입니다. 애써 올린 글이 경고 메시지가 사라질 때까지 수익을 제대로 내지 못한다면 안타까운 일입니다. 경고 발생가 사흘이 지나도 안 없어지네요. 구글에서 공개한 내용이 아니고 경험으로 알게 된 것이라서 틀릴지 모르지만, 글을 공개할 때까지는 미리보기 하지 마세요.