구글 애드센스 티스토리 블로그 크롤러 알수없는오류 호스팅서버과부하 문제 해결하는 방법 알아보자. (애드센스 수익감소 원인 파악)

티스토리 블로그로 구글애드센스를 꽤 오래 운영해오셨던 분들은 공감하시겠지만, 왜 그런지 모르겠지만 아무 이유없이 몇가지 오류들이 발생해 블로그 운영에 문제를 일으키곤 합니다.

그 대표적인 두가지가 바로, 무효클릭과 크롤러오류인데요, 오늘은 크롤러 오류에 대해서 살펴보겠습니다. 평소같으면 크롤러 오류와 같은 문제는 그냥 넘겨도 저절로 해결되는 문제이지만, 이번에 제가 겪은 문제는 실제 애드센스 수익감소로까지 이어져서, 이에 대한 해결방법을 공유드리고자 하오니, 관심있으신 분들께서는 아래 글 정독해보시기 바랍니다.

 

1. 크롤러 오류란 무엇인가? (원인 파악하기)

 

반응형

크롤링이란, 구글이 웹사이트 페이지를 탐색하는 행위인데요, 이게 제대로 안될 때 크롤러 오류를 띄우게 됩니다.

먼저 크롤러 오류가 발생하는 원인과 함께 특히 티스토리 블로그를 운영하면서 발생하게 되는 주요 원인을 파악하는 것이 먼저이겠습니다.

크롤러 오류가 발생하는 이유는 크게 6가지 이유입니다. 각 이유별 티스토리의 상황에 맞추어 분석해보았습니다.

사이트 접근성 문제 : 웹사이트 다운의 경우. ( → 제 블로그가 영향을 받았던 순간에 티스토리 블로그 웹사이트 아무 문제 없었으므로, 원인이 아님.)

robot.txt 파일 설정 문제 : 웹사이트의 robot 파일 설정이 잘못되어있는 경우. ( → 티스토리의 경우, robot파일에 접근할 수 없고 변경 권한이 없음. 그래도 내용 확인은 가능한데 티스토리 robot 파일은 구글 탐색접근을 허용하고 있으므로, 원인이 아님.)

HTTP 오류 : 404(페이지 없음), 500(서버오류) 등의 HTTP오류를 말하는데, ( → 이 또한 크롤링 오류가 뜬 페이지에서 발생하지 않는 문제로, 원인 아님.)

페이지 로딩 속도 : 로딩 속도가 너무 길면 구글이 크롤링을 제대로 하지 못하고 오류를 띄움. 서버 성능 또는 네트워크 문제와 연관. ( → 가장 의심되는 원인임.)

잘못된 URL : 링크가 잘못되어 있는 경우 ( → 링크 잘못된 페이지 없음. 원인 아님.)

보안 설정 : 웹사이트가 HTTPS를 사용하지 않고 SSL인증서 문제가 있는 경우, 크롤링 오류 발생 ( → 티스토리는 두가지 모두 충족하므로, 원인 아님.)

 

👉 구글 애널리틱스4 GA4 애드센스 무효클릭신고 방법 (IP추적불가에 따른 앱인스턴스ID 활용법)

2. 크롤러 오류로 인한 광고개제제한 및 수익금감소

 

보통은 크롤링 오류가 페이지 한~두개에서 발생을 하고, 별다른 조치를 취하지 않아도 다시 원상복귀 되는 경우가 대부분입니다. (그 때 수익금에도 전혀 영향을 주지 않았구요.)

하지만, 이번에 제 블로그에 발생했던 현상은 좀 달랐는데요, 지난 12월24일부터 갑자기 하루에도 몇십개씩 크롤러 오류가 발생하더니, 12월31일까지 지속적으로 크롤러 오류가 발생해,

결국, 아래 이미지에서 보시는 것처럼, 12월24일을 기점으로, 수익금이 지속적으로 하락하는 것을 발견할 수 있었습니다.

 

당시 블로그 트래픽은 전혀 변경되지 않았고, CPC와 광고클릭율만 지속적으로 하락을 했기에, 크롤러 오류에 따른 페이지에 광고가 뜨지 않는 현상이라고 판단할 수 있었습니다.

실제로 페이지에서 확인을 해보니, 당시 오류가 발생했던 리스트가 총 94개 페이지에서 한꺼번에 크롤링 오류가 발생했고 각 페이지에 들어가보니, 광고가 제대로 송출되지 못하고 있었습니다.

문제는 대부분의 페이지가 제 블로그에서 조회수 상위에 랭크되어 있는 페이지들이었다라는 건데요, 그래서 아마도 수익금에 바로 영향을 일으킨 것으로 보입니다.

 

3. 크롤러 오류 발생 페이지 확인방법 (수익금 감소할 때 주의할 점.)

 

그럼 이걸 어떻게 해결해야 할까요? 먼저 크롤러 오류가 발생한 페이지를 확인해야 합니다. 아래 이미지를 참고해주시기 바랍니다.

 

구글 애드센스 관리자 페이지로 가서, '정책센터'를 누르면 현재 크롤러 오류가 발생한 페이지 내용이 나옵니다.

저같은 경우, 24일부터 이상하게 계속해서 수익금이 줄어드는데, 별 생각없이 있다가 너무 떨어져 그때 확인해보니 크롤링 오류가 100개 가까이 나고 있다는 것을 확인했습니다.

이 글을 읽으시는 분들께서는 수익금이 갑자기 빠질 때는, 반드시 애드센스 관리페이지로 들어가셔서 정책센터를 꼭 확인해보시길 바랍니다.

저도 더 빠르게 대처했다면, 오류를 빨리 잡을 수 있었을 텐데 아쉬움이 남습니다.

그럼 지금부터 해결방법에 대해 설명드리겠습니다. 두가지 방법인데, 둘 중에 어떤게 효력이 있었는지는 따로 비교하진 못했습니다. 

하지만, 진행하자 얼마뒤부터 크롤링이 되고, 광고가 잘 붙는 걸 확인했습니다. 다행히 수익도 조금씩 정상적으로 돌아오고 있습니다.

단, 완전 노가다 작업이라는 것을 감안하시기 바랍니다. 그래서 반드시 100개까지 크롤링 오류가 생기기 전에 발견하는게 가장 중요합니다.

 

👉 종합소득세 구글애드센스수익 신고 및 납부 방법 알아보기 (유튜브 티스토리 블로그 구글 광고수익 세금 신고)

4. 크롤링 오류 해결방법

 

먼저 첫번째, 'URL 검사'를 다시 진행해주시기 바랍니다.

구글 서치 콘솔 페이지로 들어가셔서, 'URL 검사' -> 맨 위쪽 검색란에 해당 페이지주소를 넣고 엔터를 칩니다.

 

그럼, 아마 아래와 같이 'URL이 구글에 등록되어 있음' 이라는 표시가 뜰 겁니다. 그냥 무시하시고, 다시 빨간색 박스의 '색인생성요청'을 눌러주시기 바랍니다.

 

그럼, 아래와 같은 메세지와 함께 1~2분 정도가 지난 다음, 다시 URL 색인이 생성되었다라는 결과 메세지가 뜨면 완료된 것입니다.

 

그리고 두번째 방법입니다. 바로, 구글 애드센스 사이트에서 '크롤러 액세스'를 위한 '로그인 정보'를 추가해주는 방법입니다.

하는 방법은, 먼저 구글 애드센스 관리자 페이지를 방문해주신 다음, 아래 이미지와 같이, '계정' > '엑세스 및 승인' > '크롤러 엑세스'를 클릭해주시기 바랍니다.

 

그런 다음 오른쪽 위의 로그인추가를 눌러줍니다. 그러면 아래와 같은 화면이 뜨는데요, 여기에서 로그인정보를 입력해주시면 됩니다.

 

제한된 디렉터리 또는 URL : 크롤러 오류가 발생한 페이지 주소 입력
로그인 URL : 자신의 티스토리 주소/manage
로그인 방식 : POST 선택
로그인 매개변수 : '사용자 이름' = 티스토리 아이디(메일주소)
로그인 매개변수 : '비밀번호' = 티스토리 비밀번호

이렇게 입력해주시고 '로그인추가' 버튼을 눌러줍니다. 그러면 얼마 지나지 않아 크롤링이 완료되게 됩니다. 위에서 말씀드렸지만 이건 순전히 노가다 작업으로 크럴러오류가 발생한 페이지가 많을 수록 골치아프게 됩니다.

저는 100개가 될 때까지 방치하다보니, 수익금은 수익금대로 줄고, 크롤러 엑세스를 복구하는데 정말 힘든 과정을 거치게 되었네요. 이글을 보시는 다른 분들께서는 미리 모니터링 잘 하시어, 이렇게 되지 않기를 바래봅니다.