[구글애드센스] 티스토리 블로그 크롤러 오류 원인 / 해결방법

티스토리 블로그는 개설한지 석달 정도밖에 되지 않았지만 최근 광고 정책 변경으로 인해 많이 시끄럽다. 처음부터 워드프레스로 갈껄 하는 아쉬움과 함께 그 동안 정들여 키워오던 티스토리 블로그를 뒤로하고 워드프레스 블로그를 개설했다.

 

티스토리 광고 정책 변경

 

<카카오는 티스토리 관리를 하기는 하냐?>

그 외에도 티스토리의 고질적인 문제인 구글애드센스 크롤러 오류. 수입이 그리 크지는 않지만 꾸역꾸역 하루에 1~2개씩 꾸준히 올리는 글에 붙는 광고에서 나오는 수입이 크롤러 오류로 광고 개제가 막히는 순간 날라가 버린다.

 

티스토리 광고 크롤러 오류

 

카카오에 본 문제를 많은 사람들이 문의를 해보았지만 문제는 해결되지 않는다. 해결을 못 하는건지 안하는건지 카카오 고객센터는 티스토리 문제 뿐만 아니라 다른 문의에 대한 답변도 오지게 늦다.

 

<애드센스 크롤러 오류 원인은 무엇인가>

검색 결과 크롤러 오류의 원인으로 꼽히는 몇가지 문제점이 있다. 호스팅 과부하로 인한 서버 문제라던지 구글서치콘솔 색인 문제, 과다 수정 문제 등등... 여러 블로그 및 자료를 찾아 보고 시도해 보았지만 크롤러 오류는 꾸준히 발생 하였고, 문제는 해결 되지 않았다.

 

시간이 지나면 결국 자연스레 해결 되었지만 크롤러 오류가 계속 존재 하는 동안 광고 수입은 전혀 생기지 않는다. 그러다가 여러 글을 검색한 결과 어느 분께서 티스토리에 크롤러 오류에 관해 직접 문의를 해봤는데 광고 크롤러 오류는 애드센스 크롤러 문제이고 티스토리에서 해결할 방법이 없다는 답변을 받았다고 하며, 이는 일시적인 문제고 다음에 애드센스 크롤러가 다시 찾아와 크롤링해 가면 문제가 해결된다는 것이었다. 크롤러 오류 문제는 티스토리에서만 발생하는데 자기들은 아무 문제 없다는 충분히 예상되는 답변이다.

 

수입을 보면 들쑥날쑥하다. 크롤러 오류가 발생한 날은 여지없이 수입이 확 깎인다.

애드센스 수입

 

<그렇다면 해결방법은 무엇인가>

확인 결과 크롤러 오류 문제가 서버 과부하라면 그건 시간만이 해결해 줄것이다. 하지만 "호스팅 서버에 접근할 수 없습니다"라는 문제에 대해서는 다음과 같이 해결방법을 제시해 주고 있다. 오류 해결에 대한 안내 글을 보면 "robots.txt 파일에서 광고 크롤러가 차단되었습니다."라는 안내를 하고 있고, 그에 대한 해결 방법은 "robots.txt 파일에서 광고 크롤러에 엑세스 권한을 부여하세요." 라는 것이다.

robots.txt 수정 필요

 

즉, robots.txt에 구글 크롤러의 권한이 제한되어 있는 문구를 삭제 해야 한다는 것이다(구글 "disallow" 삭제)

구글 크롤러 권한 제한 문구 삭제

 

그렇게 robots.txt 수정 방법을 검색하게 되었고, 아래와 같이 네이버 서치어드바이저를 통해 robots.txt를 수정하였고 5초도 되지 않아 크롤러 오류 문구가 사라졌다.

 

1) 네이버 서치어드바이저 접속

네이버 서치어드바이저 -> 웹마스터도구 -> 검증 -> robots.txt

네이버서치어드바이저 접속

 

2) robots.txt 간단생성 -> "모든 검색로봇" -> "수집을 허용합니다" -> 다운로드

구글애드센스에서는 구글의 "disallow"를 삭제 하라고 되어 있지만 이렇게 robots.txt를 새로 생성하고 파일을 열어보면 구글 뿐만 아니라 모든 검색로봇에 대한 크롤링을 허용하고 있다.

robots.txt 생성

 

3) 티스토리 스킨편집 -> HTML 수정 -> 파일업로드

robots.txt 파일 티스토리 업로드

 

4) 짜잔. 문제 해결

크롤러 오류 안내 메세지 사라짐

 

robots.txt를 수정해서 완전 해결이 된것인지는 두고봐야 겠고, 모든 크롤러 오류가 해결되지는 않겠지만 어쨌든 경고 메세지는 뜨지 않으니 해결됐다고 봐야겠다. 그 동안 구글서치콘솔 색인 요청을 수차례 하고 서버 과부하 문제도 해결하려고 이 방법 저 방법 써봤지만 이렇게 해결된적은 없었으니 크롤러 오류가 뜨는 분은 한번 시도 해 보시길...