구글 웹마스터도구 사용방법1 - Fetch As Google

구글 웹마스터도구와 Fetch As Google

안녕하십니까! Hun!입니다!

저번에는 네이버 웹마스터도구에서 '웹 페이지 수집'을 통하여 페이지들을 수동으로 색인하는 방법을 알아보았고 구글의 경우에도 비슷한 기능이 있다고 말씀드렸습니다. 구글 웹마스터도구인 서치콘솔에서는 그 비슷한 기능으로 'Fetch As Google'이라는 이름을 가진 기능을 제공하는데 오늘은 그 기능을 사용하는 방법에 대해서 소개를 드릴려고합니다. 먼저 구글 웹마스터도구인 서치콘솔 홈페이지로 접속하여서 등록된 사이트를 클릭합니다. 그러면 구글에서 사이트에 대한 정보를 제공하는 '대시보드' 화면이 보이실 겁니다. 저희는 'Fetch As Google' 기능을 사용하기 위해서 좌측 메뉴에서 '크롤링' 메뉴의 하위메뉴인 'Fetch As Google'을 찾아내서 클릭하여줍니다.

해당 기능 메뉴를 클릭하시면 위와 같은 화면이 위치한 것을 확인할 수 있습니다. 본문 가운데에 등록된 웹사이트의 메인 URL 주소 뒤에 페이지들을 추가로 입력할 수 있는 칸이 보일 것입니다. 이때 티스토리 블로그 사용자 분들은 포스팅을 하실때마다 포스트에 순차적으로 넘버링되기 때문에 포스트 페이지에 해당하는 숫자를 입력하시면 되고 위의 사진에 빨간 사각박스로 표시한 예가 있으니 참고하시면 되겠습니다. 또 페이지 주소 입력 칸의 오른쪽에는 '데스트톱'과 '모바일:스마트폰'인 두 가지 유형으로 나뉜 설정 항목과 '가져오기', '가져오기 및 렌더링' 버튼이 있는 것을 보실 수가 있을겁니다. 

'데스크톱'과 '모바일:스마트폰' 항목은 구글의 크롤러 종류인데 원하는 대로 선택하시면 됩니다. 그리고 '가져오기'와 '가져오기 및 렌더링'은 페이지 URL 주소를 구글봇에게 요청을 하는 것으로 '가져오기'는 주소만 가져오지만 '가져오기 및 렌더링'은 페이지에 포함된 리소스(스크립트, 이미지)가 구글봇을 차단하는지 여부도 확인하여 구글봇에서 페이지를 인식하는 방법과 사용자가 페이지를 보는 방법간의 시각적 차이를 감지한다고 합니다. 저 같은 경우에는 '가져오기 및 렌더링'을 눌러서 사용해보았지만 상태가 '일부 완료'로 나와서 오류를 해결하려고 했는데 그만 보류하고 '가져오기' 버튼으로 다시 작업하였습니다. 

제가 '렌더링'을 보류한 이유에 대해서 말씀드리면 '일부 완료'가 오류로 생기는 현상이라서 들어서 요청된 페이지를 클릭해 들어가 문제를 확인해보았는데 이 페이지의 '스크립트'와 '이미지'가 구글봇을 차단한 내용인 'robots.txt'이 있었습니다. 그래서 이 'robots.txt'를 수정하면 문제가 해결되는 건가? 싶었지만 그 방법을 몰라서 보류하고 있던 것이 었습니다. 만약 이 문제에 대해서 아시는 분들이 계시면 부디 저에게 알려주시면 정말 감사하겠습니다. 아무튼 '가져오기' 버튼을 누르시면 아래 목록에 요청한 페이지 경로의 상태가 '완료'로 나오고 옆에 '색인 생성 요청' 버튼을 보실 수 있는데 이 버튼을 클릭하여줍니다. 

그러면 위와 같은 창 하나가 화면 중간에 보이게 되는데 "로봇이 아닙니다."라는 문구 옆에 있는 체크 란을 체크하여 매크로같은 로봇이 아님을 증명하여줍니다. 그리고 "이 URL만 크롤링"과 "이 URL 및 직접 연결되는 링크 크롤링"의 항목 둘 중에서 원하시는대로 선택하여 체크하시면 됩니다만 저는 기능이 두 가지인 후자를 골라 체크하고 '이동' 버튼을 클릭하였습니다. 바로 위의 과정을 완료하시면 다시 'Fetch As Google' 화면이 나오는데 목록에서 작업을 수행한 페이지를 확인하면 "색인 생성 요청"이 "URL 및 링크된 페이지 색인 생성 요청됨"으로 바뀐 것을 볼 수 있을 것입니다. 이때 가져오기 작업은 하루에 최대 10회까지만 가능하고 한도에 가까워지면 알림이 뜬다고 합니다. 이 점도 주의하셔서 작업하셔야 할 것 같습니다.

지금까지 구글 웹마스터도구를 사용하여 웹사이트의 페이지를 수동으로 구글봇에게 색인 요청을 하는 방법에 대해서 알아보았는데 조금 귀찮더라도 이 것도 사이트 최적화에 조금의 도움이 될 것이기 때문에 여러분들도 이 작업을 하시면 좋겠다고 생각됩니다. 이상으로 포스팅을 마치도록 하겠습니다.