SEOの基礎！Googleクローラを知りクロールとレンダリングの重要性を理解する

f:id:blackwatcher:20160110205801j:plain

SEOで検索結果に表示されるためには、Googleにサイトを理解してもらい、検索で表示できるように読み込んでもらう必要があります。そのためには、次の2点が満たされていることが条件になります。

GooglebotというGoogleのウェブクローラにサイトをクロールしてもらう
ウェブコンテンツがユーザーに見えるようレンダリングしてもらう

この「クロール」と「レンダリング」が重要なのですが、それぞれどのような仕組みになっているのか見ていきましょう。

Googlebot ウェブクローラ

Googlebotと呼ばれるウェブクローラは、検索エンジンでコンテンツを表示させるために、各ウェブサイトからコンテンツを取得します。サイト間をリンクでたどり、アクセス先のページをダウンロードし、検索結果に表示できるようGoogleのサーバーに保管します。

その後、検索結果に表示するために、ダウンロードしたウェブコンテンツを機械学習などのアルゴリズムで分類・解析し、ユーザーが検索した際に、適切な回答を返せる状態にします。Googleが使用しているこれら一連の動作をするためのウェブクローラを、Googlebotと呼んでいます。

ちなみにMicrosoftの検索エンジン「Bing」のウェブクローラは「Bingbot」です。

レンダリング

ユーザーはさまざまなブラウザやデバイスで検索結果を見ます。ウェブコンテンツがユーザーに対してどのように表示され、動作するかを理解するためにGooglebotは「レンダリング」というプロセスを行います。レンダリングは、GoogleがURLを取得しそのページのコードファイル（HTMLなど）を実行します。これは、ブラウザがウェブコンテンツを表示する原理と同じです。次に最初に取得したコードファイルが参照するすべてのリソース（画像、CSSなど）をクロールし、最終的にページの外観を作成します。これにより、Googleはコンテンツをより深く理解します。

Fetch as Goolge

この2点が可能になって、はじめてウェブコンテンツは検索結果に表示されるようになります。Googleが正しくクロールできなかったり、レンダリングができない場合には、クローラがそのサイトの情報を収集することができず、検索結果に表示されません。この問題を解決するためのツールを、Googleはウェブマスター向けに提供しています。それが「Fetch as Goolge」です。Fetch as Goolgeは「Search Console」の機能の一部です。

f:id:blackwatcher:20160110205338p:plain

※Fetch as Goolgleのキャプチャです

Fetch as Googleを使うことで、サイトのクロールまたはレンダリングのテストを行うことができます。Googlebotがサイト上のページに適切にアクセスできているかどうか、またページのレンダリング方法など、ページのリソースがGooglebotに対してブロックされていないかなどを確認することができます。クロールとレンダリングの実行をテストし、サイト上のクロールに関する問題をデバッグする際に便利なツールです。使い方は、下記URLより確認してみてください。

《使い方》

Use Fetch as Google for websites - Search Console Help