クロールとは?Googleがホームページを見つける仕組みと、なかなか来てもらえないときの確かめ方

結論:クロールは「Googleのロボットが、ページを見に来ること」

「クロール」という言葉は、水泳の泳ぎ方や、血液検査の項目(クロール=塩素)を指すこともありますが、この記事で説明するのは、ホームページと検索の話の「クロール」です。ホームページを作ったのに検索に出てこないとき、「まだクロールされていないのかも」と言われることがあります。この記事では、クロールとは何か、どうすればGoogleに見に来てもらえるのかを、Googleの公式の説明をもとに説明します。

目次

結論:クロールは「Googleのロボットが、ページを見に来ること」

結論:クロールは「Googleのロボットが、ページを見に来ること」
  • 何のこと:Googleのロボット(Googlebot)が、Webのページを見つけて、中の文章や画像を読み取ること
  • 検索に出るまで:クロール → インデックス登録(Googleのデータベースに保存)→ 検索結果に表示、の3段階
  • 見つけてもらう方法:ほかのページからのリンクと、サイトマップ
  • 急ぎたいとき:Search ConsoleのURL検査ツールで、クロールをリクエストできる。ただし、何度頼んでも早くはならない

検索に出るまでの3つの段階

検索に出るまでの3つの段階

Googleは、検索の仕組みを次の3つの段階で説明しています。すべてのページが、この3つを通るわけではありません(Google 検索セントラル「Google の検索エンジンの仕組み」)。

  1. クロール:クローラーと呼ばれる自動のプログラムが、Web上で見つけたページから、文章や画像、動画を取り込む
  2. インデックス登録:取り込んだページの中身を解析して、Googleの大きなデータベース(インデックス)に保存する
  3. 検索結果の表示:だれかが検索したとき、インデックスの中から、検索した言葉に合う情報を返す

図書館にたとえると、クロールは「新しく出た本を探して集めてくる」こと、インデックス登録は「本の中身を確かめて、棚に並べ、目録に載せる」こと、検索結果の表示は「来た人の質問に合う本を出す」ことです。クロールされなければ、棚に並ぶこともありません。2段階目のインデックスについては、インデックスとは?でくわしく説明しています。

Googleは、どうやってページを見つけるのか

Googleは、どうやってページを見つけるのか

Googleの説明によると、Web上のすべてのページの一覧があるわけではないので、Googleは新しいページを探し続けています。見つけ方は、主に次の2つです(同上)。

  • リンク:すでに知っているページから、リンクをたどって新しいページを見つける。たとえば、ブログの一覧ページから、新しい記事へのリンクをたどる
  • サイトマップ:サイトの持ち主が、「クロールしてほしいページの一覧(サイトマップ)」をGoogleに送る

だから、新しく作ったページは、サイトの中のほかのページからリンクしておくことが大事です。どこからもリンクされていないページは、Googleに見つけてもらいにくくなります。サイトの中のリンクの張り方は、内部リンクとは?で説明しています。

また、Googleのロボットは、ログインしないと見られないページや、サイトの持ち主がクロールを禁止しているページ(robots.txtという設定で禁止できる)は読み取りません(同上)。

早く見に来てほしいとき:クロールのリクエスト

早く見に来てほしいとき:クロールのリクエスト

新しいページを作ったときや、内容を大きく直したときは、Googleにクロールをお願い(リクエスト)できます(Google 検索セントラル「URL の再クロールを Google にリクエストする」)。

  • ページが少ないとき:Search ConsoleのURL検査ツールに、そのページのURLを入れて、インデックス登録をリクエストする。Search Consoleで、そのサイトの所有者かフルユーザーになっている必要がある
  • ページが多いとき:サイトマップを送る

Googleは、次の点にも注意するよう書いています。

  • WordPressのような仕組みを使っている場合、ページを追加したり変えたりすると、ほぼ自動的に検索エンジンに送られる
  • クロールには、数日から数週間かかることがある
  • 1つずつのリクエストには上限があり、同じページを何度リクエストしても、早くクロールされることはない
  • リクエストしても、すぐに検索結果に出るとは限らず、まったく表示されないこともある

Search Consoleの始め方は、Googleサーチコンソールとは?で説明しています。

「お金を払えば早くクロールされる」は本当?

「お金を払えば早くクロールされる」は本当?

「料金を払えば、Googleに早く登録させます」という営業を受けることがあるかもしれません。Googleは、サイトをクロールする頻度や、検索の順位を上げるために、お金を受け取ることはないと明言しています(Google 検索セントラル「Google の検索エンジンの仕組み」)。そうした営業には注意してください。SEO業者の営業の見分け方は、SEO業者の営業電話は信用していい?で説明しています。

なかなかクロールされないときに確かめること

なかなかクロールされないときに確かめること
  1. そのページに、サイトのほかのページ(トップページや記事の一覧)からリンクしているか
  2. ログインしないと見られないページになっていないか
  3. Search ConsoleのURL検査ツールで、そのページの状態を見る(Googleが見に来たことがあるか、問題がないか)
  4. 作ってから数日しかたっていないなら、数週間は様子を見る

ホームページ全体が検索に出てこない場合の確かめ方は、ホームページを作ったのに検索に出てこない原因と確認5ステップでまとめています。

まとめ|クロールは、検索に出るための最初の一歩

まとめ|クロールは、検索に出るための最初の一歩

クロールは、Googleのロボットがページを見に来て、中身を読み取ることです。検索に出るには、クロール、インデックス登録、検索結果の表示の3段階があり、クロールはその最初の一歩です。新しいページはサイトの中からリンクし、急ぐときはSearch Consoleでリクエストする。何度頼んでも早くはならないので、あとは待つことも大切です。

まずは、最近作ったページに、トップページや記事の一覧からリンクが張られているかを確かめてみてください。

あわせて読みたい

  • URLをコピーしました!
目次