クローラビリティとは？向上させる9つの対策

クローラビリティとは、検索エンジンのクローラーにとって、そのサイトがどれだけ情報を見つけやすい状態になっているかを示した言葉です。クローラビリティが高ければ高いほど、検索エンジンからコンテンツの評価をしてもらいやすくなります。

そんなクローラビリティを向上させるには、どのような行動が必要でしょうか。この記事では、クローラビリティを向上させる対策を解説します。

■合わせて読みたい資料：「集客」に効果的なコンテンツの作り方がわかる
→BtoB向け！コンテンツSEO 集客ガイド

クローラビリティとは？

クローラビリティとは、検索エンジンのクローラーがWebサイトの情報をどれだけ見つけやすくなっているか、集めやすくなっているかという意味です。クローラビリティの向上とは、検索エンジンのクローラーに対して、自分のWebサイトの情報をクローラーにより見つけてもらえるように改善し、精度を上げるという意味になります。

クローラーとは？

クローラーとは、インターネット上にあるWebサイトなどのデータを収集するロボット（自動で作業をするソフトウェア）です。基本的には検索エンジンが、自身のデータベースにWebサイトを登録するために使われています。

インターネットには、たった1秒の間に数百ものWebサイトが公開されているといわれています。そうしたなか、有名な検索エンジン「Google」のクローラーが訪れるWebページの数は、世界中のWebサイト数億ページになるそうです。

インデックスとは？

クローラーは基本的には検索エンジンが自身のデータベースにWebサイトを登録するために使われています。このように、データ収集されて登録されることを「インデックス」といいます。

クローラビリティを向上させる9つの対策

Webサイトやページ、コンテンツが検索結果に表示されるようにするためには、クローラビリティの最適化が重要です。

まずはクローラーにWebサイトを見つけてもらう必要があります。そのため、クローラーに適したテキスト情報が不可欠です。クローラー向けの情報が不足している場合や不適切な場合は、クローラーに見つけてもらえず、長期間にわたり検索結果に反映されないということもありえます。

1.まずはわかりやすいURL階層を心掛ける

GoogleはシンプルなURL階層を推奨しています。例えば、BのようにURL階層が多く複雑化してしまうと発見されにくくなります。

Aのようにシンプルな場合は、URLが重視され、見つけてもらいやすくなります。つまり、クローラビリティを向上させる上では、階層を浅く保ったシンプルな構造が推奨されていることになります。

2.サーチコンソールでクロールを促す

GoogleのサーチコンソールにあるURL検査ツールを活用すると、クローラーが巡回する際に登録を促せる機能があります。サイトを更新したり、新しいページを追加した時など、すぐにクロールしてほしいページがある場合は、このツールを活用すると検査結果へ反映される可能性が高まります。

まずはGoogleサーチコンソールにログインします。続いて、左メニューにある「URL検査」をクリックします。

検索枠に対象WebサイトのURLを入力します。

GoogleがまだそのURLを登録してない場合は、「URL が Google に登録されていません」と表示されるので、右端にある「インデックス登録をリクエスト」をクリックします。

インデックス登録済みの場合だと「URLはGoogleに登録されています」と表示されます。

もし新規のページを追加したり、ページを大幅更新した場合は、「インデックス登録をリクエスト」をクリックして、再度クロールや登録を促せます。

3. XMLサイトマップを送信・更新する

Google XMLサイトマップとは、Webサイトの構造や画像・動画も含むコンテンツを検索エンジンに示せるファイルのことをいいます。端的に言うと、検索ロボットに早くシンプルにWebサイトを理解してもらうためのサイト全体のマップです。サイトマップはクローラーがひとつひとつページを理解するより早くWebサイトの構造理解を助けてくれるので、クローラビリティの向上にとって重要な役割を担っています。

基本的には「sitemap.xml」という名前のファイルで、正しく作成されていて、用途に適しているディレクトリをきちんと設置していれば、クローラーはサイトマップを読み込んでくれることになります。ただし記述の誤りなどがある場合、一切Webサイトが読み込んでもらえなくなってしまうため注意が必要です。

XMLサイトマップの作成方法は主に2つあります。

「sitemap.xml Editor」ツールを使用する

サイト上で対象URLの入力をして、オプション選択をすると、ワンクリックでサイトマップが作成されます。取得できるURLは最大1,000までですが、無料で利用できます。

「Google XML Sitemaps」プラグインを導入する

WordPressブログの場合で「Google XML Sitemaps」のプラグインを導入して有効化する方法です。サーチコンソールへのサイトマップ送信は手動ですが、sitemap.xmlを自動作成してくれて、更新URLの送信まで自動化できます。

▼サイトマップの作成方法については、こちらの記事も参考にしてみてください。
​​​​​​​→【簡単】サイトマップの作成・登録方法とは？SEOでの必要性と注意点

4. 内部リンクを設置する

内部リンクとは、自身のWebサイト内のページ同士を連携させるためのリンクです。他のサイトに遷移するリンクの場合は外部リンクと呼ばれています。

クローラーは基本的にリンクを使ってWebサイトを巡回していくため、内部リンクがきちんと整備されていないWebサイトはクローラーが巡回しづらくなり、検索エンジンへの登録が遅れることがあります。クローラビリティの改善をする上で重要な施策のひとつですので、きちんと内部リンクを設置する必要があります。

内部リンクはただ設置すればよいというものではなく、ページ同士の関連性や専門性の高さが評価基準となっています。内部リンクを設置する場合は、関連性が高いと判断されるようなリンクの貼り方をしましょう。

Googleの検索は読者の利便性を第一に考えており、読者がストレスなくスムーズにWebサイト内のページを閲覧できるか、利便性の低いWebサイトになってないかを重要視しています。

▼内部リンクについては、下記の記事もぜひ参考にしてみてください。
→SEOに効果的な内部リンクとは？目的に応じた設置のコツ

5. パンくずリストを設定する

パンくずリストとは、読者が閲覧しているページがWebサイト全体のどの位置になるのか、どの階層にいるのかがわかる道標のようなものです。

もともとのパンくずリストの話は、童話「ヘンゼルとグレーテル」に由来しているようで、先に話したようにWebサイトの歩き方を説明してくれる案内役のような役割を担っていることから、この名前になったようです。

上記はよくあるパンくずリストの事例です。現在のページがどの階層の下にあるのかわかりやすくなっています。

パンくずリストを設置すると、クローラーがWebサイトを理解しやすくなり、クローラビリティの向上につながります。また、読者にとっても、Webサイトのナビゲーションをしてくれるので、現在どのようなページを閲覧していて、どうすれば元のページに戻れるのかも示してくれるので利便性を高める上でも大事な施策になります。

6. 重複ページや存在しないページへのリンクを削除

クローラビリティ向上をする上で、重複ページ（重複コンテンツ）を無くすことも大事です。

上記のようなページがあると、それぞれにアクセスが分散してしまい、クローラビリティの低下につながります。

このようなケースはどちらかにURLをリダイレクトするような設定をし（これをURLの正規化ともいいます）、統一しましょう。

また存在しないページにクローラーが飛んでしまうのもクローラビリティ低下を招きます。存在しないページがないようしっかり管理する必要があります。

7. 被リンクを獲得する

クローラビリティを向上させるコツとして、最も効果の高い方法は被リンクを獲得することです。先ほどの内部リンクと同じように、クローラーはリンクからリンクに移動するため、外部サイトのリンクがあることで流入を見込めます。

被リンクの増やし方は様々ありますが、例としては、SNSなどで自身のWebサイトのページを定期的に拡散させると、共感やシェアが増えて、外部サイトでの参照が増えることがあります。こうすることで被リンクが獲得でき、人気のWebサイトやページだと認知され、クローラーからも見つけてもらえやすくなり、クローラビリティの向上に繋がるのです。

▼被リンクについては、下記の記事もぜひ参考にしてみてください。
→被リンクを獲得する方法とは？SEO対策に有効な評価を高める増やし方

8. サーバーの最適化

利用しているサーバーのパフォーマンスを最適化することによって、クローラビリティの改善ができます。主に以下のような対策が効果的です。

• ストレージやメモリの容量を増やす
• サーバーの性能を上げるため、CPUの性能を高める
• コーディングに使ってる言語のバージョンアップ
• データベースの改善

アクセスが多い場合でも負荷が減るため、サーバーに対しての反応が良くなります。パフォーマンスの精度を上げることでクローラーがリンクを経由して巡回しやすくなり、クローラビリティが向上するのです。

9. ファイルサイズを減らす

Webサイトやページ内のファイルサイズも、クローラビリティ向上にとって重要な項目のひとつです。クローラーが自身のWebサイトを見つけたときに、ファイルサイズが大きいとクローラーへの負荷が高くなり、登録できるページ数が少なくなることがあります。

Webサイトにある画像やCSSなどのファイルサイズを軽くすると、クローラーの負担軽減になり、より多くのページをクロールしてもらえます。

こうすることで、表示スピードも改善されます。表示スピードはユーザーにとって最重要事項といっても過言ではありません。ユーザーにとってやさしい、そして軽く最適化されたWebサイトにするために、ファイル圧縮や不要なコードの最適化などをして、なるべくファイルサイズを減らすことを心がけましょう。

自サイトにクローラーが巡回しているかを確認するには？

クローラーが自身のサイトをみつけてくれているかどうかは、以下の方法で確認できます。

1. 「site:検索」で確認

Google検索に下記を入力してみましょう。

この検索をすると、そのWebサイトがGoogleにインデックス登録されているかどうかがわかります。Googleに登録されていれば、検索結果にページが表示されるはずです。

まだ検索結果に反映されてない場合は、サーチコンソールのURL検査で登録を促してみましょう。

公開したばかりのページや更新したページは基本的には反映に数日かかることが多いようです。しばらく経ってから再度確認してみましょう。

2. サーチコンソールの「クロールの統計情報」で確認する

クロールの確認において重要なことはクロールの長期的状況を確認することです。クローラーの活動状況は、Googleサーチコンソールで確認できます。

まずサーチコンソールを開き、「設定」をクリックします。

クロールの統計情報の「レポートを開く」をクリックします。

レポートを開くと、Webサイトにおける90日間のクロール活動状況を確認できます。

1日あたりのクロールページ数や1日の合計ダウンロードサイズ、ページのダウンロード時間（ミリ秒）など、項目ごとに3つのグラフが表示され、必要情報を確認できます。

▼Googleサーチコンソールについては、下記の記事もぜひ参考にしてみてください。
→【初心者必見】Googleサーチコンソールの使い方｜サイト改善と登録・設定の方法

3. キャッシュで確認する

クローラーが自分のWebサイトに来ているかの確認方法として、既にGoogleの検索結果に掲載されているのであれば、いつインデックス登録されたかを確認する方法が有効です。

まずGoogleの検索をして、自身のWebサイトの検索結果を確認します（上記と同じ）。続いて、表示されたURL右側にある矢印（▼）をクリックします。

キャッシュという文字が表示されていたら、その文字をクリックします。

インデックス登録していれば、GoogleがキャッシュしたWebページのデータが表示されます。キャッシュを取得した時間が記載されているはずなので確認してみましょう。

自サイトのクローラビリティを向上させよう

クローラビリティとは、検索エンジンのクローラーが「どのくらい自身のWebサイトを見つけやすくなってるか」を表す用語です。クローラビリティを向上することで、検索エンジンのクローラーに自分のWebサイト情報を見つけてもらいやすいようになり、検索結果順位も上がります。

クローラビリティは、自身のWebサイト全体やコンテンツなどを見直すなどして施策をしていき、サーチコンソールで結果を確認しつつ、さらに向上して最適化していきます。

今回紹介した9つの向上する施策をすぐに実践して、より最適化されたページにし、多くのユーザーに訪れてもらえるようなWebサイトにしていきましょう。

弊社では、ノーコードで誰でも簡単にホームページの作成・更新・分析ができるWebマーケティングツール「ferret One」を提供しています。ホームページの更新のやり方や、お問合せを増やすためのノウハウもあわせて提供。初めてのWebサイト運営でも安心です。

>ferret Oneサービス紹介資料のダウンロード【無料】はこちら