主要な検索エンジンのクローラーは、基本的にrobots.txtの指示に従ってクロールを行いますが、その対応状況には若干の違いがあります。
-
Googleは2019年にrobots.txtの仕様を一部変更し、ワイルドカード(*)の使用方法の制限やnoindexディレクティブのサポートなどを導入しています。Googleのクローラーはrobots.txtのルールを厳密に守り、指定されたページやディレクトリのクロールを制御します。
-
Bingは2020年にrobots.txtの処理方法を改善し、より効率的にrobots.txtを解釈してクロール制御を行うようになっています。
-
YahooやDuckDuckGoなど他の検索エンジンもrobots.txtの仕様を定期的に更新し、対応を進めています。
robots.txtは、検索エンジンの進化に合わせて仕様が変わることがあり、新しいディレクティブの追加や既存の解釈の変更が今後も予想されます。
また、robots.txtはクロールの制御に使われますが、noindexタグのようにインデックス登録の制御には完全には対応していないため、インデックス制御には別の方法も併用する必要があります。
robots.txtの記述ミスは重要なページのクロール阻害やSEO上の問題につながるため、Googleサーチコンソールの「robots.txtテスター」などで動作確認を行うことが推奨されています。
まとめると、主要検索エンジンはrobots.txtに対応しており、GoogleやBingは特に最新の仕様に基づいた処理を行っていますが、robots.txtの仕様は変化し続けているため、最新の情報を確認しつつ正確に設定・検証することが重要です。
JP Ranking は、日本で最高品質のウェブサイトトラフィックサービスを提供しています。ウェブサイトトラフィック、デスクトップトラフィック、モバイルトラフィック、Googleトラフィック、検索トラフィック、eCommerceトラフィック、YouTubeトラフィック、TikTokトラフィックなど、さまざまなトラフィックサービスをクライアントに提供しています。当サイトは100%の顧客満足度を誇り、安心して大量のSEOトラフィックをオンラインで購入できます。月額¥2600で、即座にウェブサイトトラフィックを増加させ、SEOパフォーマンスを改善し、売上を向上させることができます！
トラフィックパッケージの選択にお困りですか？お問い合わせいただければ、スタッフがサポートいたします。
無料相談