Screaming Frog（スクリーミングフロッグ）は、ウェブサイトのSEO監査や分析を行うための強力なツールで、SEOの専門家やウェブマスターにとって欠かせないウェブサイトクロールツールです。
このツールを活用することで、ウェブサイトのURLを詳細にクロールし、タイトルタグやメタディスクリプション、見出しタグ、リンク状況、画像の代替テキスト（Alt属性）など、さまざまなSEO要素を分析することができます。
また、重複コンテンツや404エラー、リダイレクトチェーンなどの問題を迅速に検出し、SEOパフォーマンスの向上に役立てることが可能です。
本記事では、Screaming Frogの基本的な使い方や設定方法、クロール後のレポートの活用方法について詳しく解説します。
Screaming Frogは、SEOの専門家やウェブマスターに人気のあるウェブサイトクロールツールです。
このツールを使用すると、ウェブサイトのURLをクロールし、タイトルタグ、メタディスクリプション、見出しタグ、リンクの状況、画像の代替テキスト（Alt属性）など、さまざまなSEO関連の要素を分析できます。
また、重複コンテンツや404エラー、リダイレクトチェーンなどの問題も検出できます。
Screaming Frogのインストールと設定
インストール手順
Screaming Frogの公式サイトにアクセスし、SEO Spiderツールをダウンロードします。
ダウンロードが完了したら、インストールを開始します。画面の指示に従ってインストールを完了させてください。
基本設定
- メモリの割り当て: Screaming Frogを効率的に使用するために、メモリ設定を最適化することをお勧めします。「Configuration」→「System」→「Memory」に進み、使用可能なメモリの上限を設定します。
- プロキシ設定: 特定の環境ではプロキシサーバーを使用する必要がある場合があります。「Configuration」→「Proxy」で設定を行ってください。
ウェブサイトのクロール方法
Screaming Frogを起動し、メイン画面の中央にあるURL入力ボックスにクロールしたいウェブサイトのURLを入力します。
右下の「Start」ボタンをクリックしてクロールを開始します。
クロールが進行するにつれて、リアルタイムでデータが表示されます。クロールが完了するまで待ち、クロール結果を確認します。
レポートの解釈と活用方法
Screaming Frogの結果は多岐にわたりますが、以下の主要な項目に注目してください。
- Internal（内部リンク）: ウェブサイト内のすべての内部リンクが表示されます。リンク切れやリダイレクトの問題がないか確認します。
- External（外部リンク）: 外部リンクの状況を確認し、リンク切れや不適切なリンクがないかチェックします。
- Response Codes（レスポンスコード）: HTTPステータスコード（200、404、301など）を確認し、エラーやリダイレクトが適切に設定されているかを確認します。
- Page Titles（ページタイトル）: 各ページのタイトルタグをチェックし、重複や不適切な長さがないか確認します。
- Meta Descriptions（メタディスクリプション）: メタディスクリプションの有無や適切な長さを確認します。
- H1 Tags: 見出しタグ（H1）の重複や不適切な設定を確認します。
これらのデータを分析することで、SEO上の問題を特定し、改善策を講じることができます。
よくある疑問点
Screaming Frogは無料か？
A1: Screaming Frogには無料版と有料版があります。無料版は最大500ページのクロールに対応していますが、これを超える場合は有料版を購入する必要があります。
クロールが非常に遅いのはなぜか？
A2: クロール速度は、サーバーの性能やインターネットの接続状況に依存します。また、クロールの設定や対象サイトの構造によっても影響を受けます。クロール速度は「Configuration」→「Speed」から調整可能です。
Screaming Frogは、ホームページのすべてのページ（URL）を抽出できる？
Screaming Frogはホームページのすべてのページ（URL）を抽出することができます。デフォルトではクロールできるページ数が500ページに制限されていますが、有料版にアップグレードすると、この制限が解除され、サイト全体を完全にクロールすることが可能になります。
具体的には、次のような手順で行います。
Screaming FrogでウェブサイトのすべてのURLを抽出する手順
- Screaming Frogを起動: Screaming Frogを立ち上げます。
- ウェブサイトのURLを入力: メイン画面の上部にあるURL入力ボックスに、クロールしたいウェブサイトのホームページURL（例えば、
https://example.com）を入力します。 - クロールの開始: URLを入力したら、右下の「Start」ボタンをクリックしてクロールを開始します。Screaming Frogは、指定されたウェブサイトのすべてのリンクをたどり、内部ページや関連するすべてのURLをクロールします。
- クロールの完了と確認: クロールが完了すると、Screaming FrogのインターフェースにクロールされたすべてのURLが一覧表示されます。これには、内部リンク、外部リンク、リダイレクトされたURLなどが含まれます。
- URLの抽出:
- 内部URLの抽出: 内部リンク（サイト内のページ）を確認するには、「Internal」タブをクリックします。このタブには、クロールされたすべての内部URLが表示されます。
- 外部URLの抽出: 外部リンク（外部サイトへのリンク）を確認するには、「External」タブをクリックします。
- URLのエクスポート: 抽出したURLを保存するには、リストをエクスポートすることができます。これを行うには、画面上部の「Export」ボタンをクリックし、CSV形式などで保存します。
SEO対策のプロがScreaming Frogを使う方法
SEO対策のプロフェッショナルは、Screaming Frogを非常に効果的に活用して、ウェブサイトのパフォーマンスを最適化し、検索エンジンでのランキングを向上させています。
以下は、SEOの専門家がScreaming Frogを使用する際の主要な方法と、その具体的な手順です。
1. サイト全体の技術的SEO監査
Screaming Frogは、ウェブサイトのすべてのページをクロールし、技術的なSEOに関する問題を包括的にチェックします。これには、タイトルタグ、メタディスクリプション、見出しタグ、ステータスコード、内部リンク、外部リンク、ページの速度、重複コンテンツなどが含まれます。
手順:
- URLを入力し、サイト全体をクロール。
- クロール結果をエクスポートして、ExcelやGoogle Sheetsで分析。
- 特に404エラー、リダイレクトの問題、ページのメタデータに焦点を当てて修正。
2. サイトの内部リンク構造の最適化
内部リンクは、サイト内のページ同士をつなぐ重要な要素であり、SEOにおいても大きな役割を果たします。Screaming Frogを使って、内部リンクの構造を可視化し、リンクの流れを最適化します。
手順:
- 「Internal」タブで内部リンクを確認。
- 「Inlinks」および「Outlinks」セクションで、各ページがどの程度リンクされているかを分析。
- リンクが少ないページに対して、他の関連ページからのリンクを増やす戦略を策定。
3. サイトマップの生成と最適化
Screaming Frogを使って、XMLサイトマップを生成し、検索エンジンに提出することで、クローリングとインデックスの精度を向上させます。
手順:
- 「Sitemaps」機能を使用して、クロール結果からXMLサイトマップを生成。
- 「Priority」「Change Frequency」などの設定を調整し、最適なサイトマップを作成。
- サイトマップをGoogle Search Consoleに送信して、クロールの効率化を図る。
4. 重複コンテンツの検出と修正
重複コンテンツはSEOにおいて問題を引き起こし、検索エンジンによる評価を下げる可能性があります。Screaming Frogは、重複したタイトルタグ、メタディスクリプション、コンテンツ自体を検出するために使われます。
手順:
- 「Page Titles」および「Meta Descriptions」タブで重複の有無をチェック。
- 「Exact Duplicate」フィルターを使用して、完全に同一のページや非常に類似したページを特定。
- 重複しているページの修正、統合、または適切なcanonicalタグの設定を行う。
5. モバイルフレンドリーな要素の確認
モバイルユーザーが増加している現在、モバイルフレンドリーなウェブサイトの構築は不可欠です。Screaming Frogを使って、モバイル版サイトのクロールを行い、技術的な問題を特定します。
手順:
- Screaming Frogのユーザーエージェント設定を「Googlebot Smartphone」に変更。
- モバイル版サイトのクロールを実行し、レスポンシブデザインやページ速度に関する問題を確認。
- モバイル表示に問題があるページを特定し、修正する。
6. データのレポートとクライアント向け提案の作成
Screaming Frogのレポート機能を活用し、SEOの状況をクライアントにわかりやすく説明し、改善提案を行います。
手順:
- クロール結果をPDFやCSV形式でエクスポート。
- 発見された問題点とその改善方法を、クライアント向けにレポートとしてまとめる。
- 定期的なクロールとレポート提出を行い、改善状況をモニタリング。
Screaming Frogで「Internal（内部リンク）」のエラーが出たときの対処法は？
Screaming Frogを使用している際に「Internal（内部リンク）」セクションでエラーが表示されることがあります。
このエラーは、サイト内のリンクに問題があることを示しており、SEOやユーザー体験に悪影響を及ぼす可能性があります。これらの対処法を実践することで、Screaming Frogで検出された「Internal（内部リンク）」エラーを修正し、ウェブサイトのSEOとユーザーエクスペリエンスを向上させることができます。
以下に、よくある内部リンクエラーとその対処法について解説します。
1. 404エラー（リンク切れ）
症状:
リンク先のページが存在しないため、ユーザーが404エラーページに到達してしまう場合。
対処法:
- リンク先の修正: リンクが切れているページが存在する場合、リンク先のURLを正しいものに修正します。
- ページの復元: リンク先のページが誤って削除されている場合、そのページを復元することを検討します。
- リダイレクトの設定: 修正が難しい場合や、リンク先ページが永久的に削除されている場合、適切な代替ページに301リダイレクトを設定することで、ユーザーが404エラーページに到達しないようにします。
2. 500エラー（サーバーエラー）
症状:
リンク先のページがサーバーエラーを返すため、ユーザーがアクセスできない場合。
対処法:
- サーバー設定の確認: サーバーエラーの原因がサーバーの設定やリソース不足にある場合、サーバー管理者に相談して問題を解決します。
- 一時的なエラーの確認: サーバーエラーが一時的なものである可能性もあるため、時間をおいて再確認することも重要です。
3. リダイレクトチェーンまたはループ
症状:
内部リンクが複数回リダイレクトされることで、リダイレクトチェーンやループが発生する場合。
対処法:
- リダイレクトの整理: リダイレクトチェーンを最短経路に整理し、1回のリダイレクトで済むように設定します。例えば、A→B→Cとリダイレクトされている場合、A→Cに直接リダイレクトするように修正します。
- 無限リダイレクトの解消: リダイレクトループが発生している場合、リンク設定を見直し、ループを解消します。
4. nofollowタグ付きのリンク
症状:
内部リンクにrel="nofollow"属性が付いているため、検索エンジンがリンクをたどらない場合。
対処法:
- nofollowの削除: サイト内で重要なページ間リンクに
nofollowが設定されている場合、その属性を削除します。ただし、意図的に設定されている場合は、そのまま維持します。
5. アンカーテキストの問題
症状:
内部リンクのアンカーテキストが不適切または不明確な場合。
対処法:
- 適切なアンカーテキストの使用: ユーザーと検索エンジンにリンク先の内容を正確に伝えるために、適切で説明的なアンカーテキストを使用します。たとえば、「ここをクリック」ではなく、「SEOガイドラインを読む」などの具体的なテキストを使用します。
Screaming Frogで「External（外部リンク）」のエラーが出たときの対処法は？
Screaming Frogを使用してウェブサイトをクロールする際に、「External（外部リンク）」に関するエラーが表示されることがあります。
これらのエラーは、他のウェブサイトへのリンクが適切に機能していないことを示しており、SEOやユーザー体験に悪影響を及ぼす可能性があります。
以下に、一般的な外部リンクエラーとその対処法について解説します。
1. 404エラー（リンク切れ）
症状:
リンク先の外部ページが存在せず、404エラーページにリダイレクトされる場合。
対処法:
- リンクの修正: 外部リンク先のURLが間違っている場合、正しいURLに修正します。
- 代替リンクの検索: リンク先のページが永久的に削除されている場合、同じ内容を提供する別のページへのリンクに変更します。
- リンクの削除: 代替ページが見つからない場合、そのリンクを削除することを検討します。
2. 500エラー（サーバーエラー）
症状:
外部リンク先のページがサーバーエラーを返し、アクセスできない場合。
対処法:
- 一時的な問題の確認: サーバーエラーが一時的なものである可能性があるため、一定時間を置いて再確認します。
- サイト管理者への連絡: 外部サイトの管理者に連絡を取り、問題が解決されるか確認します。
- リンクの代替または削除: サーバーエラーが長期間続く場合は、別のリンクに変更するか、リンクを削除します。
3. リダイレクトチェーンまたはループ
症状:
外部リンクが複数回リダイレクトされることで、リダイレクトチェーンやループが発生する場合。
対処法:
- 直接リンク先の確認: リダイレクトチェーンの最終的なリンク先が存在する場合、そのURLに直接リンクするように修正します。
- リンクの変更または削除: リダイレクトループが発生している場合は、リンクを変更するか、削除することを検討します。
4. セキュリティ警告（SSL/TLS関連）
症状:
外部リンク先のサイトがSSL証明書のエラーを返す、または安全でないHTTPリンクが使用されている場合。
対処法:
- HTTPSリンクの使用: 可能であれば、HTTPではなくHTTPSを使用する外部リンクに変更します。これにより、セキュリティとSEOの両面で改善が期待できます。
- リンクの確認と変更: リンク先のサイトが安全でない場合、信頼できる代替サイトへのリンクに変更します。
5. nofollowタグ付きの外部リンク
症状:
外部リンクにrel="nofollow"属性が付いているため、検索エンジンがリンクをたどらない場合。
対処法:
- nofollowの維持または削除: 外部リンクが信頼できるものであり、SEO効果を期待したい場合は
nofollow属性を削除します。ただし、リンク先が広告やアフィリエイトの場合、nofollowを維持することが推奨されます。
Screaming Frogを使用中にエラーが出たときの対処法
Screaming Frogを使用している際にエラーが発生することがあります。
これらのエラーは多岐にわたりますが、ここでは一般的なエラーとその対処方法について解説します。
1. メモリ不足エラー
症状:
大規模なウェブサイトをクロールしている際に、「OutOfMemoryError」などのメモリ不足に関連するエラーが表示されることがあります。
対処法:
- メモリの割り当てを増やす: Screaming Frogの設定で使用可能なメモリ量を増やすことができます。「Configuration」→「System」→「Memory」から、Javaのヒープメモリを増やしてください。通常、64ビット版のOSを使用している場合、最大で4GB以上のメモリを割り当てることが可能です。
- クロール範囲を絞る: クロールするページ数を制限するか、特定のディレクトリやページタイプのみに絞ってクロールを行うことで、メモリ使用量を抑えることができます。
2. クロール速度が遅い/停止する
症状:
クロールが非常に遅い、または途中で停止してしまうことがあります。
対処法:
- クロール速度の調整: クロール速度が遅い場合は、「Configuration」→「Speed」からスレッド数やリクエスト数を増やすことで、クロールを高速化できます。ただし、サーバーに負荷をかけすぎないように注意が必要です。
- キャッシュのクリア: キャッシュが原因でクロールが停止することがあります。「File」→「Clear Cache」でキャッシュをクリアしてから再試行してみてください。
3. 「Blocked by robots.txt」エラー
症状:
クロールしたいページがrobots.txtファイルによってブロックされている場合に、このエラーが表示されます。
対処法:
- robots.txtを確認する: まず、
robots.txtファイルの内容を確認し、Screaming FrogがクロールしようとしているURLがブロックされていないか確認します。 - robots.txtの無視: 特定のテスト目的で
robots.txtの指示を無視してクロールしたい場合は、「Configuration」→「Robots.txt」に進み、「Ignore Robots.txt」を選択してクロールを実行します。
4. 接続タイムアウトエラー
症状:
「Connection Timed Out」エラーは、指定されたURLに接続できない場合に発生します。
対処法:
- ネットワーク接続の確認: ネットワーク接続に問題がないか確認します。他のサイトへのアクセスが問題なく行えるかも確認してみてください。
- プロキシ設定の確認: プロキシサーバーを使用している場合、その設定が正しいか確認します。「Configuration」→「Proxy」で設定を確認できます。
- サーバー側の制限確認: サイト側でクロールを制限している可能性もあります。この場合は、サイト管理者に確認するか、クロール間隔を調整して再試行してください。
5. 認証エラー
症状:
認証が必要なページをクロールしようとした際に、認証に失敗するエラーが発生します。
対処法:
- 認証情報の設定: 認証が必要な場合は、「Configuration」→「Authentication」から、BasicやDigest認証、APIキーなどを使用して適切な認証情報を設定します。
- Cookieの使用: ログインセッションが必要な場合、ブラウザからScreaming Frogにクッキーをインポートしてクロールすることが可能です。
まとめ
Screaming Frogは、ウェブサイトの技術的なSEO監査において非常に強力なツールです。適切な設定と操作を行うことで、ウェブサイトのあらゆるページをクロールし、内部リンクや外部リンクの問題を発見し、SEOの改善に役立てることができます。
さらに、無料版でも十分に使える機能が豊富に用意されており、ウェブサイトの最適化に取り組むすべての人にとって貴重なツールです。ぜひ、Screaming Frogを活用して、ウェブサイトのSEOを一層強化しましょう。
