robots.txtの最適化｜SEOに強くなる正しい書き方とNG例

WordPressサイトを運営していると、検索エンジンが必要なページを正しくクロールしてくれないことがあります。その原因の1つが robots.txt の誤設定です。本記事では、WordPress向けに最適化した robots.txt の書き方、実際の設定例、そして Google Search Console でのサイトマップ送信方法まで分かりやすく解説します。（※robots.txtは任意です。）

1 robots.txtとは？

robots.txt は検索エンジンのクローラーに対し「サイト内のどのページをクロールしてよいか」を指示するためのファイルです。WordPressのルートディレクトリ（/public_html/）に設置します。

以下は WordPress で推奨される robots.txt の例です（2024,2025年のSEO基準準拠）。

# =========================================
# robots.txt
# Lightning + GA4 + WP Statistics + AdSense対応
# =========================================

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /feed/
Disallow: /category/
Disallow: /tag/
Allow: /wp-content/
Allow: /wp-includes/
Disallow: /wp-login.php
Disallow: /xmlrpc.php
Disallow: /*?order=
Allow: /*?s=
Allow: /*?paged=
Allow: /*?p=
Allow: /*?post_type=

User-agent: AdsBot-Google
User-agent: AdsBot-Google-Mobile
User-agent: Mediapartners-Google
User-agent: Bingbot
User-agent: AdIdxBot

Sitemap: https://example.com/wp-sitemap.xml

2 WordPressでrobots.txtを設置する方法

ファイル名：robots.txt
設置場所：/public_html/robots.txt

メモ帳などのテキストエディタで robots.txt を作成し、FTPでWordPressのルートディレクトリにアップロードします。

WordPressが自動生成する robots.txt もありますが、細かい制御を行いたい場合は物理ファイルの設置がおすすめです。

3 ディレクトリ構造（例）

4 Google Search Consoleでの wp-sitemap.xml の送信方法

1. Google Search Console にログインします
2. 左メニューの「サイトマップ」をクリックします
3. 新しいサイトマップの追加欄に wp-sitemap.xml と入力し、「送信」をクリックします
4. 一覧に「/wp-sitemap.xml」が追加されていれば正常です
5. 送信直後に「成功しました」と表示され、検出ページ数が 0件 でも問題ありません。1～3日後に検出件数が増え始めます。

5 Google Search Consoleで個別ページをインデックスさせる方法

1. Google Search Console にログイン
2. 左上の「URL検査」を開く
3. インデックスさせたいページのURLを入力
4. 「インデックス登録をリクエスト」をクリック

6 「クロール済み - インデックス未登録」の原因と対策

URL検査で「クロール済み - インデックス未登録」になる理由は以下です：

• robots.txt または noindex タグで制限している
• 内容が薄い・重複している・評価が低い
• クロールされたが、インデックス優先度が低い

対策：

• robots.txt に誤った Disallow がないか確認する
• noindex タグが不要ページに付けられていないか確認
• 記事の質を改善し、再度「インデックス登録をリクエスト」する

7 まとめ

• robots.txt は検索エンジンへの「クロール指示書」
• カテゴリ・タグ・RSS は Disallow が推奨（重複回避）
• Google Search Console では wp-sitemap.xml の送信が最重要
• インデックス未登録の原因は robots.txt・noindex・低品質コンテンツのいずれか
• 物理ファイル robots.txt がある場合は WordPress 自動生成より優先される

正しい robots.txt の設定とサイトマップ送信で、クロール効率が大きく向上し、WordPressサイトのインデックス登録も改善します。

8 関連記事リンク

▶ X-Robots-Tagを使い feed に noindex を設定する方法

▶ wp-sitemap.xmlとsitemap.xmlの違いとは？【WordPressユーザー必見】