この記事の要点
- robots.txtに、自分で書いた覚えのないAIクローラーのブロック指示が入っていることがある
- 原因はサーバーやCDNの初期設定。サイトを追加したときに自動で有効になる
- AIのクローラーは3種類ある。検索用、回答を作る用、学習用。止まるのは主に学習用
- AIに引用されたいなら回答を作る用を、覚えられたいなら学習用も通す必要がある
- 確認は3秒。自分のサイトのURLに /robots.txt をつけて開くだけ
LLMOの記事を書いている途中で、念のため自分のサイトのrobots.txtを開きました。
知らない指示が並んでいました。
```User-agent: GPTBot Disallow: /User-agent: ClaudeBot Disallow: /User-agent: CCBot Disallow: /User-agent: Google-Extended Disallow: /```
AI関連のクローラーが、まとめてブロックされていました。自分で書いた覚えはありません。
「AIに引用されるための書き方」を説明している記事を、AIが読みに来られないサイトに載せようとしていたわけです。
robots.txtとは
先に用語だけ。
robots.txtとは、サイトを見に来るプログラムに対して、どこを見ていいか・見てはいけないかを伝えるファイルのことです。
サイトの一番上の階層に置かれていて、誰でも開けます。あなたのサイトにもあるはずです。
見に来るプログラムというのは、検索エンジンのクローラーや、AIのクローラーのことです。このファイルに「入るな」と書いてあると、行儀の良いクローラーは引き返します。
原因は、サーバー側の初期設定でした
なぜ書いた覚えのない指示が入っていたのか。
調べたところ、サイトを追加したときに自動で有効になる設定でした。管理画面にこう書いてあります。
有効にすると、robots.txtファイルを作成または更新し、コンテンツがAIトレーニングに使用されないように通知します
つまり、サービス側が親切心で、自動的にAI学習を拒否する設定を入れていたわけです。
悪意はありません。むしろ「勝手に学習されたくない人が多いだろう」という配慮です。初期状態で有効になっていました。
そして厄介なのが、この設定は自分のrobots.txtを上書きするのではなく、上に足す形で入ることです。自分で書いた内容もそのまま残っているので、管理画面だけ見ていても気づきません。
気づく方法は、実際にファイルを開いてみることだけでした。
AIのクローラーは、3種類あります
ここが一番大事なところです。AIのクローラーをひとまとめにして考えると、判断を間違えます。
役割で分けると3つあります。
| 種類 | 何をしに来るか | 止めるとどうなるか |
|---|---|---|
| 検索用 | 検索結果に載せるため | 検索に出なくなる |
| 回答用 | AIが質問に答えるとき、その場で読みに来る | AIの回答に引用されなくなる |
| 学習用 | モデルを育てる材料として集める | AIの知識の中に入らない |
今回ブロックされていたのは、主に学習用でした。検索用と回答用は通っていました。
つまり、AIの回答に引用されること自体は、止まっていませんでした。 ここは救いです。
ただし、モデルの中に「このサイトがある」という知識は蓄積されません。 聞かれたときに検索して引用してもらうことはできても、もともと知っている状態にはならない、という違いです。
止めたままでいい場合と、外した方がいい場合
どちらが正解、という話ではありません。目的で決まります。
止めたままでいい場合
- 作品そのものを守りたい（イラスト、写真、デザイン、文章表現）
- 有料で売っているものと同じ内容を置いている
- 学習に使われること自体に納得がいかない
創作物が商品の人は、止める理由がはっきりあります。 自分の絵柄や文体が学習に使われるのは、感覚として受け入れがたいと思います。
外した方がいい場合
- 知ってもらうことが目的で書いている
- 記事が集客の入口になっている
- 名前や事業を覚えてもらいたい
こちらの場合、止めるとただ届かなくなるだけです。守るものより、知られない損の方が大きくなります。
私は外しました。AIに引用される書き方を説明している以上、自分のサイトを閉じているのは筋が通らないからです。
確認は3秒で終わります
自分のサイトがどうなっているか、すぐ分かります。
- ブラウザで、自分のサイトのアドレスの後ろに
/robots.txtをつけて開く - 中身を眺める
見覚えのない指示が並んでいたら、どこかの設定が自動で書いています。
見るポイントは、こういう名前が並んでいるかどうかです。
GPTBotClaudeBotCCBotGoogle-ExtendedApplebot-Extended
これらに Disallow: / がついていたら、AI関連のクローラーは入れない状態です。
ちなみに、Content-Signal という行が入っていることもあります。 これは「検索には使っていい」「学習には使うな」といった意思表示を、より細かく書ける新しい書き方です。ここに ai-train=no と入っていれば、学習を拒否している状態です。
外し方
サービスによって場所は違いますが、AI関連の設定にまとまっていることが多いです。
私の場合は「AIクロール制御」という項目の中に「管理対象のrobots.txt」というスイッチがあり、それをオフにしたら消えました。
外したあと、必ずもう一度 /robots.txt を開いて確認してください。 消えているかどうかは、見れば分かります。
私のサイトは、いまこれだけになっています。
```User-agent: *Allow: /
Sitemap: https://ai-blossom.net/sitemap.xml```
自分で書いたものだけの状態です。
本当にこわいのは、気づけないこと
今回の件で一番思ったのは、これです。
サイトは正常に動いていました。 表示も速いし、エラーも出ない。検索順位が急に落ちたわけでもない。
誰も教えてくれません。 管理画面にも警告は出ません。設定した本人（この場合はサービス側）にとっては正常な動作なので、当然です。
これ、以前このサイトで書いたことと同じ構造です。サイトマップが1年間壊れていたときも、まったく同じでした。エラーは出ず、静かに効かない状態が続いていました（サーバーとドメインとメール、放っておくとどうなるか）。
動いているように見えることと、意図通りに動いていることは、別です。
そして意図通りかどうかは、自分で開いて見るしかありません。 3秒で終わる確認を、しばらくやっていなかったというだけの話でした。
まとめ
- robots.txtに、自分で書いた覚えのないAIブロックが入っていることがある
- 原因はサーバーやCDNの初期設定。サイトを追加したときに自動で有効になる
- AIのクローラーは3種類。検索用・回答用・学習用。止まるのは主に学習用
- 作品を守りたいなら止める。知ってもらいたいなら外す。 目的で決める
- 確認は3秒。
/robots.txtを開くだけ - 外したあとは、もう一度開いて消えたか確かめる
AI検索やLLMOの対策を考える前に、そもそもAIが読みに来られる状態になっているかを見てください。入口が閉まっていたら、中で何をしても届きません。
3つの対策の関係はSEOとMEOとLLMOの違いに整理してあります。
よくある質問
robots.txtとは何ですか
サイトを見に来るプログラムに対して、どこを見ていいか、見てはいけないかを伝えるファイルのことです。サイトの一番上の階層に置かれます。
AIに学習されるのは避けた方がいいですか
目的によります。作品や有料の内容を守りたいなら止める意味があります。逆に知ってもらうことが目的なら、止めると届かなくなります。
学習を止めると、AIの回答に出なくなりますか
すぐには出なくなりません。回答を作るときに読みに来るクローラーと、学習用のクローラーは別だからです。ただし長い目で見ると差が出ます。
自分のサイトも同じ状態か確認できますか
できます。サイトのURLの後ろに /robots.txt をつけて開いてください。見覚えのない指示が並んでいたら、どこかの設定が書いています。
ブロックを外すとどうなりますか
AI関連のクローラーが記事を読みに来られるようになります。サイトの表示や検索順位に直接の影響はありません。
仕組みごと任せたい方へ
サイト制作、SNS運用、公式LINEの設計、広告の受け皿づくりまで。つくることに集中できるように、売る側を引き受けています。
相談してみる