結論：リンクを張った6日間で2件。張っていなかった12日間は0件
llms.txtへのリンクをサイトのフッターに1本張ったところ、設置から41時間44分後と58時間56分後に、AIボット2種がllms.txtを取得しました。
リンクを張っていなかった12日間（2期分・AIボットのリクエスト583回）で、取得は0件でした。
ただし、この1行だけを持ち帰らないでください。条件を3つ、先に絞ります。
1つ目。取りに来たのは GPTBot と meta-externalagent で、どちらも学習用のクローラーです。
2つ目。検索用の OAI-SearchBot は8リクエストすべてがrobots.txtで、llms.txtは0件でした。 llms.txtを置けばChatGPTの検索結果に出る、という話にはなりません。
3つ目。取得2件のうち、リンクを辿ったと言えるのはGPTBotの1件だけです。 もう1件はリファラがなく、何を経由して来たのか特定できていません。
前回の宿題と、今回の問い
前編（llms.txtを置いて6日、AIボットは518回来て1度も取りに来なかった）で、llms.txtを設置した6日間のサーバーログを全件数えました。結果は、AIボットが518回リクエストし、robots.txtを101回、記事ページを43回取得しながら、llms.txtへの到達は0回でした。
そこには、自分で作ってしまった問題が1つ残っていました。当サイトのllms.txtは、どこからもリンクされていなかったのです。
そのため、0件という結果からは2つを区別できませんでした。
- AIボットはllms.txtの存在を知りながら、取りに行く価値がないと判断した（無視）
- AIボットはllms.txtの存在を知る手段がなかった（発見できなかった）
リンクを1本張れば、区別がつきます。 今回やったのはそれだけです。
この検証には元ネタがあります
前編のきっかけになったAhrefsの調査記事には、続きがありました。「それでもllms.txtを置くなら何をすべきか」として、こう書かれています。
Route agents to it. Link the file from your HTML, reference it in your docs, or mention it anywhere agents receive instructions about your site. Agents fetch llms.txt when directed, not speculatively.
（エージェントをそこへ誘導せよ。ファイルをHTMLからリンクし、ドキュメントで参照し、エージェントがあなたのサイトについて指示を受け取る場所ならどこでも言及せよ。エージェントは指示されたときにllms.txtを取得するのであって、投機的には取得しない。）
同じ記事の別の箇所では、さらに直接的にこう書かれています。
Publishing is only half the job. Agents fetch llms.txt when directed, not speculatively, so an unlinked file is unlikely to get picked up.
（公開するのは仕事の半分にすぎない。エージェントは指示されたときに取得するのであって投機的には取得しないので、リンクされていないファイルは拾われる可能性が低い。）
本記事は、この推奨をそのまま実行した記録です。 前編は、まさに「リンクされていないファイル」を6日間観測して0件だったという報告でした。今回はそこにリンクを1本足しました。
仮説と、事前に記録した予想
仮説
主仮説： llms.txtへのリンクがあれば、AIボットはllms.txtを取得する。
棄却基準（事前宣言）： 観測期間中に、AIボットによるllms.txtの取得が0件なら主仮説は棄却する。
対照： 同一サイト・同一手順で、リンクがなかった2期間（第1期・第2期）。
この棄却基準には欠陥がありました
先に書いておきます。この基準は、棄却側には厳しいのに、支持側には緩いです。
裏返すと「1件でも取得があれば支持」になります。1件の取得を偶然と区別する設計になっていませんでした。 6日間で延べ200回以上のボットアクセスがある中で、1件を拾うことは偶然でも起こりえます。
これは本検証の設計上の弱点です。次の観測では「取得が反復するか」を判定基準に加えます。
結果を見る前に、予想を書いて記録しました
リンクを設置した2026年8月2日、結果を見る前に予想を書いて固定しました。
llms.txtは取得される。ただし取りに来るのは検索エンジンボットで、AIボットは0件のまま。
根拠は前期のデータでした。ClaudeBotとOAI-SearchBotが記事ページを1回も取得しておらず、HTMLを読まないボットはHTMLの中のリンクを見つけられないと考えたからです。一方Googlebotは6日で22回もページを取得していたので、こちらは見つけるだろうと。
結果は真逆でした。 答え合わせは後半でやります。
どうやって測ったか
3期間の条件
| 第1期 | 第2期 | 第3期 | |
|---|---|---|---|
| 期間 | 2026-07-20〜07-25 | 2026-07-27〜08-01 | 2026-08-03〜08-08 |
| 日数 | 6日 | 6日 | 6日 |
| llms.txtへのリンク | なし | なし | あり |
| llms.txtのcharset | 未指定 | UTF-8 | UTF-8 |
| サイトの記事数 | 2 | 3 | 3 |
| AIボットのコンテンツ取得回数 | 43 | 2 | 14 |
| UA判定パターン | 同一 | 同一 | 同一 |
| 日別集計の基準 | ログファイル単位 | ログファイル単位 | タイムスタンプ単位 |
「AIボットのコンテンツ取得回数」の行を、あえて表に入れました。 リンクはHTMLの中にあるので、ページが取得される回数が増えれば、リンクが見つかる機会も増えます。 第2期の2回に対して第3期は14回。第3期は「リンクがある」と「ページがよく取得されている」が同時に変わっています。 ここは後半の限界でも扱います。
リンクの実装
- 設置日時：2026年8月2日 21時23分（JST）
- 設置場所：WordPressテーマCocoonのフッターウィジェット。
footer-left（PC用）とfooter-mobile（モバイル用）にカスタムHTMLブロックを1つずつ - 記述：
<a href="https://ai-search-nmlab.com/llms.txt">このサイトのllms.txt</a>rel="nofollow"は付けていません。 クローラーに辿らせるのが目的だからです- 絶対URLで記述し、全ページ共通で表示されます
- HTML上は1ページに2本出力されます。 PC用とモバイル用の両方が常にHTMLに含まれ、CSSで表示が切り替わる仕様のためです。人間に見えるのは1本です
それ以外は何も変えていません。 robots.txtは120バイトのままでllms.txtへの言及はなく、サイトマップにも記載していません（次の期の変数として残してあります）。記事本文もCSSも触っていません。
前期は「リンクなし」でしたが、言及はありました
条件を正確に書いておきます。
前編の記事本文には、llms.txt という文字列が70か所登場します。 実際に数えました。しかし本文中に <a href> としてのリンクはなく、絶対URLの文字列も含まれていません。
つまり第2期は、「文字列としての言及は大量にあるが、リンクは1本もない」という状態でした。そして取得は0件でした。
集計方法を1つ訂正します
前編で「タイムゾーンは +0900。日境界もJST」と書きましたが、これは正確ではありませんでした。
Xserverの日別アクセスログは、午前0時ではなく午前4時で区切られています。 公式マニュアルに「前日午前4:00～当日午前4:00までのログファイルを生成」と明記されています。実際、8月3日のファイルには8月4日の早朝分が83行含まれていました。
第1期・第2期はログファイル単位で集計していたため、日別表の各行は「その日の0時〜24時」ではなく「その日の4時〜翌日4時」でした。期間の総計に欠けや重複はありませんが、日別の粒度は表記とずれていました。
第3期は手順を変えて、各行のタイムスタンプの日付で集計し直しています。
手順
- サーバーパネルから、8月2日〜8月8日の7ファイルをダウンロードする
- 全行を結合し、重複行を除去する（ファイル間で翌日分が重複するため）
- 各行のタイムスタンプの日付で、8月3日〜8月8日に再集計する
- UA文字列でAIボット / 検索エンジンボット / それ以外に分類する
- リクエストパスごとに
/llms.txt、/robots.txt、コンテンツページの取得回数をボット別に集計する
自分のアクセスの除外基準は次のとおりです。リファラに wp-admin を含むもの、および同一IPが当日に数百アクセスしているもの（作業セッション）。いずれもブラウザのUAなので、ボット判定には掛かりません。
UA判定に使ったパターンは前編と完全に同一です（AI 19種／検索エンジン 3種）。Google-Extended がユーザーエージェントではなくrobots.txtの制御用トークンである点も、前編と同じく変更していません。
結果：3期間を並べる
3期比較
| 第1期（リンクなし） | 第2期（リンクなし） | 第3期（リンクあり） | |
|---|---|---|---|
| 期間 | 07-20〜07-25 | 07-27〜08-01 | 08-03〜08-08 |
| 総リクエスト | 8,680 | 3,477 | 1,665 |
| AIボット | 518 | 65 | 117 |
| AI: robots.txt | 101 | 13 | 9 |
| AI: 記事ページ | 43 | 2 | 14 |
| AI: llms.txt | 0 | 0 | 2 |
| 検索エンジンボット | 238 | 86 | 119 |
| 検索: llms.txt | 0 | 0 | 0 |
リンクがなかった12日間、AIボットは合計583回リクエストして、llms.txtを1度も取得しませんでした。 リンクを張った6日間、117回のリクエストのうち2回が取得でした。
検索エンジンボットは、リンクを張った後も0件です。
第3期のボット別内訳
観測されたボットを全種類、リクエスト数の多い順に並べます。1種も省いていません。
| ボット | 種別 | 運営 | リクエスト | robots.txt | 記事ページ | llms.txt |
|---|---|---|---|---|---|---|
| Googlebot | 検索 | 101 | 12 | 34 | 0 | |
| meta-externalagent | AI | Meta | 88 | 0 | 8 | 1 |
| Bingbot | 検索 | Microsoft | 18 | 5 | 1 | 0 |
| GPTBot | AI | OpenAI | 16 | 0 | 4 | 1 |
| OAI-SearchBot | AI | OpenAI | 8 | 8 | 0 | 0 |
| PerplexityBot | AI | Perplexity | 5 | 1 | 2 | 0 |
観測されたのは6種類だけでした。第1期は16種類、第2期は5種類です。ClaudeBotは第3期に1リクエストも来ていません（第1期221、第2期21）。
取得の明細
AIボットによるllms.txtの取得は、次の2件です。
| 日時 | ボット | リファラ | リンク設置からの経過 |
|---|---|---|---|
| 2026-08-04 15:07:12 | meta-externalagent | なし | 約41時間44分 |
| 2026-08-05 08:18:51 | GPTBot | https://ai-search-nmlab.com/ | 約58時間56分 |
GPTBotのリファラは、トップページでした
この検証で一番はっきりした証拠がここです。
GPTBotがllms.txtを取得したとき、リファラにサイトのトップページが記録されていました。 リファラは「どのページから来たか」を示す項目です。トップページのフッターに置いたリンクを辿った、と言える直接の根拠になります。
一方、meta-externalagentの1件にはリファラがありません。 何を経由してllms.txtに辿り着いたのかは、ログからは分かりません。この2件を同じ強さの証拠として扱うことはできません。
llms.txtへのアクセス全6件を開示します
第3期の観測期間を含む8月2日〜8日で、/llms.txt へのアクセスは全部で6件ありました。うちボットは2件、残り4件は非ボットです。
- 8月2日 21:22〜21:23 の3件 … リンク設置直後の運営者自身の確認（リファラは
wp-admin/widgets.php）。除外対象 - 8月3日 02:30 … 経路不明の非ボットアクセス
- 8月4日 00:23 … 非ボット。リファラはトップページ
- 8月5日 18:06 … 非ボット。リファラが
google.com/search?q=ai-search-nmlab
最後の1件は、Google検索の結果から直接来たものではありません。 後述しますが、/llms.txt はGoogleのインデックスに登録されていないためです。経路不明として開示しておきます。
この2件から何が言えて、何が言えないか
言えること：発見できていなかった側に傾いた
リンクがない12日間・AIボット583リクエストに対して取得0件。リンクを張った6日間・117リクエストに対して2件。
前編に残っていた「無視されたのか、発見できなかったのか」という問いは、発見できていなかった側に傾きました。 断定はできませんが、少なくとも「AIボットはllms.txtの存在を知りながら無視している」という説明だけでは、この差を説明できません。
Ahrefsの「エージェントは指示されたときに取得するのであって、投機的には取得しない」という記述とも整合します。
「88回投げたうちの1回がたまたま当たった」ではないのか
真っ先に来る疑いだと思います。meta-externalagentは88リクエストも投げています。その中の1回がllms.txtに当たっただけではないか、と。
2つの材料で答えられます。
1つ目はAhrefsの報告です。「存在しないllms.txtへのAIボットからのリクエストは0件」「404の98%は人間」。 存在しないファイルを叩きに来るAIボットは観測されていません。AIボットはllms.txtを推測で叩きに来ていないということです。
2つ目は自サイトの実測です。リンクがなかった12日間、AIボットは583回リクエストして0件でした。「たまたま当たる」なら、583回のほうで先に当たっているはずです。
GPTBotだけを取り出すと、もっとはっきりします
第3期は、リンクの有無だけでなくページの取得回数も増えていました（AIボットのコンテンツ取得が2回→14回）。「よく取得されるようになったから、ついでにllms.txtにも当たった」という説明が成り立つかもしれません。
GPTBot1種だけを取り出すと、この説明は効きません。
| 第2期（リンクなし） | 第3期（リンクあり） | |
|---|---|---|
| GPTBot 総リクエスト | 35 | 16 |
| うち記事ページ | 2 | 4 |
| うち llms.txt | 0 | 1 |
GPTBotは第3期のほうがリクエスト総数が半分以下です。 35回から16回に減っています。それでもllms.txtは0件から1件になりました。訪問量が増えたから当たった、という説明は、GPTBotについては成り立ちません。
取りに来たのは、検索用ではなく学習用のクローラーでした
ここが実用上いちばん重要です。
OpenAIは3種類のクローラーを別々に文書化しています。
- GPTBot … 生成AI基盤モデルの学習用
- OAI-SearchBot … ChatGPTの検索結果に表示するための索引作成用
- ChatGPT-User … ユーザーが質問したときのその場の取得
llms.txtを取得したのはGPTBot、つまり学習用です。 Metaのmeta-externalagentも、Llamaの学習とMeta AI製品の改善のためのクローラーです。取りに来た2種は、どちらも学習用でした。
検索用のOAI-SearchBotは、8リクエストすべてがrobots.txtでした。 記事ページを1回も取得していません。HTMLを読まないボットは、HTMLの中に置いたリンクを見つけようがありません。
Ahrefsの調査でも同じ傾向が出ています。llms.txtへの全リクエストのうち、AI学習クローラーが5.3%、AI retrieval bots（検索用）が1.1%。学習クローラーのほうが約5倍多く取得しています。 そしてその5.3%の大半にあたる4.51%がGPTBotです。
したがって「llms.txtを置けばChatGPTの検索結果に出る」という話にはなりません。 効くとすれば学習の側であって、検索の側ではない、というのが今回の観測です。
Googlebotは7日経っても取りに来ていません
第3期のGooglebotは101リクエスト、記事ページを34回取得しています。それでもllms.txtは0件でした。
Search Consoleでも裏が取れました。 URL検査で /llms.txt を調べると、次のように出ます。
- URL が Google に登録されていません
- 前回のクロール：該当なし
- 参照元ページ：検出されませんでした
リンクを設置してから7日、Googlebotは記事ページを34回取得しながら、/llms.txt を一度もクロールしておらず、参照元ページとしてすら認識していません。
ただし、これを「Googleがllms.txtを無視する証拠」と読まないでください。 Ahrefsは逆に「Googlebotは5月に約900回llms.txtを取得した。ただし発見したURLを普通に取得しているだけで、llms.txtへの特別な関心を示すものではない」と報告しています。本検証は、その挙動が7日間では起きなかったという1例にすぎません。
予想は真逆に外れました
8月2日に記録した予想を、もう一度出します。
llms.txtは取得される。ただし取りに来るのは検索エンジンボットで、AIボットは0件のまま。
結果は、AIボット2件・検索エンジンボット0件。完全に逆でした。
外れた理由は3つに分解できます。
1つ目。予想の根拠にしたClaudeBotが、第3期に1件も来ませんでした。 第1期221リクエスト、第2期21リクエストと来ていたので、第3期も来る前提で考えていました。
2つ目。第2期に1リクエストも来ていなかったmeta-externalagentが、88リクエストまで増えました。 予想を立てた時点で観測されていなかったボットが、取得2件のうち1件を占めています。
3つ目。これが一番の誤りですが、「クロールしていれば、見つけたリンクを辿る」という前提が違いました。 Googlebotは記事ページを34回取得しながら、llms.txtには行きませんでした。ページを取得することと、そこにあるリンクを辿ることは、別の判断だったわけです。
言えないこと
- 2件は2件であって、効果の大きさではありません。 統計的な検定はしていませんし、この規模ではできません
- meta-externalagentの急増（第2期0件 → 第3期88件）が、こちらの施策によるものだとは言えません。 理由は不明です。Meta側の都合である可能性のほうが高いと考えています
- 取得された ≠ 読まれた。 Ahrefs自身が「すべての数値は実際の消費量の天井」と注記しています。取得された2件が学習や回答に使われたかどうかは、ログからは分かりません
先行研究と並べる
設計が違うものを同じ列に並べないよう、「試したこと」の列を作りました。
| 調査 | 時期 | 規模 | 試したこと | 結果 |
|---|---|---|---|---|
| Reboot Online | 2026-07 | 2ドメイン・3ヶ月 | llms.txtの中に書いたURLをAIボットが辿るか | AIボットの訪問0件 |
| Otterly | 2026-02 | n=1・90日 | リンクありの状態での取得率 | AIボット62,100件超中84件（約0.1%） |
| Ahrefs | 2026-06 | 137,210ドメイン | 母集団の実態 | 97%が0リクエスト |
| 本検証 | 2026-07〜08 | n=1・各6日×3期 | llms.txtそのものへのリンクの有無 | なし0件／あり2件 |
Rebootの実験は、本検証と問いが違います。 あちらが試したのは「llms.txtの中に書いたURLをAIボットが辿るか」。こちらが試したのは「llms.txtそのものへのリンクを張ると取得しに来るか」。「Rebootは0件だったが当サイトは2件だった」と並べるのは誤りです。
Rebootの結論にある「AI bots don’t visit and engage with LLMs.txt files by default」の “by default” は、本検証の第1期・第2期と一致します。
この検証の限界
痛い順に並べました。
1. 取得2件のうち、リンクを辿った根拠があるのは1件だけです
GPTBotの1件はリファラがトップページなので、リンクを辿ったと言えます。meta-externalagentの1件はリファラがなく、経路を特定できません。 確実に言えるのは1件です。
2. リンクの有無以外に、クロール強度が変わっています
AIボットによる記事ページの取得が、第2期の2回から第3期は14回に増えました。「他の条件は同一」ではありません。 GPTBot単体で見ればこの説明は効かないと書きましたが、meta-externalagentの1件については切り分けられていません。
3. meta-externalagentは、第2期に存在しなかったボットです
第2期0リクエスト、第3期88リクエスト。同一ボットでの前後比較になっていません。
4. n=1・各6日・取得はわずか2件です
サンプルは1サイトのみ。統計的な検定はしていません。「2件の取得が観測された」以上のことは書けません。
5. 第2期は、単一変数の実験として成立していません
当初はcharsetの修正だけを変えるつもりでしたが、7月27日に前編記事の公開・内部リンクの追加・データ公開用ディレクトリの新設・インデックス登録リクエストが重なりました。charsetの効果測定としては使えません。 本記事では「リンクなしの2期目」としてのみ扱っています。
6. ボットのUAを検証していません
判定はUA文字列のパターンマッチのみで、IP逆引きによる正当性検証は行っていません。UAは詐称できます。前編から続く限界です。
7. リンクはHTML上に2本あります
PC用とモバイル用のウィジェットが両方出力される仕様のためです。1本だけの場合と挙動が違う可能性は排除できません。
8. 取得された後に何が起きたかは分かりません
fetched ≠ read。取得されたことと、内容が使われたことは別です。
次に測ること
1変数ずつ変えて、同じ手順で測り直します。
| 期 | 変える条件 | 状態 |
|---|---|---|
| 第1期 | リンクなし・charset未指定 | 完了（前編） |
| 第2期 | charsetのみ修正。リンクなし | 完了（本記事） |
| 第3期 | llms.txtへのリンクを1本張る | 完了（本記事） |
| 第4期 | robots.txt に llms.txt の記載を追加 | 予定 |
第4期の狙いは2つあります。
1つ目は、取りに来るボットの顔ぶれが変わるかです。OAI-SearchBotは8リクエストすべてがrobots.txtでした。 robots.txtに書けば、HTMLを読まないボットにも届く可能性があります。
2つ目は、取得が反復するかどうかです。今回の棄却基準は「1件でもあれば支持」で、偶然と区別できませんでした。同じボットが繰り返し取得するかどうかを、次の判定基準に加えます。
そのあとに、リンクを外して取得が止まるか（可逆性の確認）も考えています。
結果がどちらに転んでも報告します。 前回それを書いたうえで予想を外したので、今回は実績として言えます。
生データ
集計に使った一次データを公開します。検算にも、再利用にも使ってください。
- 日別集計 llmstxt-2026-08-daily.csv
- ボット別内訳 llmstxt-2026-08-bots.csv
/llms.txtへのアクセス明細 llmstxt-2026-08-access.csv
前編の第1期ぶんは、llmstxt-2026-07-daily.csv と llmstxt-2026-07-bots.csv にあります。
どれもUTF-8のCSVで、先頭に # 始まりのコメント行として集計定義を書いてあります。第3期だけ集計手順が違うことも、その中に明記しています。
なお元のアクセスログそのものは、訪問者のIPアドレスを含むため公開していません。集計後の数値と、ボット判定できた行の抜粋のみです。
訂正履歴
2026年8月9日 — 前編（llms.txtを置いて6日、AIボットは518回来て1度も取りに来なかった）の方法の節で「タイムゾーンは +0900。日境界もJST」と書いていましたが、正確ではありませんでした。Xserverの日別アクセスログは午前4時で区切られています（公式マニュアルに「前日午前4:00～当日午前4:00までのログファイルを生成」と明記）。前編の日別表は「その日の4時〜翌日4時」を示しています。期間の総計に欠けや重複はありません。 前編側にも訂正を追加しました。
コメント