robots.txtとは？検索の機械に渡す案内書きをやさしく解説

ホームページの点検を受けたり、制作会社とのやりとりの中で「robots.txt（ロボッツ・テキスト）が気になります」と言われて、何のことかわからないまま持ち帰ってきた。そんな状況でこのページにたどり着いた方が多いのではないかと思います。聞き慣れない英語の名前がついているので身構えてしまいますが、中身はとても単純なものです。

robots.txtとは、ひとことで言えば検索サイトの見回り役（機械）に向けて、サイトの入口に置いておく案内書きです。「この区画は見ていってください」「ここは見なくて大丈夫です」と伝えるための、小さなメモのようなもの。たったそれだけのものですが、書き方を一文間違えると「全部見なくていいです」と伝わってしまうことがあり、そこが指摘される理由です。この記事では、専門用語をできるだけ普通の言葉に置きかえながら、自分のサイトが今どうなっているかの確かめ方と、直すときの手順までをまとめました。

robots.txtとは、検索の機械に渡す「案内書き」のこと

robots.txtとは、ホームページの入口に置いてある、検索サイトの見回り役あての短いメモです。「この場所は見ていってください」「ここは見なくて結構です」と伝えるためだけのもので、それ以上でもそれ以下でもありません。

見回り役というのは、GoogleやBingが動かしている機械のことです。専門的にはクローラーと呼びますが、要するにインターネット中のページを順番に巡って、何が書いてあるかを読み取って回っている自動の巡回係だと思ってください。この巡回係が読み取った内容をもとに、検索サイトはそのページを検索結果に載せられる状態にします。つまり、巡回係に見てもらえなければ、そもそも検索結果に出てくる土俵に上がれない、ということになります。

受付に置いた案内板だと思ってください

会社の受付に「ショールームは2階です。事務所は関係者以外ご遠慮ください」と書いた案内板が置いてある、あの感覚に近いものです。訪ねてきた人は、その案内板を見てから建物の中を回ります。robots.txtも同じで、巡回係はサイトに入ってくるとき、まずこのメモに目を通してから各ページを見に行きます。

ここで大事なのは、案内板はあくまで案内であって、鍵ではないということです。robots.txtは「ここは見ないでください」というお願いを書くものであり、強制的に立ち入りを止める力はありません。GoogleやBingのような行儀のよい機械はきちんと従いますが、世の中にはそれを無視して回る機械もあります。ですから、人に見られては困る情報をrobots.txtで隠そうとするのは、やり方として間違っています。それは案内板ではなく、鍵のかかった扉（パスワードをかける、そもそも公開しない）で守るべきものです。

実体は、ただのテキストファイル

名前の響きから難しそうに感じますが、中身はメモ帳で開けるただの文字の羽です。置き場所も決まっていて、サイトの一番上の階層に、この名前でひとつだけ置きます。

• 置き場所：https://あなたのサイトのアドレス/robots.txt
• ファイル名：robots.txt（大文字小文字も、この通り）
• 中身：数行から十数行の、短い英語の命令文

そして、もうひとつ知っておいていただきたいのが、これは誰でも見られる公開情報だということです。自分のサイトのものはもちろん、同業他社のものも、アドレスの末尾に /robots.txt とつければ、そのまま画面に表示されます。隠しているつもりの設定ファイルではなく、玄関先に貼り出してある紙だ、という前提で中身を考える必要があります。

「robots.txtを直してください」と制作会社や診断ツールから言われて戸惑われたのだとしたら、無理もありません。普段の商売で一度も聞かないことばです。けれど、やっていることは案内板の書き換えだけで、構造そのものは単純です。次の章では、まずご自身のサイトに今どんな案内板が立っているのかを、その場で確かめる方法からご紹介します。

自分のサイトのrobots.txtを今すぐ確かめる方法

難しい道具はいりません。いつも使っているブラウザがあれば、1分で中身を見られます。専門の知識がなくても、手順どおりに開くだけで確認できます。

手順1〜4

1. アドレス欄に「自分のサイトのURL＋/robots.txt」と入力する。たとえばホームページがhttps://example.co.jpなら、https://example.co.jp/robots.txtと打って開きます。スマートフォンでも同じです。
2. 文字が表示されたら、そのまま全部コピーしてメモに保存しておく。後から直すときに「元はこうだった」と戻せます。日付もいっしょに書き添えておくと安心です。
3. 「404」「ページが見つかりません」と出たら、ファイルが置かれていない状態です。驚かなくて大丈夫で、これ自体は悪いことではありません。案内書きがない＝「どこを見てもらっても構いません」という意味になるので、検索の機械は普通どおりサイトを見て回ります。
4. Google Search Console（検索での表示状況を無料で見られるGoogleの管理画面）でも確かめる。左メニューの「設定」→「robots.txt」と進むと、Googleが実際に読み取った中身と、読み取った日時が表示されます。自分のブラウザで見える内容と食い違っていないか、ここで答え合わせができます。まだ登録していない方は、Search Consoleで最初に見る3つの画面もあわせてご覧ください。

WordPressの場合の注意

WordPressでお作りのホームページでは、サーバーの中を探してもrobots.txtというファイルが見つからないことがあります。これはWordPressが表示するときに自動で作っているためで、異常ではありません。ただし、その自動の中身を書き換えるプラグイン（機能を追加する部品）が入っていると、知らないうちに内容が変わっていることがあります。制作を任せた会社がある場合は、「robots.txtはどこで管理されていますか」と一言たずねておくと話が早く進みます。

見た内容のチェック表

見た内容	意味	危険度
404／何も表示されない	案内書きがない。検索の機械は普通どおり全体を見て回る	低い
Disallow: のあとが空欄	見てはいけない場所はない、という意味	低い
Disallow: /wp-admin/ など管理画面だけ	よくある標準的な書き方	低い
Sitemap: から始まる行がある	ページの一覧表の場所を知らせている。あると望ましい	低い（良い状態）
Disallow: / （スラッシュ1本だけ）	サイト全体を見ないでほしい、という指示	高い。至急確認を
自社の商品ページやサービスページの住所が書かれている	そのページを見ないでほしい、と伝えている	高い
見覚えのない英数字の行が並ぶ	制作会社やプラグインが入れた可能性。意図の確認が必要	中くらい

危険度が高い行が見つかっても、その場であわてて消す必要はありません。公開前の確認用サイトからそのまま引き継がれていた、といった事情もあります。まずはコピーを控え、どういう意図で書かれたのかを確かめてから手を入れるのが安全です。

robots.txtの確認手順

1. URL末尾に追記アドレスの末尾に/robots.txtと入力して開く
2. 内容をコピー保存表示された文字を後で戻せるようメモに保存する
3. 表示内容を確認404等で出ない場合は未設置だが問題はない
4. ツールで確認Google Search Consoleの設定画面でも確かめる

書かれている1行1行の意味を、普通の言葉に直して読む

robots.txtの中身を開くと、英語の短い行がいくつか並んでいます。身構えてしまいますが、実際に使われている言葉は、ほぼ4つだけです。「どの機械あてか」「ここは見なくていい」「ここは見ていい」「ページ一覧はここにある」。この4つが読めれば、自分のサイトの案内書きが何を言っているかは分かります。

覚えるのは4つの言葉だけ

書いてある文字	日本語に直すと	よくある使われ方
User-agent	この先は、どの見回り役さんあての話か	「User-agent: *」で、すべての機械あて。Googleだけに伝えたいときは「User-agent: Googlebot」と書く
Disallow	ここから先は見なくて結構です	「Disallow: /wp-admin/」で管理画面を除外。これは正常な書き方
Allow	ここは見ていただいて結構です	除外した場所の中で、一部だけ見てほしいときに使う
Sitemap	ページの一覧表はこの住所にあります	「Sitemap: https://例.jp/sitemap.xml」のように、1行で場所を伝える

実際の行を読んでみる

• User-agent: * → 「すべての見回り役さんへ、以下お伝えします」
• Disallow: / → 「サイト全部を見なくて結構です」。これが書かれていると、サイト全体が検索から外れる可能性があります。指摘を受ける原因として最も多い1行です
• Disallow:（スラッシュなし）→ 「見なくていい場所はありません」。つまり全部見てOK、という正反対の意味です
• Disallow: /wp-admin/ → 「管理画面は見なくて結構です」。お客様に見せる必要のない場所なので、これは問題ありません
• # 2023年更新 → 井桁（#）で始まる行は人間向けのメモ書きで、機械は読み飛ばします。消す必要はありません

読むときの注意点

いくつか、見落とすと意味が変わってしまう点があります。

1. スラッシュ1本で意味が逆になる。「Disallow: /」と「Disallow:」は、見た目はほとんど同じですが中身は正反対です。指摘を受けたときは、まずこの1行を目を凝らして確認してください。
2. 末尾のスラッシュの有無。「Disallow: /news/」はnewsフォルダの中身全部、「Disallow: /news」は/newsで始まるページ全部（/newsletterなども含む）。意図せず広く除外していることがあります。
3. ファイル名と場所の大文字小文字。ファイル名は必ず小文字の「robots.txt」で、置き場所はサイトの一番上の階層（https://例.jp/robots.txt）です。別の場所に置いても読まれません。
4. User-agentごとにブロックが分かれる。「User-agent:」の行から次の「User-agent:」の行までが、ひとかたまりです。離れた場所のDisallowは、別の機械あての指示かもしれません。

なお、Sitemapの行に書かれている住所を開いてみると、自分のサイトのページ一覧が表示されます。ここに載っているページが少なすぎる、あるいは古い場合は、案内書き以前の問題であることもあります。一覧表そのものの考え方はサイトマップとは何かで整理していますので、あわせて確認してみてください。

指摘されやすい失敗例と、それが問い合わせに響く理由

robots.txtの事故は、だいたい決まった形で起きます。しかもそのほとんどは、誰かがサボったから起きるのではなく、制作から公開へ、旧サイトから新サイトへと「引き継ぐ場面」で起きます。人が入れ替わり、作業が分担されるほど起きやすい、いわば構造的な事故です。代表的な4つを挙げます。

1. 公開前の「まだ見ないでください」が残っている

制作の途中は、作りかけのページが検索に出てしまわないように、サイト全体を見せない設定（Disallow: /）を入れておくのが普通です。問題は、公開のときにこの1行を外し忘れることです。見た目はきちんと公開されているので、画面を見ているだけでは誰も気づきません。何か月も「検索の機械だけが入れない家」の状態が続いてしまうことがあります。

2. テスト環境の設定を、そのまま本番に持ってきた

リニューアルでは、本番とは別の場所にテスト用のサイトを作って確認するのが一般的です。その中身をまるごと本番へ移すとき、テスト用に入れていた「全部見せない」設定まで一緒に運ばれてしまうことがあります。リニューアル後に問い合わせが減ったというご相談で、実際にここが原因だったというのは珍しくありません。

3. 画像・CSS・JavaScriptのフォルダをまとめて見せない設定にしている

CSSは見た目を決める部品、JavaScriptは動きを作る部品です。これらを置いたフォルダを見せない設定にすると、検索の機械はページを「文字だけのバラバラな状態」でしか読めません。実際にはスマートフォンできれいに表示されているのに、機械の側では崩れたページとして扱われる、という食い違いが起きます。画像も同じで、商品写真や施工例が検索の画像の一覧に出てこなくなります。

4. Sitemapの行が、古いURLのまま

robots.txtの最後には、ページの一覧表の置き場所を知らせるSitemapの行を書きます。ここがリニューアル前の古い住所のままだと、機械は存在しない一覧表を探しに行くことになります。新しいページの発見が遅れる、という地味ですが効いてくる遅れが生じます。

これが問い合わせに響く理由

これらが起きると、症状はたいてい次の2つのどちらかで出ます。

• そもそも検索結果に出てこない（見つけてもらう入口がない）
• 出てはいるが、中身を薄くしか読み取られていない

どちらも、お客様があなたのお店にたどり着く手前の段階でつまずいている状態です。せっかく良い内容を書いていても、その手前で止まっているのはもったいない。ここを直す価値は十分にあります。

ただし、はっきり申し上げておきたいことがあります。robots.txtを直せば順位が上がる、という話ではありません。これは土台を正常な状態に戻す作業であって、プラスを積むというより、マイナスを0に戻すものです。それでも、土台が傾いたままでは他の努力が届きにくいので、最初に確かめておく意味は大きいのです。

robots.txtの直し方と、似て非なる「noindex」との違い

直すといっても、やることは短いテキストを書き換えて保存するだけです。ただしサーバーの中のファイルに触る作業なので、順番を守って進めてください。

直すときの手順

1. いまの中身をそのままコピーして保存する。メモ帳やメールの下書きで構いません。直したあとに不具合が出たとき、元に戻せる状態にしておくのが一番の保険です。
2. 編集画面を開く。WordPressなら、SEO系のプラグイン（追加機能）にrobots.txtを編集する項目があることが多いです。無ければ、契約しているサーバーの管理画面にある「ファイルマネージャー」から、サイトの一番上の階層にあるrobots.txtを開きます。
3. 一般的な書き方に整える。WordPressで特別な事情がなければ、次の4行で足ります。
   • User-agent: *（すべての検索の機械へ、という宛名）
   • Disallow: /wp-admin/（管理画面は見に来なくて大丈夫、という意味）
   • Allow: /wp-admin/admin-ajax.php（上の中でも、この1本だけは見てよい）
   • Sitemap: https://自分のサイトのアドレス/sitemap.xml（ページの目次にあたるサイトマップの場所を伝える行）
4. 保存したら、ブラウザで確かめる。「自分のサイトのアドレス/robots.txt」を開いて、意図したとおりに表示されるかを目で見ます。真っ白だったり、エラー画面が出たりしたら保存に失敗しています。
5. Search Consoleで読み直してもらう。設定の中にある「robots.txt」のレポートで、最後に読み取られた日時と中身が確認できます。反映には時間がかかることがあるので、当日中に変わらなくても慌てなくて大丈夫です。

robots.txtと「noindex」は、別の指示です

robots.txtを調べていると、必ず「noindex」という言葉に出会います。似て見えますが、頼んでいる内容がまったく違います。

項目	robots.txt	noindex
お願いの中身	そのページを見に来るのを控えてほしい	見てもいいが、検索結果には出さないでほしい
書く場所	サイト全体に1つ、サイトの一番上の階層に置くファイル	ページ1枚ごとの中に書く（WordPressなら各ページの設定欄）
向いている使い方	管理画面など、そもそも見てもらう必要のない場所	サンキューページなど、検索結果に出したくないページ

ここで起きがちな矛盾が、両方を同時に指定してしまうことです。robots.txtで「見に来ないで」と書いたページにnoindexを書いても、機械はそのページを見に来ないので、noindexという指示そのものを読めません。結果として、検索結果から消したかったページがいつまでも残る、ということが起こります。検索結果に出したくないページがあるなら、robots.txtでは止めず、noindexだけを使うのが基本です。

なお、ここまでの作業はサーバーの設定に触れる部分です。不安がある場合は、無理に書き換えず、いまの1行をコピーして制作会社に「この行の意味を教えてほしい」と相談するほうが安全です。1行の書き間違いでページ全体が検索から見えなくなることもあるため、慎重に進めて損はありません。

robots.txtとnoindexの違い

robots.txt

• ページを見に来るのを控えてほしい
• サイトの一番上の階層に1つ置く
• 管理画面など不要な場所に向く

→

noindex

• 見てもいいが検索結果に出さないでほしい
• 各ページの中にそれぞれ書く
• サンキューページなどに向く

まとめ

robots.txtは、検索の機械（サイトを巡回してページを集めて回るプログラム）に向けた、ごく短い案内書きです。「この区画は見て回ってください」「ここは入らないでください」と伝えるだけの、数行のテキストファイルにすぎません。確かめ方も難しくなく、ご自身のホームページのアドレスの末尾に /robots.txt を付けてブラウザで開くだけ。何も出てこなければ、そもそも置かれていないということで、それ自体は問題ではありません。

そして、誰かから「robots.txtがおかしい」と指摘された場合、その多くは悪意でも手抜きでもなく、制作中やリニューアル作業中に「まだ見に来ないでください」と書いた一行が、公開後もそのまま残ってしまっただけ、というケースです。引き継ぎのときに消し忘れる。担当者が変わって誰も触らなくなる。よくあることで、無理もありません。

この種の問題は、見ている本人ほど気づきにくい

厄介なのは、robots.txtの書き間違いがあっても、ホームページ自体は何事もなく表示されることです。パソコンでもスマートフォンでも、いつもどおりきれいに見える。問い合わせが来ないことだけが続いて、原因が中身や文章にあるのだろうかと探してしまう。入口の扉が閉まったままでも、建物の中は普段どおりに見えている、という状態なのです。

裏を返せば、気づきさえすれば直せる種類の問題でもあります。確認は数十秒、修正も一行の削除で済むことが大半です。あわせてページが検索に載っている状態かどうかを確かめておくと、閉じていた入口が開いたあと、きちんと拾われ始めているかが見えてきます。ただし、直してすぐに検索結果へ反映されるわけではなく、機械が再び見に来るまでに日数がかかる点は、あらかじめ知っておいてください。

シロツメWebについて

シロツメWebを運営するSHIROTSUME GRASS株式会社は、もともと法人向けの中古スマートフォン・パソコンの買い取りと販売を本業としています。その集客を外に頼まず、自分たちでSEOの記事を書いて続けてきました。そこで結果が出たので、同じやり方を他社にもお手伝いしています。代行だけを専門にしてきた会社ではなく、自分のところで試して効いたことをお伝えしている、という成り立ちです。

もし、robots.txtを含めた土台の部分が今どうなっているか気になるようでしたら、無料のホームページ診断をご利用ください。ホームページのアドレスとメールアドレスだけでお申し込みいただけます。検索の機械に見に来てもらえる状態になっているか、ほかに引っかかっている箇所がないかを拝見して、分かったことをそのままお伝えします。順位や問い合わせ件数をお約束するものではありませんが、今どうなっているかを知ることが、次の一手を決める材料になればと思います。

よく読まれている関連ガイド

• 何年か触っていないホームページを、作り直さずに動かし直す手順