ホームページを公開すると検索エンジンがアップロードしたページのクロールを行い、
公開したページがインデックスされるようになります。
そして、検索エンジンにインデックスされると検索結果に表示されます。

ホームページを制作しているとGoogleなどの検索エンジンからインデックスされないように設定することがあります。
例えば下記のような場合です。

• テストで公開しているページ
• 管理画面などのログインページ
• コンテンツの内容が薄いページ

検索結果に表示されても意味がないページや検索されなくないといった場合、
robots metaタグやrobots.txtで検索エンジンを制御することが可能です。

今回はrobots metaタグの設定やrobots.txtファイルの作成や記述方法を記載します。

robots metaタグの設定方法（noindex、nofollow）

robots metaタグではクローラーにページをインデックスさせるかやリンクをたどらせるかを設定します。
その場合はnoindex、nofollowを使用します。

ただし、クローラーのアクセスを拒否しているわけではないので、インデックスされたくない場合などに利用します。

下記にrobots metaタグの記述方法について紹介します。

検索エンジンにインデックスさせない（noindex）

noindex

検索エンジンにページをインデックスさせない時に指定します。

検索エンジンにリンクをたどらせない（nofollow）

nofollow

検索エンジンにページ内のリンクをたどらせない時に指定します。

インデックスとリンクの巡回をさせない（noindex,nofollow）

インデックスとリンクの巡回を拒否する場合はどちらも指定します。

robots.txtの設定方法（Disallow、Sitemap）

検索エンジンのクローラーはサイトを巡回する時にrobots.txtを最初にクロールします。
そこで、巡回（クロール）の拒否やサイトマップの場所などを判断します。

ページを公開したけどインデックスされたくないなどの時にクローラーを制御することができます。
下記にrobots.txtの作成や記述方法について紹介します。

robots.txtの作成・置き場所

robots.txtの作成はメモ帳などのテキストエディタで作成します。
その際にファイル名を「robots.txt」で保存してください。

robots.txtを作成し、設定が完了したらサーバにアップロードします。
robots.txtの置き場所（アップロードするディレクトリ）はサイトのドキュメントルートにアップロードします。
ドキュメントルートではない場合、robots.txtがクローラーに検出されないので注意してください。

正しい：http://www.dataplan.jp/robots.txt

誤り：http://www.dataplan.jp/test/robots.txt

robots.txtの記述方法

robots.txtに設定する内容について記載します。

User-Agent

User-Agentではクローラーの種類を指定します。

全てのクローラーに対して制御する場合は「*」を記述します。

また、画像用のGooglebotを指定する場合はこのように指定します。

その他のGoogleのクローラーについては下記で確認できます。

Google クローラ – ウェブマスター ツール ヘルプ

Disallow

Disallowはクロールを拒否するディレクトリやファイルを指定します。
必ず「/」から記述してください。
指定がない場合は検索エンジンにクロールされます。

サイト全体に対し、巡回を拒否する場合は「/」のみを記述。

特定のディレクトリを指定する場合、ディレクトリ名を設定。
ディレクトリ名の最後には「/」を付与。
ディレクトリ以下の全てに反映されます。

特定のページを指定する場合、ファイル名を設定。

Allow

Allowはクロールを許可するディレクトリやファイルを指定します。
こちらは記述しなくても検索エンジンにクロールされるので、基本的には指定しなくて大丈夫です。

ただし、Disallowで設定したディレクトリ内の特定のファイルだけ許可したい場合などに利用します。

また、全ての検索エンジンに対してクロールを拒否していて、特定のクローラーは許可するといった場合にも利用できます。

Sitemap

Sitemapにはサイトマップ（sitemap.xml）のURLを設定します。
サイトマップを作成している場合はクローラーにサイトマップの場所を知らせることができます。
SEO的にも効果的なのでサイトマップがある場合は設定しましょう。

robots.txtの確認

robots.txtの確認はウェブマスターツールの「robots.txt テスター」で確認することができます。

robots.txtの内容やURLがブロックされているかどうかをテストすることができるので、
robots.txtを設定したらウェブマスターツールで確認するのがいいと思います。

まとめ

robots metaタグとrobots.txtを使用した検索エンジンの巡回（クロール）を拒否する方法を紹介しました。
これらを使用すればサイトへの検索エンジンのクロールを制御することができます。

検索結果に表示されたくないページなどがある場合はちゃんと検索エンジンに教えてあげることが重要です。
また、同じ内容のページが存在するとSEO的にもよくないのでしっかり設定することをおすすめします。