<meta name="robots">

<meta name="robots"> 要素には、次の追加属性を指定することができます。

content

content 属性は定義する必要があります。この属性の値は、協力的な検索エンジンロボットのインデックス作成およびクロール動作を設定します。 カンマで区切られたリストとして、次のキーワードを 1 つ以上受け入れます。

index

ロボットがページをインデックスに登録することを許可します。これは既定の動作です。 主要なクローラーすべてで使用されます。

noindex

ロボットにページをインデックスに登録しないようにリクエストします。 主要なクローラーすべてで使用されます。

follow

ロボットがページ上のリンクをたどることを許可します。これは既定の動作です。 主要なクローラーすべてで使用されます。

nofollow

ロボットに対して、ページ上のリンクをたどらないようリクエストします。 主要なクローラーすべてで使用されます。

all

index, follow と同等です。 使用されるもの: Google.

none

noindex, nofollow と同等です。 使用されるもの: Google.

noarchive

検索エンジンにこのページの内容をキャッシュしないよう要求します。 使用されるもの: Google, Yahoo, Bing.

nosnippet

検索エンジンの結果でこのページの説明の表示を抑制します。 使用されるもの: Google, Bing.

noimageindex

このページをインデックスされた画像の参照ページとして表示しないよう要求します。 使用されるもの: Google.

nocache

noarchive と同等です。 使用されるもの: Bing.

robots メタ値を設定するにあたって、いくつかの重要な注意事項があります。

• これらのルールに従うのは、協力的なロボットのみです。電子メールアドレスの収集者などの悪意のある行為者がディレクティブを無視することを防ぐことはできません。
• <meta> タグで定義されている場合でも、ロボットはこれらのルールを読み込むためにページにアクセスする必要があります。帯域幅を節約するには、代わりに robots.txt ファイル を使用することを検討してください。
• <meta name="robots"> タグと robots.txt は異なる役割を果たします。robots.txt はクロールを制御し、robots メタタグはインデックス作成やそれ以外の動作に影響を与えます。
• robots.txt によってブロックされたページは、それ以外のソースからリンクされている場合、インデックスに登録される場合があります。
• noindex ディレクティブは、ロボットがページを再訪問した後にのみ効果があります。そのため、 robots.txt がこれを妨げないようにしてください。
• 値によっては互いに排他的なものがあります。例えば index と noindex、 follow と nofollow などです。競合する値が使用された場合、動作は未定義になります。
• Google、Yahoo、Bing など一部のクローラーロボットでは、 HTTP ヘッダーの X-Robots-Tag で提供された同じ値に対応しているものがあります。これにより、 PDF や画像などの HTML 以外の文書でもこれらの規則を使用することができます。

次の例では、nofollow を使用して、クローラーがページ上のリンクをフォローしないように要求し、noindex を使用して、そのページをインデックスから除外するように要求しています。

<meta name="robots" content="nofollow, noindex" />

これはどの標準仕様にも属しませんが、検索ボット、ウェブクローラー、および類似のユーザーエージェントと通信するための事実上の標準手段です。

この機能はクローラーが監視することを意図しているため、「ブラウザー」の互換性は適用されません。

• HTTP の X-Robots-Tag ヘッダー
• robots.txt の構成ガイド
• 用語集の robots.txt
• 用語集の 検索エンジン
• RFC 9309: Robots Exclusion Protocol
• WHATWG Wiki MetaExtensions page
• Using the robots meta tag (developers.google.com)