robots.txt のメモ

robots.txtを置く時のメモです。

ファイルの形式

「UTF-8」でエンコードされた書式なしテキストである事。

※さくらサーバーの場合の文字コードの変更手順

1. 「ファイルマネージャー」を開きます
2. 「robots.txt」を選択し、「編集（ペンアイコン）」します
3. 文字：「UTF-8」に変更します

確認する

robots.txt テスターを用いて確認する。

Google Search Console

Use Search Console to monitor Google Search results data for your properties.

www.google.com

URLを入力、右下のテストを押してチェックが出来ます。

参考

Google による robots.txt の指定の解釈 | Google 検索セントラル  |  ドキュメント  |  Google for Developers

robots.txt ファイルを置く場所、構文やさまざまなルール、また、Google が robots.txt の指定を解釈する仕組みについて紹介します。

developers.google.com