robots.txt のメモ

robots.txtを置く時のメモです。

ファイルの形式

「UTF-8」でエンコードされた書式なしテキストである事。

※さくらサーバーの場合の文字コードの変更手順

  1. 「ファイルマネージャー」を開きます
  2. 「robots.txt」を選択し、「編集（ペンアイコン）」します
  3. 文字：「UTF-8」に変更します
ペンマーク：編集
文字コード変更

確認する

robots.txt テスターを用いて確認する。

Google Search Console
Use Search Console to monitor Google Search results data for your properties.
www.google.com

URLを入力、右下のテストを押してチェックが出来ます。

参考

Google による robots.txt の指定の解釈 | Google 検索セントラル  |  ドキュメント  |  Google for Developers
robots.txt ファイルを置く場所、構文やさまざまなルール、また、Google が robots.txt の指定を解釈する仕組みについて紹介します。
developers.google.com

コメント

タイトルとURLをコピーしました