WordPress + Ktai Style でクロールエラーが出てたので robots.txt を設置してみた

※本ページはプロモーションが含まれています。

かまたま

ご訪問ありがとうございます！WordPress でこのブログを書いている管理人の『かまたま』です！ゆっくりしていってね！
ブログランキング参加中！応援よろしくお願いします！

ふと、Google ウェブマスターツールを見てみると、ステータスコード 400 ( Bad Request ) のクロールエラーが 2,041 件も発生してた。

クロールエラーが発生しているページとエラーの原因

クロールエラーが発生している URL は次の様な感じで、Ktai Style が外部サイトへ移動する時に自動で生成する中継ページらしい。

https://example.com/wp-content/plugins/ktai_style/redir.php?_wpnonce=**********&url=http%3A%2F%2Fwww.example.com%2F

上記 URL に含まれる ********** は、ノンス文字列という物らしく、一定時間ごとに変化するランダムな文字列が入っています。
Ktai Style の場合は 12 時間ごとに変化するらしい。

このノンス文字列が時間切れ？か何かでエラーを返しているのが原因なのかな？

WordPress のルートディレクトリに robots.txt を設置してみる

そもそも、この Ktai Style の中継ページをグーグルボットがクロールしないように設定すれば良いのでは？
と思い、次の様なコード書いた robots.txt を WordPress をインストールしてあるルートディレクトリに設置してみた。

User-Agent: *
Disallow: /wp-*

robots.txt の記述が間違っていないか心配なんだけど、上記の設定で WordPress 関連のシステムファイルはクロールされなくなるはず。

しばらくしてから Google ウェブマスターツールで確認してみるつもり。

ちなみに環境

• CORESERVER
• WordPress 2.9.1
• Ktai Style 2.0.0-beta2

参考にさせてもらったページ

• WordPress Plugins/JSeries » Ktai Style サイト設定とテンプレートの改造
• WordPressセキュリティ向上①-robots.txtでログイン画面のインデックス化を防ぐ- » 森の夢
• WordPressの「robots.txt」と「metaタグ」のSEO用設定 | コリス
• robots.txtの正確な書式,ロボット対策,noindex,nofollow | SEO対策のASY!エイジー

ありがとうございます。

かまたま

最後までお読みいただきありがとうございます！
SNS 共有・コメントいただけると管理人のやる気がアップします！
ブログランキング参加中！応援よろしくお願いします！

記事内容の修正について

記載している内容は記事執筆時の情報です。 できるだけ最新情報を掲載するようにしていますが、情報が間違っている場合は「コメント」でご指摘いただけるとありがたいです。