Google Analyticsからロボットやクローラーのアクセスを取り除く意味合いについて、ブログの場合

実は元は、アクセス解析メインのブログだった「鈴木です。」の鈴木です。

最近、まともにアクセス解析の事を書いていませんね(^^;

恐らく、このブログは旅行・温泉関係と所感、書評メインのブログだと思っている事でしょう(^^;

という事でたまにはアクセス解析の事を書いてみよう！という事とリクエスト？にお応えして書いてみたいと思います。

テーマは、「Google Analyticsからロボットやクローラーのアクセスを取り除く意味合いについて」です。

 書くきっかけ

news.cardmics.com

こちらのエントリー（また、cardmicsさんだ）に寄せられたブコメで

これは鈴木さん案件だ。 idコールしなくても鈴木さんならきっと(^^)　byはぴらきさん

 と書かれていたので、期待に添えよう！という事です。

元記事は元はこちらのエントリーがきっかけのようです。

【Google Analytics】ボットやクローラーからのトラフィックを除外する新機能 - 検索サポーターのアンテナ

 更にこれのきっかけがこちら

Googleアナリティクスにロボット/スパイダーを除外するオプションが追加 | 海外SEO情報ブログ

鈴木謙一さんのブログですね。よく見させて頂いております。過去に、同じ鈴木だけど別人です。と書いて頂いた時は嬉しかったですね（笑）

それなりにバズったエントリーは読んでくれているんだな～と嬉しく思いました。

クローラー・ボットについて

そもそも、クローラーやボットって何？という方のために物凄く簡単に説明をしておきます。

例えば、検索と言えば、GoogleやMicrosoftのBingが有名ですよね。Yahoo!は日本の場合はGoogleのものを使用しています（海外ではBingがメインらしいですが）。

でも、検索サイトって、どうやって情報を集めているんだろう？と思う方もいらっしゃると思います。

クローラーはまたボットと呼ばれる自動巡回プログラムによって各サイトをまわって情報を収集してきているのです。

この巡回頻度が高いサイトほど検索においては有利となります。

このブログはそれなりに巡回頻度が高いサイトとなっています。なぜ、巡回頻度が高いという事が解るかと言えば、ウェブマスターツールというものを導入、設定しているからです。ウェブマスターツールに関しては下記のエントリーを参照して頂ければ、幸いです。

超初心者用　ウェブマスターツールの導入方法（図解入り） - 鈴木です。

ちなみに、このブログのGoogleクローラー頻度は下記の通りです。

検索サイト以外にも、ネット広告配信を行っている会社やSEO関係のサイトのクローラーなんて言うものもあります。

正直、ネットの中をどれだけクローラーが回っているかなんて、誰も把握をしていません。日々増えているでしょうし。

はてなブログの場合

はてなブログの場合、どれだけクローラーが回っているのか、データが無いので解らないというのが正直なところです。

ただ、直感的に検索サイト以外のクローラーはあまりクロールをしていないのでないかと思っています。

その根拠を下記に書いていきます。

コマースサイト構築ソフトより

ボクは、仕事の関係であるコマースサイト構築ソフトウェアを触っています。アクセス解析において、結構重要な情報を持っているためです。

そのソフトウェアにも簡易的なアクセス解析ツールがついているのですが、専用のアクセス解析ツールとまったくセッション数やPV数が異なる事にすぐに気が付きました。

なぜ、こんなに違うんだろう？と見てみると・・・クローラーもすべてカウントしていたからでした。もちろん、カスタマイズすればクローラーは除外出来ますが、何もしていなければ、すべてのクローラーをカウントしている状態でした。

これは逆にラッキーでした。そのコマースサイトを回っているすべてのクローラーを知る事が出来るキッカケになったからです。

ただ、有名所のクローラーを外してみたら、通常のアクセス解析ツールと比較すると10%くらいしか差が無い事を発見しました。なお、これは1年半前くらいの事です。今はもう少し違うかもしれません。それだけクローラーの種類も増えていますし、技術も進歩しているからです。

ただし、そんなに意識しなくても普通のサイトであれば10%くらい、ブログであれば10%未満しか差が無いだろうと言う事がその時に解りました。

はてなブログの場合、特に変わったクローラーがそんなに巡回しているようには思えないので、差としてせいぜい5%くらいなのでは？と予想していました。

逆にFC2なんて、変なクローラーが回っているイメージがありますね。あくまでイメージですが。

問題点

ただし、ひょっとしたらですが、今回のGoogle Analyticsが導入したクローラーを取り除く設定で、登録されているクローラー情報が海外メインとなっているため、日本独自のクローラーは取り除かれていない可能性があるかもしれません。過去のGoogle Analyticsの動向からどうしても日本独自への対応は遅れ気味なので。IABのスパイダー/ボット リスト　においても同様かな？と何となくですが思っています。

絶対には外すべきクローラー

コマースサイトと言えば、内部検索エンジンとレコメンドエンジンを別に設定してある事もよくあります。

内部検索エンジンもレコメンドエンジンもいろんな仕組みがありますが、中にはクローラーを使っているものもあります。

特にカスタマイズしたものであれば、結構な頻度でクロールしているので、コマースサイトは、内部検索エンジンとレコメンドエンジンの方法を確認した上で、クローラー型であればアクセス解析ツールから除外出来る設定にしておかないと意味の無いPVやセッション数を収集してしまうため、注意が必要となります。

これは、GoogleAnayticsだとクローラーのIPを確認してフィルタリング設定を行う事になります。案外、これをしていないところもあるのでは？と思っています。もしくは数字を大きく見せるためにわざとしていないとか。

この辺り、本来アクセス解析担当者よりもプログラムの管理監督者の方が詳しいかもしれませんね。

以上です。

ただ、この辺りはボクもそんなに経験上の事でしか解らないため詳しい方がフォローなり、別にエントリーを立てて頂けると嬉しい限りです。

また、間違い等があればお教え頂ければ幸甚です。

ご清聴、ありがとうございましたm(__)m

Google Analyticsパーフェクトガイド 増補改訂版 Ver.5/ユニバーサルアナリティクス対応

Google アナリティクス 実践Webサイト分析入門 ユニバーサルアナリティクス対応 Web担当者が身につけておくべき新・100の法則。

関係ありませんが、ボクは上記の書籍の著者である、いちしまさんのファンです。