グーグルボット(Googlebot)のIPアドレス

公開日:
更新日:
カテゴリー: サーバー

サイトにはひっきりなしに検索エンジンのクローラーがきますが、グーグルボット(Googlebot)のIPアドレスって何だろ?と疑問になったので、ユーザーエージェントがグーグルボットであるIPアドレスを記録してみました。

もちろん偽装も可能なので、ちゃんと逆引きしたものを掲載します(これからどんどん追加していきます)。グーグルボットのユーザーエージェントはこちら

グーグルボットのIPアドレス

66.249.65.3

場所:アメリカ カリフォルニア マウンテンビュー

逆引き:crawl-66-249-65-3.googlebot.com

UA:Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

66.249.75.120

場所;アメリカ カリフォルニア マウンテンビュー

逆引き:crawl-66-249-75-120.googlebot.com

UA:Googlebot-Image/1.0

メモ:画像用のボット

66.249.80.174

場所:アメリカ カリフォルニア マウンテンビュー

逆引き:google-proxy-66-249-80-174.google.com

UA:Mozilla/5.0 (en-us) AppleWebKit/534.14 (KHTML, like Gecko; Google Wireless Transcoder) Chrome/9.0.597 Safari/534.14

66.249.74.148

場所:カナダ オンタリオ トロント

逆引き:crawl-66-249-74-148.googlebot.com

UA1:Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

UA2:Mozilla/5.0 (iPhone; CPU iPhone OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25 (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)

メモ:40秒間隔でクローリングしていた

UA3:Mediapartners-Google

メモ:グーグルアドセンスのボット

UA4:Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.4 (KHTML, like Gecko; Google Page Speed Insights) Chrome/22.0.1229 Safari/537.4 GoogleBot/2.1

UA5:Mozilla/5.0 (Windows NT 6.1; rv:6.0) Gecko/20110814 Firefox/6.0 Google favicon

209.85.238.148

場所:アメリカ カリフォルニア マウンテンビュー

逆引き:rate-limited-proxy-209-85-238-148.google.com

UA:DoCoMo/2.0 N905i(c100;TB;W24H16) (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)

メモ:ガラケー用のボット

ユーザーエージェントに「Google」が含まれていたもの

ユーザーエージェントに「Google」が含まれていたIPアドレスを記録していますが、中にはGoogleとは無関係なものもありますので、そういうものを記録しました。

133.242.180.104

場所:日本 千葉 佐倉

逆引き:www1090gj.sakura.ne.jp

UA:fullrss/0.01 (+http://fullrss.net/; like FeedFetcher-Google)

メモ:RSSの部分配信を全文配信に変更してくれるウェブサービスのもの

106.187.98.184

場所:日本

逆引き:li475-184.members.linode.com

UA:Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

メモ:LinodeというレンタルサーバーのIPなので、Googleに偽装したボットの可能性がある(追記:疑問になって調べたら、106.187.98.184のIPアドレス上に「proxypy.org」というサイトがあったので、このサイトが生成したページをグーグルボットがクローリングしてログに記録された可能性が高いです)

まとめ

ここまでサーバーにアクセスのあったログを記録してきましたが、いろいろ調べてたら既にグーグルボットのUAやIPアドレスをまとめているサイトを発見しました(こちら)。

これまでちょこちょことまとめてきましたが、もっと早く見つけておけば・・・ただ、2000年代前半に記録しているっぽいので、情報としては古い可能性があります(あんまり確認してません)。

そのほかのボット

グーグルのボットを記録している中で、そのほかのボットの記録もあったので、それをメモします。

ツイッターのボット

IP:199.59.148.210
IP:199.59.148.211
UA:Twitterbot/1.0

bingのボット

IP:157.55.36.39
IP:157.55.39.155
IP:157.55.39.163
IP:157.55.39.164
IP:157.55.39.251
IP:207.46.13.72
IP:207.46.13.94
UA:Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)

 

頑張って書いたのでちょろっと読んでほしい!

 

コメント

まだコメントはありません。

コメントフォーム
お名前
コメント