稳定互联,中美互联,站长交流,虚拟主机,香港主机,美国主机,虚拟空间,免费空间,免费VPS,免费域名

 找回密码
 立即注册
查看: 2127|回复: 0

[运营经验] 如何识别Baiduspider(百度蜘蛛)

[复制链接]
发表于 2014-4-24 14:25:17 | 显示全部楼层 |阅读模式
来源:百度站长平台' n$ Y) f( ?4 g

. g$ D( O. Z: k. y/ l: H       摘要:误封过Baiduspider,想把所有BaiduspiderIP放入白名单?发现一只名为Baidu的spider行径可疑,该如何判断?/ |" V3 d1 G  D$ T8 T8 X# G2 \4 z

1 Q" Q8 i( _8 C* ~6 e) |       上周百度站长平台接到某站长求助,表示误封禁了Baiduspider的IP,询问是否有办法获得Baiduspider的所有IP,打算放入白名单加以保护,防止再次误封。在此要告诉各位站长,Baiduspider的IP池是不断变动的,我们无法提供IP全集。% C" Z/ d* A# w

" C  E0 y6 y; J! ~( X4 ?       除此之外,之前还有站长发来质疑说Baiduspider光顾过于频繁,已超越服务器承受能力。而百度站长平台追查发现,Baiduspider对该站点的抓取并无异常,那只spider极有可能是个李鬼。, H9 O  b, a3 m/ {
4 y. H. n$ q0 Z* p$ N8 K
       那么,站长该如何通过IP来判断此spider是不是来自百度搜索引擎的呢?  \2 T+ J6 @3 Q" ], p2 J
+ ]8 @/ k/ M* `7 [5 d" p6 _3 K
       可以通过DNS反查方式来解决这个问题。根据平台不同验证方法不同,如linux/windows/os三种平台下的验证方法分别如下:
9 j* i% Y2 h" b. H) M3 l7 b+ G0 B% G& {  g
105512h4qmnzy55cjjngrg.jpeg.thumb.jpg
, F5 f* z$ |6 e9 ^( t  i; X
       1,在linux平台下,您可以使用host ip命令反解ip来判断是否来自Baiduspider的抓取。Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。
/ p% B4 y! ~" \5 o1 l$ d0 P& Q3 R3 x- L+ K" w' V
       2,在windows平台或者IBM OS/2平台下,您可以使用nslookup ip命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入nslookup xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 来判断是否来自Baiduspider的抓取,Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。
% L7 x+ v- b! [; F5 \
0 t& w* p0 T- J0 s4 J! q8 T* J       3,在mac os平台下,您可以使用dig 命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入dig xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 来判断是否来自Baiduspider的抓取,Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。
4 n2 S; p4 A3 ]2 _$ q4 P2 I
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|WdidcNet ( 苏ICP备17005075号-1 )

GMT+8, 2025-4-25 03:46 , Processed in 0.015366 second(s), 10 queries , APCu On.

Powered by Discuz!

© 2010-2023.

快速回复 返回顶部 返回列表