1、什么是抓取诊断工具8 z$ s$ [) a- O* |8 ?4 O3 B( o/ O
8 G( {' t6 u7 F- g抓取诊断工具,可以让站长从百度蜘蛛的视角查看抓取内容,自助诊断百度蜘蛛看到的内容,和预期是否一致。
$ e# O/ ~. c0 Q3 n3 y& s. G9 |) c每个站点每月可使用300次,抓取结果只展现百度蜘蛛可见的前200KB内容。
0 R8 }" w, X2 H, j8 D( N( N9 j2、抓取诊断工具能做什么
+ X$ ]0 v1 ^4 E' M$ A6 |1)诊断抓取内容是否符合预期,譬如很多商品详情页面,价格信息是通过JavaScript输出的,对百度蜘蛛不友好,价格信息较难在搜索中应用。问题修正后,可用诊断工具再次抓取检验。
' j3 y" V W: T# X/ f: |0 ~
8 o( @) q) k4 ]( f; j, C# {% z, M$ e i8 v
2)诊断网页是否被加了黒链、隐藏文本。网站如果被黑,可能被加上隐藏的链接,这些链可能只在百度抓取时才出现,需要用此抓取工具诊断。5 A- F* x5 p, F4 P
6 j/ D: T+ T7 R$ u9 [/ ~# t
3)检查网站与百度的连接是否畅通,若是IP信息不一致,可以报错通知百度更新IP。1 Q8 a+ j7 `- u
# e( m% { o, G2 f: I0 p
" r2 P( W1 }. h4)如果网站有新页面或页面内容有更新,百度蜘蛛较长时间没来访问,可以通过此工具邀请它快速来抓取。
4 H2 a3 R. b+ X
9 C0 m( {1 \( T% j4 q! b1 t) {3 e+ J7 }( y2 |5 V9 j
|