1、什么是抓取诊断工具, E: n" j) V& X2 K. M% _
% l7 O7 B0 [1 c2 m/ j抓取诊断工具,可以让站长从百度蜘蛛的视角查看抓取内容,自助诊断百度蜘蛛看到的内容,和预期是否一致。
/ x1 ]& L6 m9 ~( I- L每个站点每月可使用300次,抓取结果只展现百度蜘蛛可见的前200KB内容。
2 N8 g" q- j* e2、抓取诊断工具能做什么
6 W+ c% A0 U" r! r1)诊断抓取内容是否符合预期,譬如很多商品详情页面,价格信息是通过JavaScript输出的,对百度蜘蛛不友好,价格信息较难在搜索中应用。问题修正后,可用诊断工具再次抓取检验。
! `$ w) c8 }1 Y8 V! C3 u- T
( I; l5 u9 k# ?
' f# j$ R# s7 z6 O* s2)诊断网页是否被加了黒链、隐藏文本。网站如果被黑,可能被加上隐藏的链接,这些链可能只在百度抓取时才出现,需要用此抓取工具诊断。
, |# r- X1 b2 l5 j0 v( z
) l8 h0 c/ p) [+ Z& n3)检查网站与百度的连接是否畅通,若是IP信息不一致,可以报错通知百度更新IP。
8 b$ Z, b% S* d* X5 ~; P* d
3 ~' f7 Z9 H; _$ k: c2 F9 k
- j, Z5 _/ H2 S& y; `/ M. G, d
4)如果网站有新页面或页面内容有更新,百度蜘蛛较长时间没来访问,可以通过此工具邀请它快速来抓取。
$ V+ n6 C4 l- K& M( m ' b, t+ H- {, l9 S6 [$ E
9 n3 S- I; W6 B0 H# Z8 H8 `; Y% `
|