1、什么是抓取诊断工具
2 a% m$ Y* F$ i1 S
* W6 q; {/ k4 M% P. R3 v抓取诊断工具,可以让站长从百度蜘蛛的视角查看抓取内容,自助诊断百度蜘蛛看到的内容,和预期是否一致。
$ O2 ^8 ~/ @! z6 y每个站点每月可使用300次,抓取结果只展现百度蜘蛛可见的前200KB内容。: v& C; I0 y, F+ b% z% O
2、抓取诊断工具能做什么
* I3 H% @/ _4 C7 q( K; c% B4 d9 {1)诊断抓取内容是否符合预期,譬如很多商品详情页面,价格信息是通过JavaScript输出的,对百度蜘蛛不友好,价格信息较难在搜索中应用。问题修正后,可用诊断工具再次抓取检验。
+ u7 W% H, T: e7 ?2 _# @7 |9 K
6 }7 F" a) R: v. }
/ G5 z7 L! c9 s d0 T5 P0 ~! h! S# ^& t
2)诊断网页是否被加了黒链、隐藏文本。网站如果被黑,可能被加上隐藏的链接,这些链可能只在百度抓取时才出现,需要用此抓取工具诊断。
- Q9 i% S/ u+ | s, o; S* c1 n% Q# l' t& b
3)检查网站与百度的连接是否畅通,若是IP信息不一致,可以报错通知百度更新IP。; F4 l( h8 u( v+ ^& \: w
- Z+ T; e! h4 Y8 x" W
8 g: k3 I5 S' S
4)如果网站有新页面或页面内容有更新,百度蜘蛛较长时间没来访问,可以通过此工具邀请它快速来抓取。
( N+ ~/ ]6 b t* h
0 c+ z' b8 L! `' d0 B& t- v- G( }
3 C- p. S, I) L9 A+ L1 C, T b |