1、什么是抓取诊断工具
3 [: Z+ g- U5 M; F1 T2 R$ D6 J1 `! @/ r. d& [
抓取诊断工具,可以让站长从百度蜘蛛的视角查看抓取内容,自助诊断百度蜘蛛看到的内容,和预期是否一致。8 l! X0 m3 T7 p' W* F
每个站点每月可使用300次,抓取结果只展现百度蜘蛛可见的前200KB内容。
/ x: z$ ^0 x: S, e1 i2、抓取诊断工具能做什么% d+ ~) } a& w; l6 h
1)诊断抓取内容是否符合预期,譬如很多商品详情页面,价格信息是通过JavaScript输出的,对百度蜘蛛不友好,价格信息较难在搜索中应用。问题修正后,可用诊断工具再次抓取检验。
! s: F+ X: e+ U) l
) H! M$ h/ B6 y& f
- s# o4 B% _) F/ n
2)诊断网页是否被加了黒链、隐藏文本。网站如果被黑,可能被加上隐藏的链接,这些链可能只在百度抓取时才出现,需要用此抓取工具诊断。0 h5 Q! a) O& x; d, u9 Y# i6 o( ^+ \
4 {5 u) A- v% M* T- S' H
3)检查网站与百度的连接是否畅通,若是IP信息不一致,可以报错通知百度更新IP。
5 {' G( z+ k6 {" J+ |) j2 W
+ f0 F% m" ?' z6 y0 I4 j7 T2 R# |$ t/ \. b. E' {+ v7 W. M% ` x- l
4)如果网站有新页面或页面内容有更新,百度蜘蛛较长时间没来访问,可以通过此工具邀请它快速来抓取。
5 i5 j" c e1 Z
) C, u) O/ W4 f, x8 i6 a R, Y. Z K1 ^- \
|