1、什么是抓取诊断工具$ \; i9 S$ I0 [1 Q2 o8 K" U
" S, ~/ i7 ?, X5 i( P0 }2 `; J
抓取诊断工具,可以让站长从百度蜘蛛的视角查看抓取内容,自助诊断百度蜘蛛看到的内容,和预期是否一致。
5 f" D3 O- p. Q: r, ]每个站点每月可使用300次,抓取结果只展现百度蜘蛛可见的前200KB内容。1 q. Q* ] h- V- ~0 j' Y/ I6 X
2、抓取诊断工具能做什么
. I) L% ]4 Z `1)诊断抓取内容是否符合预期,譬如很多商品详情页面,价格信息是通过JavaScript输出的,对百度蜘蛛不友好,价格信息较难在搜索中应用。问题修正后,可用诊断工具再次抓取检验。
+ r. J0 U% ]! q% G- I+ R
1 C9 ^/ q$ Y( ?* G4 v& k. a& D. R
' K9 n7 v4 b8 z/ Y, H2 ~
2)诊断网页是否被加了黒链、隐藏文本。网站如果被黑,可能被加上隐藏的链接,这些链可能只在百度抓取时才出现,需要用此抓取工具诊断。
2 c o4 K- _' p% o ^" o
" b+ d# [0 S! g+ I% B3)检查网站与百度的连接是否畅通,若是IP信息不一致,可以报错通知百度更新IP。
" L h: G# L0 z+ I. E
% S$ P4 a0 t, h& ~( b: T3 m) m
4)如果网站有新页面或页面内容有更新,百度蜘蛛较长时间没来访问,可以通过此工具邀请它快速来抓取。* c; Q; A3 k9 F( r, u
~+ a# S! o! c& z
/ q* X V6 |: E f1 B Z7 {: U: L |