1、什么是抓取诊断工具: F8 H% \( u! g) a8 C. g
! }% N! {' V1 n( H/ y% b+ Y抓取诊断工具,可以让站长从百度蜘蛛的视角查看抓取内容,自助诊断百度蜘蛛看到的内容,和预期是否一致。
2 k+ k3 e$ n! K! |2 o) \4 d0 z; q每个站点每月可使用300次,抓取结果只展现百度蜘蛛可见的前200KB内容。
. v. ]5 ^1 f" M+ v2、抓取诊断工具能做什么( x8 s J% D% B4 W9 D- |% ~2 s
1)诊断抓取内容是否符合预期,譬如很多商品详情页面,价格信息是通过JavaScript输出的,对百度蜘蛛不友好,价格信息较难在搜索中应用。问题修正后,可用诊断工具再次抓取检验。/ ^7 @; E, ?( |! K9 q+ M: m& I
' H9 `4 s, v, C0 e
+ o) k/ C, S9 n3 a( y
2)诊断网页是否被加了黒链、隐藏文本。网站如果被黑,可能被加上隐藏的链接,这些链可能只在百度抓取时才出现,需要用此抓取工具诊断。6 V2 N. }" l/ r+ S; q7 P( R) I; f% ]
$ F3 z9 q* v8 Y
3)检查网站与百度的连接是否畅通,若是IP信息不一致,可以报错通知百度更新IP。
- `! J# e- G9 b
( m7 N3 Q2 X0 i+ e" n$ `+ f; {. h2 x: A' U) I9 \
4)如果网站有新页面或页面内容有更新,百度蜘蛛较长时间没来访问,可以通过此工具邀请它快速来抓取。1 U6 e5 [2 S6 ?2 e1 |
3 h, S. V. X, P* \, y6 G8 i! z0 A* R5 _5 U; O' j4 \
|