1、什么是抓取诊断工具
/ p1 D2 a: o' [# L7 c. ^/ k# B f2 {; V( P( V$ ?* D6 B
抓取诊断工具,可以让站长从百度蜘蛛的视角查看抓取内容,自助诊断百度蜘蛛看到的内容,和预期是否一致。. J' a( P1 L9 ^+ w+ O) b7 g* [. P! k" E
每个站点每月可使用300次,抓取结果只展现百度蜘蛛可见的前200KB内容。
8 h% O' v0 s) [9 i: S2、抓取诊断工具能做什么
- c) p4 ` r' U9 `) X' Y1)诊断抓取内容是否符合预期,譬如很多商品详情页面,价格信息是通过JavaScript输出的,对百度蜘蛛不友好,价格信息较难在搜索中应用。问题修正后,可用诊断工具再次抓取检验。
7 }- Y2 H* M9 Q( `" |5 K
y+ ?" Z% f+ ?( Y4 P/ @
, o! P+ V& C/ K _6 L0 b2)诊断网页是否被加了黒链、隐藏文本。网站如果被黑,可能被加上隐藏的链接,这些链可能只在百度抓取时才出现,需要用此抓取工具诊断。
3 d0 |" ~0 Q: B5 w, x" m5 a. T4 S3 |; v, b3 L9 c- I
3)检查网站与百度的连接是否畅通,若是IP信息不一致,可以报错通知百度更新IP。1 y8 C0 u' |# c- U
* Z6 F# X8 k$ i; y
, s7 w ~/ [8 M; I% Q4)如果网站有新页面或页面内容有更新,百度蜘蛛较长时间没来访问,可以通过此工具邀请它快速来抓取。
\" M6 A, N# Q4 h
- @3 }6 x6 H$ o- D- w0 F- V, y+ Q1 S. q. S/ U
|