优推网

 找回密码
 立即注册

只需一步,快速开始

扫一扫,访问微社区

查看: 228|回复: 1

[优化技巧] 为什么有时候网站被百度抓取的流量会出现暴增现象?

[复制链接]

6

主题

0

好友

10

积分

推广新人(禁止外链)

Rank: 1

该用户从未签到

发表于 2017-12-18 14:32:33 |显示全部楼层
Spider对网站抓取数量突增往往给站点带来很大烦恼,纷纷找平台想要Baiduspider IP白名单,但实际上BaiduSpider IP会随时变化,所以并不敢公布出来,担心站长设置不及时影响抓取效果。

那么百度是怎么计算分配抓取流量的呢?站点抓取流量暴增的原因有哪些呢?


总体来说,Baiduspider会根据站点规模、历史上网站每天新产出的链接数量、已抓取网页的综合质量打分等等,来综合计算抓取流量,同时兼顾站长在抓取频次工具里设置的、网站可承受的最大抓取值。



从目前追查过的抓取流量突增的case中,原因可以分为以下几种:


1,Baiduspider发现站内JS代码较多,调用大量资源针对JS代码进行解析抓取


2,百度其他部门(如商业、图片等)的spider在抓取,但流量没有控制好,造成多渠道同时进入你的网站抓取信息


3,已抓取的链接,打分不够好,垃圾过多,导致spider重新抓取


4,站点被攻击,有人仿冒百度爬虫







上一篇:学不好SEO的原因大致有以下几点
下一篇:高级运营比初级运营高的一招:快速提升运营效果

Rank: 2

该用户从未签到

发表于 2017-12-28 11:43:16 |显示全部楼层
不错 学习了
回复

使用道具 举报

2

主题

0

好友

1

积分

推广新人(禁止外链)

Rank: 1

该用户从未签到

发表于 2018-1-16 17:21:49 |显示全部楼层
新手,过来报个到。
回复

使用道具 举报

Rank: 1

该用户从未签到

发表于 2018-1-26 15:17:54 |显示全部楼层
新手,过来报个到。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册  

QQ|申请友链|站点地图|手机版|优推网 ( 陕ICP备13008032号-4 )

GMT+8, 2019-9-19 10:36 , Processed in 0.286531 second(s), 27 queries .

Powered by Discuz! X2.5

© 2012-2018 优推网 Inc.

回顶部