Discuz! 官方站

 找回密码
 立即注册

QQ登录

只需一步,快速开始

搜索
查看: 1491|回复: 4

[新需求] 网站频繁被爬虫抓取一个独立页面

[复制链接]
发表于 2020-4-14 18:55:46 | 显示全部楼层 |阅读模式
需求发布
金额范围: 50-100 元
预算金额: 58 元
开始时间: 2020-04-14
结束时间: 2020-04-14
联系方式: 隐藏内容
网站频繁被抓取手机标准版页面,但是我的手机版没有标准版,只有触屏版,手机版用的克米的模板,& |' [3 k" O. s& D9 y( n9 h
我讲频繁抓取的那个标准版页面自动跳转到首页,比以前抓取的更频繁了,一天几千上万次,
& K( v1 k; w( Z/ E+ M4 U9 V$ M$ j* k. l' e" ^. J9 T
是不是设置的不对。
" J; O6 ]& Q. d  \3 V" L0 t0 h5 E9 C' o- o" X$ _8 v. Q9 z& M& V: F! W% |

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
发表于 2020-4-17 13:17:21 | 显示全部楼层
你这个是需要被爬呢,还是不想让百度爬?
回复

使用道具 举报

发表于 2020-4-30 22:03:59 | 显示全部楼层
如果的确对服务器造成了抓取压力,直接屏蔽 111.206.xxx.xxx 域即可。8 F) t$ [- t  ~' X, ^% q/ v1 l* Z: E
另外  111.206.198段可能并非百度蜘蛛。
回复

使用道具 举报

发表于 2020-5-14 10:25:28 | 显示全部楼层
:'(你这个可以,,我新站蜘蛛都不来,,你一个页面来上万次,真几把不公平啊
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Discuz! Q 1.0 正式发布,5 分钟快速生成粉丝社区,助力内容创作者快速变现

小黑屋|Discuz! 官方站 ( 粤B2-20090059-165 )star

GMT+8, 2020-8-12 11:48

Powered by Discuz! X3.3

Copyright © 2001-2019 Tencent Cloud.

快速回复 返回顶部 返回列表