Discuz! 官方站

 找回密码
 立即注册

QQ登录

只需一步,快速开始

搜索
查看: 1136|回复: 4

[新需求] 网站频繁被爬虫抓取一个独立页面

[复制链接]
发表于 2020-4-14 18:55:46 | 显示全部楼层 |阅读模式
需求发布
金额范围: 50-100 元
预算金额: 58 元
开始时间: 2020-04-14
结束时间: 2020-04-14
联系方式: 隐藏内容
腾讯云商标服务特惠!商标快速注册、商标顾问注册、商标担保注册、商标续展/宽展、商标延伸服务,一站搞定。全场免费咨询、代金券补贴,低至成本价。
网站频繁被抓取手机标准版页面,但是我的手机版没有标准版,只有触屏版,手机版用的克米的模板,% M9 M% ?- y& `$ w
我讲频繁抓取的那个标准版页面自动跳转到首页,比以前抓取的更频繁了,一天几千上万次,! {) Q8 }" j" b4 W

6 z' F+ n# [! A9 @& {是不是设置的不对。8 W* [$ a  \0 R# K
9 j9 `. x0 r+ E3 B# m

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
发表于 2020-4-17 13:17:21 | 显示全部楼层
你这个是需要被爬呢,还是不想让百度爬?
回复

使用道具 举报

发表于 2020-4-30 22:03:59 | 显示全部楼层
如果的确对服务器造成了抓取压力,直接屏蔽 111.206.xxx.xxx 域即可。
( X0 R4 H8 G% f5 b$ V) P7 Q另外  111.206.198段可能并非百度蜘蛛。
回复

使用道具 举报

发表于 2020-5-14 10:25:28 | 显示全部楼层
:'(你这个可以,,我新站蜘蛛都不来,,你一个页面来上万次,真几把不公平啊
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

腾讯云商标服务特惠!快速注册低至270元/件起,更有续展/宽展+延伸一站式服务、全场代金券补贴

小黑屋|Discuz! 官方站 ( 粤B2-20090059-165 )star

GMT+8, 2020-6-1 16:36

Powered by Discuz! X3.3

Copyright © 2001-2019 Tencent Cloud.

快速回复 返回顶部 返回列表