Discuz! 官方站

 找回密码
 立即注册

QQ登录

只需一步,快速开始

搜索
查看: 607|回复: 3

请教一下robots.txt怎么写

[复制链接]
发表于 2020-5-13 01:18:53 | 显示全部楼层 |阅读模式
我的几个万个网页谷歌就收了一千多个,其余的都被这个文件屏蔽了,这个文件应该怎么改过来、!

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
发表于 2020-5-13 02:39:44 | 显示全部楼层
正常帖子页地址根本不会包括 /misc.php

都是thread-Xxx-1.html

只要没屏蔽 /thread-*  和 /forum-* 就不是robots.txt的问题
回复

使用道具 举报

 楼主| 发表于 2020-5-13 10:33:04 | 显示全部楼层
把这三个屏蔽的删除可以不

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
回复

使用道具 举报

发表于 2020-5-13 23:53:15 | 显示全部楼层
本帖最后由 jiangchuankyo 于 2020-5-21 10:50 编辑

search.php 可以disabled了

复制代码
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

腾讯云商标服务特惠!快速注册低至270元/件起,更有续展/宽展+延伸一站式服务、全场代金券补贴

小黑屋|Discuz! 官方站 ( 粤B2-20090059-165 )star

GMT+8, 2020-6-1 17:32

Powered by Discuz! X3.3

Copyright © 2001-2019 Tencent Cloud.

快速回复 返回顶部 返回列表