DEDECMS的robots.txt该怎么写？
答案:3 悬赏:20
解决时间 2021-02-22 15:39
- 提问者网友：傀儡离开
- 2021-02-22 11:39
默认的有User-agent: * Disallow: /plus/feedback_js.phpDisallow: /plus/mytag_js.phpDisallow: /plus/rss.phpDisallow: /plus/search.phpDisallow: /plus/recommend.phpDisallow: /plus/stow.phpDisallow: /plus/count.php还有哪些应该禁止蜘蛛爬的页面？
最佳答案
- 二级知识专家网友：瘾与深巷
- 2021-02-22 11:59
偶的一个站是User-agent: *Disallow: /memberDisallow: /member/Disallow: /plus/rss/Disallow: /plus/feedback_js.phpDisallow: /plus/flink-add.phpDisallow: /plus/mytag_js.phpDisallow: /plus/rss.phpDisallow: /plus/view.phpDisallow: /plus/recommend.phpDisallow: /plus/stow.phpDisallow: /plus/count.phpDisallow: /plus/feedback.phpDisallow: /plus/download.php
全部回答
- 1楼网友：专属的偏见
- 2021-02-22 13:14
这样已经可以了。如果你觉得哪些页面不希望蜘蛛爬取，你再加一个Disallow:比如，Disallow: /abc/123.hmtl
- 2楼网友：一个很哇塞的汉子
- 2021-02-22 12:29
这个可以自己加的，看个人需要吧，官方的robots.txt只是个建议
我要举报
如以上问答内容为低俗、色情、不良、暴力、侵权、涉及违法等信息，可以点下面链接进行举报！
大家都在看
推荐资讯