robots.txt和robots meta标签 有什么作用 ，怎么查看
答案:1 悬赏:40
解决时间 2021-10-20 08:27
- 提问者网友：浩歌待明月
- 2021-10-19 11:33
robots.txt和robots meta标签 有什么作用 ，怎么查看
最佳答案
- 二级知识专家网友：北城痞子
- 2021-10-19 13:12
robots.txt和robots meta标签都是搜索引擎机器人爬行协议
控制搜索引擎爬行站点内文件（txt管理）或者网页内代码（meta管理）的一种协议。
一般meta支持的不广，所以只用txt就可以了。
这个需要自己写 具体语法我举个例子
User-agent: *
Disallow: /image/
Disallow: /Image/
Disallow: /UpLoadFiles/
Disallow: /Web_Offices/
控制搜索引擎爬行站点内文件（txt管理）或者网页内代码（meta管理）的一种协议。
一般meta支持的不广，所以只用txt就可以了。
这个需要自己写 具体语法我举个例子
User-agent: *
Disallow: /image/
Disallow: /Image/
Disallow: /UpLoadFiles/
Disallow: /Web_Offices/
我要举报
如以上问答内容为低俗、色情、不良、暴力、侵权、涉及违法等信息，可以点下面链接进行举报！
大家都在看
推荐资讯