文章前言/文章引入
什么是robots.txt?百度百科的解说是”robots.txt一般指Robots协议(也称为爬虫协议、机器人协议等)的全称是“网络爬虫扫除标准”(RobotsExclusionProtocol),网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。”,因为我的网站很多都是玩Wordpress的朋友,我正好手里也有个合适的可以发出来仅供大家学习使用,但是这个不是精确的,大家也可以去改改里边的内容,具体怎么改这里就不说了就自己百度去吧!
![图片[1]-错误配置robots导致蜘蛛误认为是你不让它爬取你的网站[seo教程]-东方博客](https://dfwl6.cn/wp-content/uploads/2022/05/46c5933ce153.webp)
教程讲解/使用教程
1.在我们Wordpress网站根目录创建个名字为robots.txt
的txt文本,这个名字是不可以自己更换的必须要用这个名字。
2.进入编辑然后将下面的代码信息复制进去,可以根据自己的需求自己去改,也可以不用修改,这里注意的就是需要把那两个网站地图网址换成自己的。
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-login.php
Disallow: /wp-json/
Disallow: /author/
Disallow: /oauth/
Disallow: /feed
Disallow: /*/feed
Disallow: /*/*/feed
Disallow: /*/mip
Sitemap: 这里写自己的地图地址,也可以删除此条内容
User-agent: Mediapartners-Google
Disallow: /video/
© 版权声明
本站所发布的全部内容源于互联网搬运,请在下载后24小时内删除。如果有侵权之处请第一时间联系我们E-mail:70188466@qq.com删除。敬请谅解!
THE END
暂无评论内容