15.7.1.什么是robots
更新时间：2020-01-16 14:41:48
作者：米拓建站
什么是robots.txt文件？robots.txt文件有什么用？
robots.txt存在于网站根目录下，是网站和搜索引擎之间的协议文件，用于告知网站是否允许搜索引擎蜘蛛访问或允许访问哪些目录，搜索引擎爬行网站时首先访问的就是robots.txt文件。
网站管理员可以在robots文件中声明哪些内容不允许被搜索引擎蜘蛛访问，也可以禁止特定的搜索引擎访问网站内容。
设置方法：
l 禁止所有搜索引擎访问网站的任何部分
User-agent： * Disallow： / |
l 允许网站所有内容被所有搜索引擎访问
User-agent： * Disallow： |
（或者也可以建一个空文件 “/robots.txt”）
l 禁止某个搜索引擎的访问
如禁止百度访问：
User-agent： BadBot Disallow： / |
l 允许某个搜索引擎的访问
如只允许百度访问：
User-agent： Baiduspider Disallow： User-agent： * Disallow： / |
l 假设某个网站有三个目录限制搜索引擎访问：
| User-agent： * Disallow： /admin/ Disallow： /cache/ Disallow： /config/ |