是一个纯文本文件，是搜索引擎访问网站要查看的第一个文件，放一个Robots.txt是对搜索引擎友好的表现，robots.txt必须放在一个站点的根目录下，且文件名必须小写。以下截图就是一个网站一部分robots文件，可以看到有很多不允许抓取的文件。
揭阳高端网站建设公司灵感官网微信管理系统后台登录可口可乐网络推广方案9到12岁手工制作企业官网网站优化电商网图手机登录foxmail邮箱百度网站模版凡科抠图成都设计院招聘信息上海天华建筑设计有限公司成都分公司湖南长沙疫情最新网络安全等级保护测评广州站到广州南站有多远高端网页设计专业公司办公室装修设计费计入什么科目东莞网站建设最低价一建是不是烂大街了邯郸信息港官方网站html文件网站设计师的工资网络舆情的五大特点厦门网站建设定制效果图制作公司起名注册网站会员需要详细填写真实姓名个人信息会被窃取吗株洲正规竞价优化服务礼品公司网站怎么做校园网建设实施方案组织建设的作用和意义开发平台技术部门主要职责