robots.txt有什么用
因为robots.txt只是给搜索引擎蜘蛛爬去做限制的，告诉蜘蛛哪些文件夹或路径不要去爬取。
另外，robots.txt主要用于保证网络安全和网站隐私，百度蜘蛛遵循robots.txt协议。通过根目录下创建的纯文本文件robots.txt，网站可以声明哪些页面不想被百度蜘蛛抓取收录。每个网站可以自主控制网站是否愿意被百度蜘蛛收录，或者指定百度蜘蛛只收录指定的内容。
Robots.txt文件的作用：屏蔽网站内的死链接。屏蔽搜索引擎蜘蛛抓取站点内重复内容和页面。阻止搜索引擎索引网站隐私性的内容。
robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。Robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。robots.txt 是一个纯文本文件，在这个文件中网站管理者可以声明该网站中不想被robots访问的部分，或者指定搜索引擎只收录指定的内容。
robots.txt是什么?
搜索引擎爬去我们页面的工具叫做搜索引擎机器人，也生动的叫做“蜘蛛”蜘蛛在爬去网站页面之前，会先去访问网站根目录下面的一个文件，就是robots.txt。这个文件其实就是给“蜘蛛”的规则，如果没有这个文件，蜘蛛会认为你的网站同意全部抓取网页。
robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。Robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。
robots.txt（统一小写）是一种存放于网站根目录下的ASCII编码的文本文件，它通常告诉网络搜索引擎的漫游器（又称网络蜘蛛），此网站中的哪些内容是不应被搜索引擎的漫游器获取的，哪些是可以被（漫游器）获取的。因为一些系统中的URL是大小写敏感的，所以robots.txt的文件名应统一为小写。
robots.txt文件是一个文本文件，使用任何一个常见的文本编辑器，比如Windows系统自带的Notepad，就可以创建和编辑它。robots.txt是一个协议，而不是一个命令。robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。
robots.txt是什么？ 我们都知道txt后缀的文件是纯文本文档，robots是机器人的意思，所以顾名思义，robots.txt文件也就是给搜索引擎蜘蛛这个机器人看的纯文本文件。
怎么看robots.txt
1、机器人放在服务器的根目录下，所以如果你想查看，只要在IE上输入http：//yourwebsite/robots.txt即可。如果想检查分析机器人，有专业的相关工具。站长工具都可以！warrobots如何加好友？直接在好友的后面有一个加号，点击加号就可以加好友了。
2、打开您的网页浏览器，如Chrome，Firefox等，输入b站的网址“”。在浏览器地址栏的末尾输入“/robots.txt”，即“”，然后按下回车键。您现在应该可以在浏览器中看到b站的robots.txt文件。
3、楼主您好：robots.txt它就像记事本一样的一个文件 在网站的根目录下 可以用ftp查看和修改 步骤为 点击虚拟空间或者服务器下的根目录 点击www或者web文件夹找到robots就可以进行修改了 在网站后台的话若是dedecms的可以再文件管理器里面找到直接进行修改 希望对您有所帮助。
4、登陆网站后台FTP，robots文件就在站点的根目录下面，直接使用查找输入r就可以找到，如果没有找到的话，可能设置的隐藏，强制现实文件即可，还有一种原因就是网站没有robots文件，不是所有的建站系统都自带robots文件的。
5、首先打开程序，在wp-includes目录下找到functions.php文件；然后用记事本打开或者是用dreamweaver 打开，用dreamweaver进行编辑，打开functions.php文件，找到function do_robots（） ，大概在1070行左右，可以看到系统默认的robots.txt文件的定义规则。
6、robots.txt文件应该放在网站根目录下。举例来说，当搜索引擎 访问一个网站时，首先会检查该网站中是否存在robots.txt这个文件，如果robots机器人程序找到这个文件，它就会根据这个文件的内容，来确定它访问权限的范围。
网站里的“robots”文件是什么意思?
robots是一个协议，是建立在网站根目录下的一个以（robots.txt）结尾的文本文件，对搜索引擎蜘蛛的一种限制指令。是蜘蛛程序爬行网站第一个要访问抓取的页面，网站可以通过robots协议来告诉搜索引擎蜘蛛程序哪些页面可以抓取，哪些页面不可以抓取。
robots是英语中的一个词汇，意思是“机器人（们）”。在计算机科学中，“robots.txt”是一种文件格式，一般位于一个网站的根目录，用来告诉搜索引擎爬虫访问该网站时应该遵守哪些规则，例如哪些页面应该被允许抓取，哪些页面不应该抓取等。
Robot是指机器人的英文词汇。在网络中，robot经常被用来表示网络蜘蛛，也称为网络机器人或网络爬虫。这是一种可以自动浏览网页并收集信息的程序。网络蜘蛛可以捕获网站的内容，创建索引并将其添加到搜索引擎的数据库中。搜索引擎使用这些数据库来返回与特定查询相关的结果。
robots文件是什么意思?他对网站的优化能起到什么作用?
1、robots是英语中的一个词汇，意思是“机器人（们）”。在计算机科学中，“robots.txt”是一种文件格式，一般位于一个网站的根目录，用来告诉搜索引擎爬虫访问该网站时应该遵守哪些规则，例如哪些页面应该被允许抓取，哪些页面不应该抓取等。
2、robots.txt文件是一个文本文件，使用任何一个常见的文本编辑器，比如Windows系统自带的Notepad，就可以创建和编辑它。robots.txt是一个协议，而不是一个命令。robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。
3、robotx.txt是一种用于限制搜索引擎爬虫访问网站的文件。通常，网站管理员可以将不希望搜索引擎访问的内容，包括网站目录下的文件、HTML文件、CSS文件和JavaScript文件，添加到robotx.txt文件中。写robotx.txt文件的好处包括：控制搜索引擎访问：robotx.txt文件可以帮助网站管理员控制搜索引擎如何访问网站。
4、这个文件用于指定spider在您网站上的抓取范围，一定程度上保护站点的安全和隐私。同时也是网站优化利器，例如屏蔽捉取站点的重复内容页面。robots.txt目前并不是一种标准，只是一种协议！所以现在很多搜索引擎对robots.txt里的指令参数都有不同的看待。
5、通过给网站设置适当的robots.txt对Google和百度seo优化的作用是很明显的。WordPress博客网站也一样。
6、网页内容互异性原则”。采用robots.txt文件可以屏蔽掉次要的链接。网站改版或URL重写优化时原来不符合搜索引擎友好的链接需要全部屏蔽掉。采用robots.txt文件删除旧的链接符合搜索引擎友好。一些没有关键词的页面，比如本站的这个页面，屏蔽掉更好。一般情况下，站内的搜索结果页面屏蔽掉更好。
