一般站长大多数会使用robots.txt文件，也知道robots.txt的作用。如果网站内容没有让搜索引擎不能抓取的内容，大可不必去理会robots.txt。
robots.txt是以.txt为后缀名的纯文本文件。当蜘蛛访问你网站的时候，首先看你网站上是否放有robots.txt文件。有的话会按照文件的内容来爬取该爬的网站内容。没有robots.txt文件，就直接抓取。
究竟robots.txt具体有些什么作用呢?
1 禁止对隐私文件抓取到数据库。比如：数据库，后台、程序。
2 robots.txt方便抓取网页内容的作用。
如果你的网站是个大型门户网站，页面和内容相当的多，但有相当大的一部分不想要搜索引擎索引，你就可以用robots.txt来控制，告诉搜索引擎哪些能抓，哪些不能抓这时robots.txt的作用就显现出来了。
3 robots.txt可以有效控制服务器的带宽的作用。
因为robots.txt的作用可以制止搜索引擎的索引，可以通过robots.txt的控制一些无效的抓取，就减少服务器带宽的承受力。
4、robots.txt的作用可以使排名不受影响。
如果网站上的内容有高度的重复内容，就会受到搜索引擎惩罚了，可以通过配置robots.txt来达到去除重复内容的目的，使一部分的内容不被索引。
以上是爱游戏·AYX(中国)股份有限公司有限公司北京网站建设部关于robots.txt的作用的分析
