网站想要获得更好的排名，想要把更多的信息展示在搜索引擎上面，就需要搜索引擎蜘蛛的抓取，但是网站上面有一些信息和链接（死链、无关信息等）是不希望在搜索引擎展现的，那么当蜘蛛抓取的时候，做什么操作能够避免呢？

搜索引擎蜘蛛访问网站是，会首先查看网站根目录下有没有一个命名为robots.txt的文件，robots.txt用于指令搜索引擎禁止抓取网站某些内容或者指定抓取某些内容。

什么是robots文件？

搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider在访问一个网站时，首先会检查该网站的根域下是否有一个叫做 robots.txt的纯文本文件，

这个文件用于指定spider在您网站上的抓取范围。您可以在您的网站中创建一个robots.txt，在文件中声明。

该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。 请注意，仅当您的网站包含不希望被搜索引擎收录的内容时，才需要使用robots.txt文件。

robots文件适用于所有搜索引擎

robots.txt文件有什么具体作用?

1、屏蔽网站内的死链接。(网站改版后出现的死链、网站被攻击时来不及删除的目录文件和链接)

2、屏蔽搜索引擎蜘蛛抓取站点内重复内容和页面。

3、阻止搜索引擎索引网站隐私性的内容。(例如网站后台的登陆地址)

4、引导蜘蛛抓取网站地图

robots.txt文件怎样写?

一．User-agent：意思是定义搜索引擎类型

因为搜索引擎有好几种有：百度蜘蛛：Baiduspider;谷歌蜘蛛：Googlebot;360蜘蛛：360Spider;搜狗蜘蛛sogou spider

一般没有特殊要求的话，正确写法是：User-agent: * 意思是允许所有搜索引擎来抓取。这是robots.txt文件中第一行的写法。

二.Disallow：意思是定义禁止抓取的地址

就是禁止蜘蛛抓取的地址，在我们的网站是静态或伪静态的时候一般网站要禁止蜘蛛抓取动态路径(?)、.js、后台的文件等一些不想让蜘蛛抓取的文件。它的正确的写法如下：

Disallow: / 禁止蜘蛛抓取整站(一定不能这么写，这样会让所有搜索引擎不来抓取你的网站内容)

Disallow: /wp-admin/ 禁止抓取网站中带wp-admin的文件夹。

Disallow: /page/ 禁止抓取网站中带page的文件夹。

Disallow: /*?* 禁止抓取网站中的所有动态路径。

Disallow: /.js$ 禁止抓取网站中的所有带.js的路径。

Disallow: /*.jpeg$ 禁止抓取网站中所有jpeg图片

三、Allow：意思是定义允许抓取收录地址

这个就不需要多说了就是允许的意思，在robots文件中不写Allow意思就是默认的允许。因此大家没必要写上。

注意一定不要：千万不要写成这样

User-agent: *

Disallow:/

网站想要让所有的搜索引擎抓取，除了谷歌！

User-agent: *

Allow: /

User-agent: Googlebot

Disallow: /

一个网站并不是所有的内容都需要展现在搜索引擎上面，如正在改版、测试的页面，各种格式排版的页面、各种帅选条件的页面，这些页面一般都市数量很多，会过多消耗搜索引擎分配给这个网站的总抓取时间，从而造成一些真正有意义的页面没有被抓取和收录，所以网站日常优化中， robots.txt文件是不可或缺的。