优化Robotstxt扬己之长避己之短

t文件是一个简单的TXT文本，但是专注网站建设及网站优化的Seoer们都清楚它的重要性，它的存在可以将不希望搜索引擎抓取的页面屏蔽起来，也可以像是一张地图一样为蜘蛛带路指航。当蜘蛛爬行到一个站点时，首先访问的便是是不是存在t文件，然后依照内容中的指引来进行索引访问，如果文件不存在的话那末就依照页面中的链接进行顺序的访问。因此我们可以利用它来屏蔽一些不需要搜索引擎要索引的目录，或将网站地图在t中描写引导蜘蛛爬行，这样对网站安全性上或节省服务器带宽和引导索引都是非常给力的，可以说是到达了扬己之长避己之短的效果，以下我们做以具体分析：

1、利用t节省服务器带宽

一般来说站长很少去做这样一个设置，但是当服务器访问量大内容过于多的话就有必要做一个设置来节省服务器的带宽，如屏蔽：image这样的文件夹，对搜索引擎索引来讲没有甚么实际性的意义还浪费了大量的带宽。如果对一个图片网站来讲，消耗更是惊人的，所以利用t可以充分解决这一点。

2、保护网站安全目录

一般来说在设置t时都要把管理目录和数据库、备份目录设置进去，进制蜘蛛的爬行，否则容易造成数据的泄漏影响网站的安全。固然还有一些管理员不希望蜘蛛索引的其他目录，一样可以将其进行设置，这样来讲搜索引擎就可以严格的遵照这个规则来进行索引。

3、制止搜索引擎索引页面

一个网站总有一些不希望公众看到的页面，这个时候我们可以用t来进行设置，避免蜘蛛对其索引，如前段日子笔者网速比较慢结果更新了一篇文章，致使连续重复发布了3次，结果全部被搜索引擎索引，怎么办呢？重复的内容必定对网站优化是不好的，这时候便可以通过设置t来将过剩的页面屏蔽掉。

4、t链接网站地图

由于蜘蛛访问网站首先查看的便是t这个文件，那末我们可以将网站地图设置进去，更有利于蜘蛛索引最新的信息，而少走许多冤枉路。如显示专业网站建设公司引航科技的地图页：****/ l这样加到t中更是有利于搜索引擎的索引。也不用每天麻烦的到搜索引擎提交地图文件，不是很简便吗？

5、写法及注意事项

对t写法一定要规范，写法上忽视不注意的人并不在少数。首先来讲：User-agent:*是必须要写的，*表示针对所有搜索引擎。Disallow:（文件目录）不包括括号，表示制止搜索引擎索引的意思，一下举个例子具体说明：

示例1：

User-agent:*

Disallow:/

表示制止任何搜索引擎索引访问，

示例2：

User-agent:*

Disallow:/seebk

表示制止搜索引擎索引访问seebk目录

示例3：

User-agent:baiduspider

User-agent:*

Disallow:/

表示只允许百度蜘蛛堆砌索引访问：百度：baiduspider，谷歌：googlebot，搜搜：sosospider，alexa：ia_archiver，雅虎：Yahoo Slurp

示例4：

User-agent：*

Disallow：.jpg$

避免盗链jpg图片，如果你的带宽足够的话可以不设置。

后语：优化t扬己之长避己之短，做好t更容易网站顺畅优化发展，本文joyweb原创撰写！

南京癫痫病医院

哈尔滨最好的癫痫病医院

成都看癫痫病的医院