第十节:深入解读robots.txt文件,让网站更受搜索引擎喜欢

2015-10-22 12:25:13
第一课程网
1kecheng.com
摘要:咱们在讲robots.txt概念的时候,留下一个问题:
为什么SEOWQ的robots.txt写得那么复杂?
SEOWQ的robots.txt:www.seowq.com/robots.txt

这样做的目的是,让搜索引擎看

咱们在讲robots.txt概念的时候,留下一个问题:ytr站长课程_免费SEO教程_第一课程网_渴成网

为什么SEOWQ的robots.txt写得那么复杂?ytr站长课程_免费SEO教程_第一课程网_渴成网

SEOWQ的robots.txt:www.seowq.com/robots.txtytr站长课程_免费SEO教程_第一课程网_渴成网

ytr站长课程_免费SEO教程_第一课程网_渴成网

这样做的目的是,让搜索引擎看来网站更规范和权威。ytr站长课程_免费SEO教程_第一课程网_渴成网

ytr站长课程_免费SEO教程_第一课程网_渴成网

1、用robots.txt屏蔽相似的页面或没内容的页面。ytr站长课程_免费SEO教程_第一课程网_渴成网

我们知道,搜索引擎收录网页后,会对网页进行“审核”,当网页的相似度很高时,会删除其中一个。ytr站长课程_免费SEO教程_第一课程网_渴成网

ytr站长课程_免费SEO教程_第一课程网_渴成网

比如以下这两个链接,内容其实差不多,所以第一个链接应该屏蔽。ytr站长课程_免费SEO教程_第一课程网_渴成网

http://www.seowq.com/bbs/redirect.php?tid=5167&goto=lastpost#lastpostytr站长课程_免费SEO教程_第一课程网_渴成网

http://www.seowq.com/bbs/thread-5167-1-1.htmlytr站长课程_免费SEO教程_第一课程网_渴成网

第一个的链接非常多,屏蔽时,只要屏蔽/bbs/redirect.php? 就屏蔽了所有的。ytr站长课程_免费SEO教程_第一课程网_渴成网

代码如:Disallow: /bbs/redirect.php?ytr站长课程_免费SEO教程_第一课程网_渴成网

ytr站长课程_免费SEO教程_第一课程网_渴成网

类似这样的页面,没有内容,也应该屏蔽:ytr站长课程_免费SEO教程_第一课程网_渴成网

http://www.seowq.com/index.php?sid=247304&lang=zh&action=writecomment&id=77&artlang=zhytr站长课程_免费SEO教程_第一课程网_渴成网

这样的链接也很多,屏蔽时,只要屏蔽/index.php?sid= 就屏蔽了所有的。ytr站长课程_免费SEO教程_第一课程网_渴成网

代码如:Disallow: /index.php?sid=ytr站长课程_免费SEO教程_第一课程网_渴成网

ytr站长课程_免费SEO教程_第一课程网_渴成网

2、用robots.txt屏蔽多余的链接,当动态和静态共存时,一般去掉动态的。ytr站长课程_免费SEO教程_第一课程网_渴成网

网站中经常会存在多个链接指向同一个页面,这种情况普遍存在时,会让搜索引擎对网站的权威性产生怀疑。ytr站长课程_免费SEO教程_第一课程网_渴成网

通过robots.txt把非主要的链接去掉。ytr站长课程_免费SEO教程_第一课程网_渴成网

ytr站长课程_免费SEO教程_第一课程网_渴成网

比如以下两个链接指向同样的页面,去掉次要的第一个。ytr站长课程_免费SEO教程_第一课程网_渴成网

http://www.seowq.com/bbs/space.php?username=SEOWQytr站长课程_免费SEO教程_第一课程网_渴成网

http://www.seowq.com/bbs/space-uid-15.htmlytr站长课程_免费SEO教程_第一课程网_渴成网

代码如:Disallow: /space.php?username=ytr站长课程_免费SEO教程_第一课程网_渴成网

ytr站长课程_免费SEO教程_第一课程网_渴成网

但需要注意的是,首页一般有这么几个链接:www.seowq.com  www.seowq.com/index.html  等,这个时候,不要屏蔽 index.html。ytr站长课程_免费SEO教程_第一课程网_渴成网

因为如index.html index.php 等是默认首页,屏蔽可能导致蜘蛛爬取错乱。ytr站长课程_免费SEO教程_第一课程网_渴成网

咱们需要做的是,在给首页做站内外链接时,统一用不带index.html 的http://www.seowq.com/  即可。这是URL标准化的概念。ytr站长课程_免费SEO教程_第一课程网_渴成网

ytr站长课程_免费SEO教程_第一课程网_渴成网

3、用robots.txt屏蔽死链接。ytr站长课程_免费SEO教程_第一课程网_渴成网

死链接就是原来存在,后来因为改版或更新等缘故删除了的链接和网页。ytr站长课程_免费SEO教程_第一课程网_渴成网

比如,原来在某个目录(假设目录为/tempweb/)下的所有链接,因为改版现在都变为死链接了,可以用robots.txt屏蔽。ytr站长课程_免费SEO教程_第一课程网_渴成网

代码如:Disallow: /tempweb/ytr站长课程_免费SEO教程_第一课程网_渴成网

ytr站长课程_免费SEO教程_第一课程网_渴成网

4、用robots.txt屏蔽可能存在的“被K”外部链接。ytr站长课程_免费SEO教程_第一课程网_渴成网

很多网站(如豆瓣九点首页上的链接)允许用户放自己的网站链接,但因为过多的“被K”外部链接可能连累自己。ytr站长课程_免费SEO教程_第一课程网_渴成网

所以,我们把所有外部链接放入一个链接目录下,然后通过robots.txt统一屏蔽。ytr站长课程_免费SEO教程_第一课程网_渴成网

如:http://9.douban.com/ 这上面的所有外部链接(鼠标放在每个链接之上,可以看到链接格式如:http://9.douban.com/site/entry/187856285/view),都在http://9.douban.com/site/entry/ 下面。ytr站长课程_免费SEO教程_第一课程网_渴成网

所以其Robots.txt文件(地址:http://9.douban.com/robots.txt)采用屏蔽代码如:Disallow: /site/entry/ 就防止了因为指向“被K外连”而遭殃。ytr站长课程_免费SEO教程_第一课程网_渴成网

ytr站长课程_免费SEO教程_第一课程网_渴成网

如果你对Disallow:的具体操作办法不是很清楚,你可以在百度官方提供的robots.txt使用指南学习:http://www.baidu.com/search/robots.htmlytr站长课程_免费SEO教程_第一课程网_渴成网

也可以从这里了解我们的基础教程:http://web.1kecheng.com/html/58.htmlytr站长课程_免费SEO教程_第一课程网_渴成网

 

发表评论 共有条评论