网站日志的详细分析(带样板)

2015-10-26 16:48:22
第一课程网
1kecheng.com
摘要:本文在你进行SEO工作之后会用到。
1、网站刚上线,看搜索引擎蜘蛛的抓取情况;
2、网站收录异常,对比日志中蜘蛛的行为情况;
3、解决网站被封问题时,观察日志情况。

网站日志是网站管理员和搜索引擎对话沟通的途径。通过日志,了解搜索引擎蜘蛛的访问情况。

下载日志:
通过FTP访问网站的根目录。可以看到一个包

本文在你进行SEO工作之后会用到。Uou站长课程_免费SEO教程_第一课程网_渴成网

1、网站刚上线,看搜索引擎蜘蛛的抓取情况;Uou站长课程_免费SEO教程_第一课程网_渴成网

2、网站收录异常,对比日志中蜘蛛的行为情况;Uou站长课程_免费SEO教程_第一课程网_渴成网

3、解决网站被封问题时,观察日志情况。Uou站长课程_免费SEO教程_第一课程网_渴成网

Uou站长课程_免费SEO教程_第一课程网_渴成网

网站日志是网站管理员和搜索引擎对话沟通的途径。通过日志,了解搜索引擎蜘蛛的访问情况。Uou站长课程_免费SEO教程_第一课程网_渴成网

Uou站长课程_免费SEO教程_第一课程网_渴成网

下载日志:Uou站长课程_免费SEO教程_第一课程网_渴成网

通过FTP访问网站的根目录。可以看到一个包含log的文件夹,这是存放日志的地方。Uou站长课程_免费SEO教程_第一课程网_渴成网

如图:Uou站长课程_免费SEO教程_第一课程网_渴成网

Uou站长课程_免费SEO教程_第一课程网_渴成网

Uou站长课程_免费SEO教程_第一课程网_渴成网

下载查看:Uou站长课程_免费SEO教程_第一课程网_渴成网

下载、解压、打开日志文件。Uou站长课程_免费SEO教程_第一课程网_渴成网

日志文件内容如:Uou站长课程_免费SEO教程_第一课程网_渴成网

61.135.168.22 - - [11/Jan/2009:04:02:45 +0800] "GET /bbs/thread-7303-1-1.html HTTP/1.1" 200 8450 "-" "Baiduspider+(+http://www.baidu.com/search/spider.htm)"   (注:百度,这部分为本文添加)Uou站长课程_免费SEO教程_第一课程网_渴成网

203.208.60.43 - - [11/Jan/2009:04:02:43 +0800] "GET /sns/space-13563-do-friend-view-me.html HTTP/1.1" 200 5162 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"   (注:Google)Uou站长课程_免费SEO教程_第一课程网_渴成网

202.160.178.21 - - [11/Jan/2009:04:02:44 +0800] "GET /sns/space.php?uid=323 HTTP/1.0" 200 7535 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp China;http://misc.yahoo.com.cn/help.html)"   (注:雅虎)Uou站长课程_免费SEO教程_第一课程网_渴成网

65.55.220.217 - - [11/Jan/2009:04:02:57 +0800] "GET /ucenter/avatar.php?uid=12373&size=small&type=virtual HTTP/1.1" 301 - "-" "msnbot-media/1.1 (+http://search.msn.com/msnbot.htm)"   (注:MSN)Uou站长课程_免费SEO教程_第一课程网_渴成网

Uou站长课程_免费SEO教程_第一课程网_渴成网

日志文件样板全文下载:Uou站长课程_免费SEO教程_第一课程网_渴成网

http://web.1kecheng.com/faq/ziliao/wwwlog20090112.logUou站长课程_免费SEO教程_第一课程网_渴成网

Uou站长课程_免费SEO教程_第一课程网_渴成网

分析日志:Uou站长课程_免费SEO教程_第一课程网_渴成网

蜘蛛名称:百度->baiduspider、Google ->Googlebot、Msn ->msnbot、yahoo ->Slurp、yodao ->YoudaoBot、sogou ->Sogou+get+spiderUou站长课程_免费SEO教程_第一课程网_渴成网

在日志文件里,搜索以上蜘蛛名称。就可以看到蜘蛛抓取的痕迹。Uou站长课程_免费SEO教程_第一课程网_渴成网

我们分析的主要点是,HTTP状态码,如以上的200和301。Uou站长课程_免费SEO教程_第一课程网_渴成网

" 200 5162 " 代表正常抓取,这次抓取了5162个字节。Uou站长课程_免费SEO教程_第一课程网_渴成网

Uou站长课程_免费SEO教程_第一课程网_渴成网

不同的服务器或虚拟主机设置的日志记录内容不同。Uou站长课程_免费SEO教程_第一课程网_渴成网

有的如:200 0 33834 237 953  我们通过多看几条记录,观察规律,可以判断第三个数字代表字节数。Uou站长课程_免费SEO教程_第一课程网_渴成网

有的如:200 0 0或200 0 64  这是没有记录抓取字节数。注意:200 0 0和200 0 64 没代表什么问题。所谓200 0 64代表要被K的言论没有根据,一般的网站都有64代码。Uou站长课程_免费SEO教程_第一课程网_渴成网

Uou站长课程_免费SEO教程_第一课程网_渴成网

在日志里,发现比较多的HTTP状态码是,200(正常)、304(没变化)、404(错误链接)。Uou站长课程_免费SEO教程_第一课程网_渴成网

304代表,自从上次抓取后,该内容没有更新。一般情况下,网站的图片经常会返回该值。Uou站长课程_免费SEO教程_第一课程网_渴成网

404代表,访问的这个链接是错误链接。这个错误链接,一方面来自原本存在后来删除了网页,另一方面可能来自本来就不存在,但其他人外链了这么个死链接。Uou站长课程_免费SEO教程_第一课程网_渴成网

Uou站长课程_免费SEO教程_第一课程网_渴成网

返回开篇问题:Uou站长课程_免费SEO教程_第一课程网_渴成网

1、网站刚上线,看搜索引擎蜘蛛的抓取情况;Uou站长课程_免费SEO教程_第一课程网_渴成网

如果网站提交给搜索引擎2天后,发现日志里蜘蛛不少,并都返回200,则说明已经可以正常收录。Uou站长课程_免费SEO教程_第一课程网_渴成网

只是Google展示的时间比较快,而百度则需要20天左右(经验平均值)展示出来。Uou站长课程_免费SEO教程_第一课程网_渴成网

Uou站长课程_免费SEO教程_第一课程网_渴成网

2、网站收录异常,对比日志中蜘蛛的行为情况;Uou站长课程_免费SEO教程_第一课程网_渴成网

收录正常增加时和现在异常时的日志,进行对比分析。如果没有异常,则应该是搜索引擎展示数据库出问题所致。Uou站长课程_免费SEO教程_第一课程网_渴成网

如果蜘蛛爬取量明显减少,观察是否外链突然减少很多。Uou站长课程_免费SEO教程_第一课程网_渴成网

如果日志依然,则认为是搜索引擎的展示问题。Uou站长课程_免费SEO教程_第一课程网_渴成网

Uou站长课程_免费SEO教程_第一课程网_渴成网

3、解决网站被封问题时,观察日志情况。Uou站长课程_免费SEO教程_第一课程网_渴成网

网站被封时,往往日志里有百度蜘蛛,但很少,而且往往只访问robots.txt文件和首页。Uou站长课程_免费SEO教程_第一课程网_渴成网

经过这里的建议http://web.1kecheng.com/html/115.html修改后,再提交给百度,之后的2天观察日志情况。Uou站长课程_免费SEO教程_第一课程网_渴成网

如果一直这样的情况维持1个月,可以考虑放弃该域名。Uou站长课程_免费SEO教程_第一课程网_渴成网

如果蜘蛛明显增加,而且返回200居多,则收录的希望很大,时间问题。Uou站长课程_免费SEO教程_第一课程网_渴成网

Uou站长课程_免费SEO教程_第一课程网_渴成网

本文相关:Uou站长课程_免费SEO教程_第一课程网_渴成网

FTP的工具下载和使用指南: http://web.1kecheng.com/html/35.htmlUou站长课程_免费SEO教程_第一课程网_渴成网

日志文件有时非常大,用记事本打不开,可以使用这个工具: http://web.1kecheng.com/html/116.htmlUou站长课程_免费SEO教程_第一课程网_渴成网

HTTP状态码更多知识:http://web.1kecheng.com/html/60.htmlUou站长课程_免费SEO教程_第一课程网_渴成网

Uou站长课程_免费SEO教程_第一课程网_渴成网

Uou站长课程_免费SEO教程_第一课程网_渴成网

相关疑问:Uou站长课程_免费SEO教程_第一课程网_渴成网

Uou站长课程_免费SEO教程_第一课程网_渴成网

1、日志分析工具可以用哪些?Uou站长课程_免费SEO教程_第一课程网_渴成网

可以在百度搜索下光年日志分析工具 或 金花日志分析工具。Uou站长课程_免费SEO教程_第一课程网_渴成网

Uou站长课程_免费SEO教程_第一课程网_渴成网

2、提供的样板日志文件里的 http://bsalsa.com/  是什么?Uou站长课程_免费SEO教程_第一课程网_渴成网

这是一个浏览器插件开发商,日志里有这个代表,采用该插件的用户访问过你的网站。这个不用理会。Uou站长课程_免费SEO教程_第一课程网_渴成网

Uou站长课程_免费SEO教程_第一课程网_渴成网

3、我的网站怎么没有日志文件?Uou站长课程_免费SEO教程_第一课程网_渴成网

这个需要主机服务商开通。请联系空间商的技术Uou站长课程_免费SEO教程_第一课程网_渴成网

Uou站长课程_免费SEO教程_第一课程网_渴成网

4、我的日志里怎么都没有蜘蛛?Uou站长课程_免费SEO教程_第一课程网_渴成网

很大的可能是,主机没有记录蜘蛛的功能。请看下同主机下其他站点的收录情况是否正常。Uou站长课程_免费SEO教程_第一课程网_渴成网

如果是win的主机,具体情况如下:Uou站长课程_免费SEO教程_第一课程网_渴成网

分析日志,发现日志格式不大一样,几天下来就是没有搜索引擎爬虫的痕迹,类似于Baiduspider+怎么都看不到,问空间商,空间商也不知道,后来终于知道原来是虚拟空间商那边IIS设置不对,在IIS日志记录属性下的“高级”选项卡下,勾选用户代理(cs(User-Agent))等选项就可以了,否则无法在日志中无法找到蜘蛛的影子Uou站长课程_免费SEO教程_第一课程网_渴成网

由于无法上传图片,所以就没有上传图片过来,具体可以搜索IIS日志设置Uou站长课程_免费SEO教程_第一课程网_渴成网

Uou站长课程_免费SEO教程_第一课程网_渴成网

Uou站长课程_免费SEO教程_第一课程网_渴成网

5、好像日志里收录了,但不一定展示出来?Uou站长课程_免费SEO教程_第一课程网_渴成网

是的。我们可以看到百度蜘蛛和google机器人访问很频繁,但不一定他们都展示出来。Uou站长课程_免费SEO教程_第一课程网_渴成网

这个目前没有解决办法。但只要它们频繁访问和正常抓取,一切就会很正常。Uou站长课程_免费SEO教程_第一课程网_渴成网

Uou站长课程_免费SEO教程_第一课程网_渴成网

6、发现日志里蜘蛛情况和之前都一样,但最近收录或排名发生变化,是怎么回事?Uou站长课程_免费SEO教程_第一课程网_渴成网

这应该属于搜索引擎数据库变更,可以说没有具体对网站进行如何改进来挽救的明显有效措施。Uou站长课程_免费SEO教程_第一课程网_渴成网

Uou站长课程_免费SEO教程_第一课程网_渴成网

7、日志文件几十M,太大了,用什么打开比较合适?Uou站长课程_免费SEO教程_第一课程网_渴成网

可以采用 editplus  这个工具。下载地址: http://web.1kecheng.com/html/116.htmlUou站长课程_免费SEO教程_第一课程网_渴成网

 

发表评论 共有条评论