手工分析日志都是比較干燥的，有時(shí)會(huì)影響心境，不外現(xiàn)在工具繁盛的年代，我們也借助工具來(lái)到達(dá)事半功倍。
然后在你需要測(cè)試的頁(yè)面中，把下面的代碼片段復(fù)制到你網(wǎng)站相應(yīng)的html中即可，
3， 特別情況的蜘蛛
網(wǎng)站訪問(wèn)日志是記載web服務(wù)器接受處置懇求以及運(yùn)行時(shí)過(guò)錯(cuò)等各種原始信息的以.log結(jié)尾的文件，確實(shí)的講，應(yīng)當(dāng)是服務(wù)器日志。它的作用是讓我們seoer可以明白的得悉用戶在什么IP、什么時(shí)光、用什么操作體系、什么閱讀器、什么辨別率顯示器的情況下訪問(wèn)了你網(wǎng)站的哪個(gè)頁(yè)面，是否訪問(wèn)勝利。
1) cdn加速后，造成ip凌亂。
注意：對(duì)虛實(shí)蜘蛛的分辨必定要多方面斟酌，切勿只拿ip來(lái)斷定就判斷真?zhèn)巍?/p>
一、多元測(cè)試谷歌網(wǎng)站優(yōu)化如何實(shí)現(xiàn)
曾記得在幾年前，筆者剛接觸seo的時(shí)候，工具稀疏的年代，筆記一直都喜歡手工
原創(chuàng)文章起源： 轉(zhuǎn)載請(qǐng)保存有效的鏈接地址，謝謝!
2-3點(diǎn)爬行3次
為什么會(huì)涌現(xiàn)真假蜘蛛，重要是因?yàn)楫?dāng)初信息繁盛，很多采集工具為不讓對(duì)方發(fā)現(xiàn)本人的痕跡都模仿蜘蛛的痕跡來(lái)下載數(shù)據(jù)源。所以會(huì)造成很多seoer誤認(rèn)為蜘蛛大批的抓取頁(yè)面卻發(fā)現(xiàn)收錄并未增添的景象。下面筆者告知大家比較輕易識(shí)別真假蜘蛛和一些特別注意的處所。
注意：任何蜘蛛都僅僅為網(wǎng)站的一般用戶。不要認(rèn)為蜘蛛十分的強(qiáng)盛，很多人還認(rèn)為網(wǎng)站若制止登錄查看內(nèi)容，蜘蛛都能爬取登陸后的頁(yè)面內(nèi)容，這是不可能的。除非網(wǎng)站做了蜘蛛專屬手腕。
2) 百度匿名蜘蛛的存在性討論。
筆者會(huì)把每日的蜘蛛訪問(wèn)時(shí)間按時(shí)間段排序統(tǒng)計(jì)成報(bào)表，
最后以上就是筆者最近在剖析所服務(wù)的網(wǎng)站 ---小蘇，跟我接洽，一起探討!三人行必有我?guī)?，?dú)特提高!
3-4點(diǎn)匍匐10次
第二種：可能是百度的上班族們?cè)诠驹L問(wèn)了你的網(wǎng)站，百度員工也是人，他們也有七情六欲，或者你的網(wǎng)站被他們某人發(fā)明了，訪問(wèn)了你的網(wǎng)站后，從而留下了百度ip，造成了曲解。(其實(shí)百度很多部門都是一直在做收集客戶資料的，好比網(wǎng)盟部分)
鑒于技術(shù)有限，這項(xiàng)功能的實(shí)現(xiàn)還有待進(jìn)一步的擴(kuò)大和研究，然而筆者信任，對(duì)于seo優(yōu)化而言，谷歌網(wǎng)站優(yōu)化工具的這項(xiàng)講演功能將會(huì)助力seo,網(wǎng)頁(yè)制作報(bào)價(jià)。
什么是訪問(wèn)日志
比如：2012-4-18 1-2點(diǎn)爬行5次
25269 為頁(yè)面字節(jié)數(shù)。
Sogou web spider/4.0(+ 為搜狗蜘蛛特征。
此類情況出現(xiàn)一般是網(wǎng)站在做了cdn加速后，再去查看apache服務(wù)器的訪問(wèn)日志的時(shí)候發(fā)現(xiàn)很多蜘蛛的痕跡ip都異常的相似，如果依照百度官方出的鑒別伎倆nslookup ip 后確定為匿名，因?yàn)檫@些ip都是cdn節(jié)點(diǎn)ip，所以會(huì)造成誤會(huì)。若開(kāi)啟cdn后，蜘蛛實(shí)際訪問(wèn)次數(shù)一般都<=日志中蜘蛛總數(shù)值。
如果你仔細(xì)的話可以做個(gè)走勢(shì)圖就無(wú)比直觀。這種統(tǒng)計(jì)正常都是在網(wǎng)站剛樹(shù)立后和網(wǎng)站出異常后增強(qiáng)分析日志，日常經(jīng)營(yíng)中，更多重視的是分析出蜘蛛逐日的爬行法則而后定時(shí)的放出充量文章，增長(zhǎng)收錄。
下面是從筆者日常分析的日志中取的一條訪問(wèn)記載：
1、上風(fēng)：便利測(cè)試各種seo優(yōu)化數(shù)據(jù);簡(jiǎn)單的操作和技術(shù)實(shí)現(xiàn)便于操作。
近期筆者對(duì)大概50多位剛從事或已經(jīng)從事1-2年的seoer做了個(gè)小考察，其中包括很多口試者，真正在工作中能分析到日志的seoer比例非常非常的少，在問(wèn)到訪問(wèn)日志在seo所起到的作用，很多seoer都直搖頭，或者僅僅知道一些皮毛并未親手操作過(guò)，其主要起因仍是在公司平臺(tái)中并未有機(jī)遇去實(shí)際，下面筆者分享下自己對(duì)網(wǎng)站原始訪問(wèn)日志的意識(shí)：
第一種：如果真的存在匿名蜘蛛，這很顯明與lee的話有悖。所以這點(diǎn)我們可以去辯證的去懂得，如果存在，匿名蜘蛛會(huì)做什么，許多seoer包含筆者都猜想可能會(huì)存在用此類蜘蛛去驗(yàn)證網(wǎng)站是否對(duì)蜘蛛與用戶做了不同的待遇。所以此種情況，做賊就不要心虛嘛，老誠(chéng)實(shí)實(shí)做站吧。
GET /bbjk/index.html HTTP/1.0 根據(jù)HTTP/1.1 協(xié)定 抓取(域名下)/bbjk/index.html 這個(gè)頁(yè)面(GET表現(xiàn)服務(wù)器動(dòng)作)
220.181.108.96 - - [07/Apr/2012:01:22:21 +0800] "GET /site/sex/index.php HTTP/1.1" 302 20 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +
不論哪個(gè)網(wǎng)站，即便seo優(yōu)化技巧很完善，甚至渾然一體，但總會(huì)存在毛病跟不足，所以及時(shí)有效的對(duì)網(wǎng)站進(jìn)行診斷是seo優(yōu)化工作者不可缺乏的內(nèi)容之一，抉擇一個(gè)谷歌網(wǎng)站優(yōu)化工具可以從多方面曉得網(wǎng)站優(yōu)化的各項(xiàng)功效，它可以輔助你實(shí)現(xiàn)，想要測(cè)試的內(nèi)容。
這是筆者某網(wǎng)站的日志片斷，我拿出ip，在win系統(tǒng)下cmd登錄dos框下輸入nslookup 220.181.108.96 查看回顯：
10/Apr/2012:00:04:54 +0800 為訪問(wèn)日期 -時(shí)區(qū)
筆者比較推舉的是光年日志分析工具。該工具非常簡(jiǎn)單，筆者不在此演示，有興趣的自己百度，它的長(zhǎng)處在于能在生成的呈文中清楚的告訴我們蜘蛛爬行異常，與頁(yè)面抓取痕跡。比如404. 獨(dú)一遺憾的是目前筆者還未找到一款工具帶有分析蜘蛛爬行規(guī)律天生走勢(shì)圖的工具。
假蜘蛛比較經(jīng)典的就是chinaz的查問(wèn)工具了，他就是模擬百度蜘蛛的，他的ip為125.90.88.96 我們反查后并未出現(xiàn)百度域名。有興致的可以nslookup 125.90.88.96下，筆者就不截圖了。
怎么去分析網(wǎng)站訪問(wèn)日志
2， 假蜘蛛
首先，選定測(cè)試目的，可以取舍你想要測(cè)試的頁(yè)面，可以挑選某個(gè)頁(yè)面中的某個(gè)頁(yè)面片段，或是您的優(yōu)化團(tuán)隊(duì)需要重點(diǎn)優(yōu)化的頁(yè)面局部，也可以是辨認(rèn)您的轉(zhuǎn)換/成功/目標(biāo)頁(yè)，只有是你所需要設(shè)定的頁(yè)面，任何一個(gè)都可以。
看著跟真的一樣，唯獨(dú)ip就是貓膩！
200 服務(wù)器響應(yīng)狀態(tài)碼
什么時(shí)候咱們須要去分析日志及日志特點(diǎn)
筆者現(xiàn)在手工分析一般都集中在研討每日蜘蛛在網(wǎng)站上爬行規(guī)律與網(wǎng)站更新數(shù)據(jù)之間的關(guān)聯(lián)。當(dāng)然每個(gè)網(wǎng)站需依據(jù)自己來(lái)視察，最后會(huì)有一個(gè)非常完美的規(guī)律。
119.254.22.200 - - [10/Apr/2012:00:04:54 +0800] "GET /bbjk/index.html HTTP/1.0" 200 25269 "-" "Sogou web spider/4.0(+
真假蜘蛛辨別
如上圖，若是百度蜘蛛，他會(huì)直接回顯百度的域名。
3、只能跟蹤一個(gè)轉(zhuǎn)換點(diǎn)，如果你想跟蹤多個(gè)轉(zhuǎn)換點(diǎn)，你可以針對(duì)每個(gè)轉(zhuǎn)換點(diǎn)進(jìn)行標(biāo)志。
1， 真蜘蛛
二、多元測(cè)試谷歌網(wǎng)站優(yōu)化利弊衡量
去分析拜訪日志，當(dāng)然手工分析很費(fèi)時(shí)費(fèi)勁，再這里只講授下筆者最愛(ài)好手工分析日志中的多少點(diǎn)。
匿名蜘蛛？百度工程師lee始終強(qiáng)調(diào)百度蜘蛛是不會(huì)匿名去訪問(wèn)網(wǎng)站的，但筆者從網(wǎng)上查閱材料，加上筆者某個(gè)站的數(shù)據(jù)揣測(cè)，筆者以為會(huì)有兩種情形:
我們會(huì)每天都去分析日志嗎?不會(huì)的，由于日志分析比較單調(diào)，個(gè)別都是每月或者半月分析一次,成都網(wǎng)頁(yè)設(shè)計(jì)。這種分析屬于日常分析，假如你的網(wǎng)站一直都比擬畸形那可以每月分析一次，或者能夠簡(jiǎn)略的分析一次。
119.254.22.200 為用戶訪問(wèn)ip
實(shí)在日志更多是在網(wǎng)站呈現(xiàn)異樣的時(shí)候，會(huì)察看半個(gè)月日志，集中分析蜘蛛的動(dòng)向。比方會(huì)分析是不是網(wǎng)站404，robots設(shè)置異?；蛘邟祚R等問(wèn)題造成蜘蛛消散，逐兒去查找解決問(wèn)題。
2、缺陷：無(wú)奈把持流量變更之間數(shù)據(jù)測(cè)試;不能重置數(shù)據(jù)，如果想從新取得輸入一些新的數(shù)據(jù)內(nèi)容，必需重新設(shè)置這些字段，開(kāi)端一個(gè)新的記錄(倡議在重新開(kāi)始新的內(nèi)容之前，把之前的數(shù)據(jù)做一個(gè)記錄，以保障全部?jī)?yōu)化進(jìn)程數(shù)據(jù)的完全性)
留神：在日志分析中，良多時(shí)候我們都是想從日志中尋找到問(wèn)題，以便改良我們的本身的問(wèn)題，所以需要特殊關(guān)注404,301等狀況碼。
普通假蜘蛛的存在情勢(shì)為：XXX.XXX.XXX.XXX - - [07/Apr/2012:01:22:21 +0800] "GET /site/sex/index.php HTTP/1.1" 302 20 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +