《關(guān)于robots.txt無法禁止收錄的小看法》文章地址：http://www.tfxk.com/wangyesheji/jianzhanjingyan/030233RH013.htm
Tag：   robots.txt   禁止收錄       robots.txt   禁止收錄    

這句話咋一看有些令人費解，但據(jù)筆者的見解，還是很有可能的。

有一個很官方的說法是這樣的：網(wǎng)站robots.txt中對某個網(wǎng)頁屏蔽了蜘蛛的收錄，但搜索引擎還是會對該網(wǎng)頁進行抓取，只不外在相關(guān)搜索結(jié)果中不會展現(xiàn)這些網(wǎng)頁內(nèi)容。

而實際情況是，網(wǎng)站在robots,關(guān)于IE緩存的解決方案(HTML,JSP,ASP,PHP,C#).txt禁止了蜘蛛對某個類型url網(wǎng)頁的收錄,關(guān)于HTML5和CSS3的國際化支持，但在用搜索引擎高等命令site查問收錄情況是發(fā)明，搜索引擎并不服從robots,關(guān)于DIV高度自動伸展的問題.txt中的規(guī)則,關(guān)于DIV+CSS和XHTML+CSS的理解。大局部時候，搜索引擎確實能依照網(wǎng)站robots.txt中所寫的規(guī)則對這些網(wǎng)頁不進行收錄。但搜索引擎視robots.txt中的規(guī)矩為無物的情況也是確切存在的。

在網(wǎng)站seo優(yōu)化的進程中經(jīng)常需要通過一個名為robots.txt的文件與搜索引擎蜘蛛對話。通常來講，搜索引擎蜘蛛匍匐到某一個網(wǎng)站就會首先讀取該文件，并按照文件中的規(guī)則履行接下來的行動。

豈非這樣就能既通過搜索引擎謀利，又避開了搜索引擎的監(jiān)管嗎？實在不然，上文中說到搜索引擎為了良好的用戶休會，必然會對已收錄或者將要收錄的網(wǎng)站進行全面的了解（不論當(dāng)初搜索引擎做的是否完美）。

當(dāng)然，也有可能存在網(wǎng)站robots.txt寫法呈現(xiàn)過錯的可能，但此文樹立在準(zhǔn)確撰寫robots.txt的條件下。

那好，既然搜索引擎要了解網(wǎng)站，又怎么能對robots.txt中屏蔽的頁面熟視無睹呢？明著對著搜索引擎裝純粹，背地里暗暗的搞一些非法勾當(dāng)。我想，這種情況搜索引擎不會不斟酌到。所以了，即便你的網(wǎng)站robots.txt中明白的對某些頁面禁止蜘蛛的爬行，但搜索引擎總還是要“檢討”一下的。不然又怎么全面的了解網(wǎng)站的優(yōu)劣呢？

當(dāng)一個網(wǎng)站中有一些網(wǎng)站不需要被搜索引擎收錄時，往往就會通過robots.txt來限度搜索引擎蜘蛛對這個網(wǎng)頁的抓取。比方說，當(dāng)網(wǎng)站涌現(xiàn)?replytocom反復(fù)收錄，或者某些不需要被收錄并分享權(quán)重的頁面等等。從這個方面來講，robots.txt束縛了搜索引擎的行為。

因為網(wǎng)站robots.txt屏蔽網(wǎng)頁仍舊收錄的情況存在著較大的不斷定因素，所以很遺憾筆者無法進行實際的試驗對該情況進行檢測,關(guān)于CSS通配符 問題。同時筆者自以為只是剛開端學(xué)習(xí)seo的菜鳥，所以筆者的觀點并不必定正確無誤。筆者衷心盼望各位seo優(yōu)化先輩、達人能給予指導(dǎo)跟交換，謝謝。

--> [網(wǎng)站建設(shè)之]對于robots.txt無奈禁止收錄的小見地

打個比喻，如果要做一個非法的網(wǎng)站,關(guān)于CSS選擇器class與ID的區(qū)別，先假設(shè)網(wǎng)站內(nèi)容沒有被監(jiān)管部分查到，也不考慮以下這個方式的好壞與否。當(dāng)然，假如直接采取相關(guān)的癥結(jié)詞做網(wǎng)站seo優(yōu)化，在得到更高曝光率的同時也大大增添了被查封的可能性。更何況這些非法內(nèi)容也不一定不會被搜索引擎屏蔽。

那只有將這些頁面進行暗藏，至少不能在一般搜索成果中展示出來。不然，網(wǎng)站robots.txt豈不僅成陳設(shè)？

所以，當(dāng)發(fā)現(xiàn)搜索引擎照舊對網(wǎng)站robots,關(guān)于CSS網(wǎng)頁布局id與class的命名.txt屏蔽的網(wǎng)頁進行收錄時不必過于緩和。搜索引擎只是想要充足的了解網(wǎng)站情況。但必需要確保robots.txt規(guī)則正確書寫。個別情況,關(guān)于CSS控制表格文字樣式的研究，搜索引擎都會對禁止抓取的網(wǎng)頁進行刪除，或者說是“隱蔽”的。

這時，通過大批的健康的內(nèi)容做網(wǎng)站的seo排名。通過健康的要害詞使網(wǎng)站取得大量流量，而后在這些健康的內(nèi)容上帶上非法信息的鏈接進口。當(dāng)然，這樣的鏈接必定要應(yīng)用網(wǎng)站的robots.txt對搜尋引擎蜘蛛進行屏蔽，同時將所有的非法內(nèi)容頁面也同樣的制止收錄。

首先,關(guān)于CSS Hack與float閉合（清除浮動），搜索引擎的發(fā)展基本是向搜索用戶展現(xiàn)用戶所須要的、健康的、優(yōu)質(zhì)的內(nèi)容。在收錄并返回相干搜索結(jié)果之前，搜索引擎必然要對這些網(wǎng)站進行相應(yīng)的懂得，然后在衡量是否將其收錄并給予如何的排名。

好吧，要查看網(wǎng)頁的情形當(dāng)然先要抓取進入搜索引擎的服務(wù)器，再進行斷定了。既然搜索引擎對網(wǎng)站robots.txt中屏蔽的頁面仍是進行了抓取并查看，那么，又要如何體現(xiàn)robots.txt的作用呢,關(guān)于404頁的一些認識總結(jié)？

(責(zé)任編輯：網(wǎng)站建設(shè))
關(guān)于robots.txt無法禁止收錄的小看法相關(guān)文章