藍(lán)藍(lán)設(shè)計(jì)( m.sillybuy.com )是一家專(zhuān)注而深入的界面設(shè)計(jì)公司，為期望卓越的國(guó)內(nèi)外企業(yè)提供有效的UI界面設(shè)計(jì)、BS界面設(shè)計(jì) 、 cs界面設(shè)計(jì) 、 ipad界面設(shè)計(jì) 、 包裝設(shè)計(jì) 、 圖標(biāo)定制 、 用戶(hù)體驗(yàn) 、交互設(shè)計(jì)、 網(wǎng)站建設(shè) 、平面設(shè)計(jì)服務(wù)

如果您想訂閱本博客內(nèi)容，每天自動(dòng)發(fā)到您的郵箱中， 請(qǐng)點(diǎn)這里

第一、常見(jiàn)蜘蛛：蜘蛛其實(shí)就是搜索引擎用來(lái)訪問(wèn)頁(yè)面的程序，英文叫spider，也稱(chēng)為機(jī)器人，英文為bot。有時(shí)候查看IIS日志就能看到各種蜘蛛訪問(wèn)網(wǎng)頁(yè)的情況，對(duì)網(wǎng)站的優(yōu)化起到一定的指導(dǎo)作用。當(dāng)蜘蛛訪問(wèn)一個(gè)網(wǎng)站時(shí)，會(huì)發(fā)出頁(yè)面訪問(wèn)請(qǐng)求并返回HTTP狀態(tài)碼，然后蜘蛛會(huì)把這些狀態(tài)碼存入自己的數(shù)據(jù)庫(kù)，為以后的各種計(jì)算做鋪墊。常見(jiàn)的蜘蛛有百度蜘蛛(Baiduspider)、雅虎蜘蛛(Mozilla)、微軟Bing蜘蛛(msnbot)、搜狗蜘蛛(Sogou+web+bot)、Google蜘蛛(Googlebot)等。一般情況下，IIS日志都會(huì)有顯示，站長(zhǎng)們應(yīng)該多花點(diǎn)時(shí)間仔細(xì)看下蜘蛛對(duì)自己網(wǎng)站的訪問(wèn)情況，然后對(duì)自己網(wǎng)站做出調(diào)整。

第二、文件存儲(chǔ)：文件存儲(chǔ)是搜索引擎的一個(gè)技術(shù)關(guān)鍵所在，同時(shí)也是面臨的一個(gè)挑戰(zhàn)。當(dāng)搜索引擎爬行和抓取完成后，會(huì)把這些數(shù)據(jù)存入原始頁(yè)面數(shù)據(jù)庫(kù)。在這個(gè)數(shù)據(jù)庫(kù)存放的數(shù)據(jù)和用戶(hù)在瀏覽器中看到的頁(yè)面是完全一樣的。每個(gè)URL都會(huì)有一個(gè)獨(dú)特的編號(hào)。除此之外，還要存儲(chǔ)各種計(jì)算權(quán)重所需要的數(shù)據(jù)，比如各種鏈接的關(guān)系，PR的迭代計(jì)算等。這些數(shù)據(jù)量是巨大的。很多網(wǎng)站不存在時(shí)，我們可以訪問(wèn)搜索引擎的快照頁(yè)面，這些頁(yè)面就是存在搜索引擎自己的數(shù)據(jù)庫(kù)中，與站長(zhǎng)網(wǎng)站本身的數(shù)據(jù)沒(méi)有關(guān)系，是獨(dú)立存在的。平時(shí)的快照更新、排名波動(dòng)都和搜索引擎的文件存儲(chǔ)有著直接的關(guān)系。

第三、跟蹤鏈接：跟蹤鏈接指的是蜘蛛會(huì)順著頁(yè)面上的鏈接從一個(gè)頁(yè)面爬到下一個(gè)頁(yè)面

那么蜘蛛就會(huì)順著這個(gè)詞來(lái)排。因?yàn)檎麄€(gè)互聯(lián)網(wǎng)都是有不同的鏈接構(gòu)成，所以理論上蜘蛛能爬行所有的頁(yè)面。但由于現(xiàn)實(shí)中網(wǎng)站間的鏈接結(jié)構(gòu)非常復(fù)雜，蜘蛛就會(huì)采取一定的策略才能爬行所有頁(yè)面。常見(jiàn)的策略一般有兩種，一是深度優(yōu)先，二是廣度優(yōu)先。深度優(yōu)先指的是順著鏈接一直爬行，直到?jīng)]有鏈接為止，然后返回第一個(gè)頁(yè)面。而廣度優(yōu)先是順著第一層的鏈接爬行，直到把第一層的鏈接爬行完然后再爬行第二層的鏈接。如果從理論上講，只要有充足的時(shí)間，蜘蛛就能爬行完所有的網(wǎng)頁(yè)，但實(shí)際上搜索引擎只是收錄了互聯(lián)網(wǎng)上很小的一部分網(wǎng)頁(yè)。因此對(duì)我們來(lái)講，爭(zhēng)取做足夠多的外部鏈接，讓蜘蛛有機(jī)會(huì)來(lái)爬行與抓取。

第四、地址庫(kù)：地址庫(kù)對(duì)搜索來(lái)說(shuō)顯得尤為重要，互聯(lián)網(wǎng)上的網(wǎng)頁(yè)數(shù)量是巨大的，為了避免爬行和抓取重復(fù)的網(wǎng)址，搜索引擎會(huì)建立一個(gè)地址庫(kù)，這個(gè)地址庫(kù)主要記錄已經(jīng)發(fā)現(xiàn)但是還沒(méi)有被抓取的頁(yè)面，以及已經(jīng)抓取的頁(yè)面。有了地址庫(kù)，就能讓搜索引擎的工作更加有效率，地址庫(kù)中的URL地址常常有幾個(gè)來(lái)源：一是人工錄入U(xiǎn)RL;二是自己爬行和抓取，如果爬行到一個(gè)新的網(wǎng)址，地址庫(kù)中沒(méi)有就會(huì)存入待訪問(wèn)的數(shù)據(jù)庫(kù);三是通過(guò)提交，很多站長(zhǎng)都會(huì)去主動(dòng)提交要被收錄的頁(yè)面。蜘蛛會(huì)從待訪問(wèn)的地址中訪問(wèn)里邊的URL，爬行完就會(huì)刪除，并存入以訪問(wèn)的地址庫(kù)中。但大家也需要了解，我們?nèi)ブ鲃?dòng)提高給搜索引擎網(wǎng)址，并不代表他一定會(huì)訪問(wèn)并收錄我們的頁(yè)面，搜索引擎更喜歡自己爬行發(fā)現(xiàn)新的URL，所以我們還是要做好網(wǎng)頁(yè)的內(nèi)容和外部鏈接。

第五、吸引蜘蛛：通過(guò)上文我們知道，雖然蜘蛛理論上能爬取所有頁(yè)面，但由于鏈接的復(fù)雜性以及時(shí)間的局限性，蜘蛛往往只是抓取互聯(lián)網(wǎng)上網(wǎng)頁(yè)的一部分，如果我們的網(wǎng)站想要獲得好的排名，那么就必須想方設(shè)法讓蜘蛛來(lái)抓取，蜘蛛一般會(huì)抓取比較重要的頁(yè)面，那些頁(yè)面較重要呢?一是頁(yè)面權(quán)重高、資格老的網(wǎng)站會(huì)被認(rèn)為比較重要;二是頁(yè)面常更新的頁(yè)面，對(duì)于經(jīng)常更新的頁(yè)面，蜘蛛會(huì)更加頻繁訪問(wèn);三是導(dǎo)入鏈接比較多的頁(yè)面，無(wú)論什么樣的頁(yè)面，如果想要蜘蛛訪問(wèn)，就必須有導(dǎo)入鏈接;四是與首頁(yè)點(diǎn)擊距離近的頁(yè)面，因?yàn)槭醉?yè)的權(quán)重往往最高，所以，距首頁(yè)最近點(diǎn)擊距離的頁(yè)面往往也被認(rèn)為是最重要的頁(yè)面。