收錄的第一個(gè)環(huán)節(jié)就是抓取。抓取的過(guò)程是搜索引擎應(yīng)用程序去抓取網(wǎng)站的網(wǎng)頁(yè)，這里負(fù)責(zé)搜索引擎抓取網(wǎng)頁(yè)職能的程序俗稱(chēng)蜘蛛( Spider)，蜘蛛是一個(gè)形象的說(shuō)法，因?yàn)榛ヂ?lián)網(wǎng)就是一張巨大的蜘蛛網(wǎng)，搜索引擎的程序通過(guò)網(wǎng)絡(luò)不斷地進(jìn)行爬行和探索。每個(gè)互聯(lián)網(wǎng)公司都有自己的抓取蜘蛛，比如百度蜘蛛(Baiduspider)、谷歌蜘蛛、搜狗蜘蛛等。
蜘蛛通過(guò)網(wǎng)站提交的Sitemap (網(wǎng)頁(yè)地圖)或者在互聯(lián)網(wǎng)其他地方留下的頁(yè)面URL信息，爬行到網(wǎng)站對(duì)應(yīng)頁(yè)面，然后沿著網(wǎng)站頁(yè)面其他鏈接一層層往下爬行，發(fā)現(xiàn)更多的頁(yè)面。
蜘蛛抓取網(wǎng)頁(yè)是收錄頁(yè)面工作的上游，通過(guò)蜘蛛對(duì)網(wǎng)頁(yè)的抓取，發(fā)現(xiàn)更多頁(yè)面，同時(shí)知道哪些頁(yè)面已經(jīng)有了更新，從而實(shí)現(xiàn)對(duì)互聯(lián)網(wǎng)頁(yè)面的抓取和持續(xù)更新。
關(guān)于蜘蛛抓取系統(tǒng)的工作原理，可以參考百度蜘蛛抓取的說(shuō)明。
簡(jiǎn)而言之，蜘蛛抓取系統(tǒng)包括鏈接存儲(chǔ)系統(tǒng)、鏈接選取系統(tǒng)、DNS解析服務(wù)系統(tǒng)、抓取調(diào)度系統(tǒng)、網(wǎng)頁(yè)分析系統(tǒng)、鏈接提取系統(tǒng)、鏈接分析系統(tǒng)、網(wǎng)頁(yè)存儲(chǔ)系統(tǒng)。Baiduspider 通過(guò)這種系統(tǒng)的通力合作完成對(duì)互聯(lián)網(wǎng)頁(yè)面的抓取工作。網(wǎng)站式行業(yè)動(dòng)態(tài)
本文地址：http://m.heisem.cn/article/7754.html
