第一步：建立Sitemap文件，將目標(biāo)推廣的URL列表推送給搜索引擎。
第二步：設(shè)立Robots文件，將不允許蜘蛛爬行的頁面在Robots里面定義清楚，然后把該文件上傳到網(wǎng)站根目錄下。
在Robots和Sitemap文件中，如何精細(xì)化地做好鏈接定義和說明，并有效告知搜索引擎，對SEO的效果影響較大，因?yàn)檫@些都切切實(shí)實(shí)影響到蜘蛛是否知曉鏈接存在和能否有效爬行網(wǎng)站。
在告知途徑上，主要有幾種方式。
● 通過Robots告 知搜索引擎可以爬行的路徑和禁止爬行的路徑。
● 通過直接提交網(wǎng)站首頁URL引導(dǎo)搜索引擎到達(dá)首頁，然后自行爬行內(nèi)鏈，完成對網(wǎng)站的抓取，這種方式比較簡單，但不是最為理想的方式。
● 通過直接提交網(wǎng)站Sitemap的方式引導(dǎo)搜索引擎過來爬行頁面。 Sitemap即站點(diǎn)地圖，扁平化告知搜索引擎網(wǎng)站的結(jié)構(gòu)和頁面地址，可以引導(dǎo)蜘蛛快速爬行到很多頁面。如果更精細(xì)化，可以設(shè)置頁面的權(quán)重和更新頻率等信息，幫助蜘蛛更有針對性地爬行網(wǎng)站。網(wǎng)站式新聞動態(tài)
本文地址：http://m.heisem.cn/article/8216.html
