搜索引擎的蜘蛛是如何爬的，如何吸引蜘蛛來抓取頁面？
2013-10-27 分類： 網站建設
搜索引擎的工作過程大體可以分成三個階段：
(1)爬行和抓取：搜索引擎蜘蛛通過跟蹤鏈接發現和訪問頁面，讀取頁面HTML代碼，存到數據庫。
(2)預處理：索引程序對抓取來的頁面數據進行文字提取、中文分詞、索引、倒排索引等處理，以備排名程序調用。
(3)排名：用戶輸入查詢詞(關鍵詞)后，排名程序調用索引數據，計算相關性，然后按一定格式生成搜索結果頁面。
搜索引擎的工作原理
爬行和抓取是搜索引擎工作的第一步，完成數據收集的任務。搜索引擎用來抓取頁面的程序被稱為蜘蛛(spider)
一個合格的SEOer，要想讓自己的更多頁面被收錄，就要想法設法吸引蜘蛛來抓取。
蜘蛛抓取頁面有幾方面因素：
(1)網站和頁面的權重，質量高、時間長的網站一般被認為權重比較高，爬行深度也會比較高，被收錄的頁面也會更多。
(2)頁面的更新頻率，蜘蛛每次爬行都會把頁面數據儲存起來，如果第二次，第三次的抓取和第一次的一樣，說明沒有更新，久而久之，蜘蛛也就沒有必要經常抓取你的頁面啦。如果內容經常更新，蜘蛛就會頻繁訪問頁面，來抓取新的頁面。
(3)導入鏈接，不管是內部鏈接還是外部鏈接，要想被蜘蛛抓取，就必須有導入鏈接進入頁面，否則蜘蛛就不會知道頁面的存在。
(4)與首頁的點擊距離，一般網站上權重高的是首頁，大部分外部鏈接都會指向首頁，那么蜘蛛訪問最頻繁的頁面就是首頁，離首頁點擊距離越近，頁面權重越高，被爬行的機會越大。
吸引百度蜘蛛
如何吸引蜘蛛來抓取我們的頁面?
堅持有頻率的更新網站內容，最好是高質量的原創內容。
主動向搜索引擎提供我們的新頁面，讓蜘蛛更快的發現，如百度的鏈接提交、抓取診斷等。
搭建外部鏈接，可以和相關的網站做友情鏈接交換，可以去別的平臺發布高質量的文章指向自己的頁面，內容要相關。
制作網站地圖，每個網站都應該有一個sitemap，網站所有的頁面都在sitemap中，方便蜘蛛抓取。
網頁題目：搜索引擎的蜘蛛是如何爬的，如何吸引蜘蛛來抓取頁面？
文章網址：http://m.js-pz168.com/news/4096.html
成都網站建設公司_創新互聯，為您提供用戶體驗、標簽優化、網站改版、關鍵詞優化、網站設計、App開發
聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯
猜你還喜歡下面的內容
- 搜索引擎的工作原理是什么？ 2013-10-27
- 搜索引擎本地算法 對SEO有何意義？ 2013-10-26
- 搜索引擎是如何進行排名的？ 2013-10-26
- 搜索引擎排名優化外鏈的作用 2013-10-26
- 搜索引擎廣告點擊率預測的問題 2013-10-26
- 搜索引擎實現對頁面的索引與排名原理 2013-10-26
- 搜索引擎中什么控制著PR值 2013-10-26
- 搜索引擎的抓取規則，你還不知道嗎？ 2013-10-27
- 搜索引擎點擊廣告與網站點擊廣告的問題 2013-10-26
- 搜索引擎是如何預防SEO作弊的？ 2013-10-26
- 搜索引擎排名優化常用的30個白帽技術 2013-10-26
- 搜索引擎抓取的邏輯 2013-10-26
- 搜索引擎對排名的態度 2013-10-26
- 搜索引擎判斷頁面質量的三個因素 2013-10-26
- 搜索引擎SEO優化應該避免哪些問題 2013-10-26
- 搜索引擎seo優化對于網絡營銷有哪些影響？ 2013-10-25
- 揭秘黑帽seo技術 2013-10-25
- 揭秘輕松引爆高精準流量的捷徑 2013-10-25
- 揭秘藍帽SEO優化技術神秘面紗 2013-10-25