• /  5
  • 下載費用: 10.00積分  

網絡爬蟲技術(新).doc

'網絡爬蟲技術(新).doc'
?網絡爬蟲技術網絡機器人1.概念:它們是Web上獨自運行的軟件程序,它們不斷地篩選數據,做出自己的 決定,能夠使用Web獲取文本或者進行搜索查詢,按部就班地完成各自的任務。2.分類:購物機器人、聊天機器人、搜索機器人(網絡爬蟲)等。搜索引擎1.概念:從網絡上獲得網站網頁資料,能夠建立數據庫并提供查詢的系統。2.分類(按工作原理):全文搜索引擎、分類目錄。 1> 全文搜索引擎數據庫是依靠網絡爬蟲通過網絡上的各種鏈接自動獲取大量網頁信息內容,并按一定的規則分析整理形成的。(百度、Google) 2> 分類目錄:按目錄分類的網站鏈接列表而已,通過人工的方式收集整理網站資料形成的數據庫。(國內的搜狐)網絡爬蟲1.概念:網絡爬蟲也叫網絡蜘蛛,它是一個按照一定的規則自動提取網頁程序,其會自動的通過網絡抓取互聯網上的網頁,這種技術一般可能用來檢查你的站點上所有的鏈接是否是都是有效的。當然,更為高級的技術是把網頁中的相關數據保存下來,可以成為搜索引擎。搜索引擎使用網絡爬蟲尋找網絡內容,網絡上的HTML文檔使用超鏈接連接了起來,就像織成了一張網,網絡爬蟲也叫網絡蜘蛛,順著這張網爬行,每到一個網頁就用抓取程序將這個網頁抓下來,將內容抽取出來,同時抽取超鏈接,作為進一步爬行的線索。網絡爬蟲總是要從某個起點開始爬,這個起點叫做種子,你可以告訴它,也可以到一些網址列表網站上獲取。2.區別:網絡爬蟲分類通用爬蟲聚集爬蟲工作原理從一個或多個初始網頁的URL開始,獲取初始網頁的URL,抓取網頁的同時,從當前網頁提取相關的URL放入隊列中,直到滿足程序的停止條件。根據一定的網頁分析算法過濾與主題無關的鏈接,保留有用的鏈接(爬行的范圍是受控的)放到待抓取的隊列中,通過一定的搜索策略從隊列中選擇下一步要抓取的URL,重復以上步驟,直到滿足程序的停止條件。不同點1. 增加了一些網頁分析算法和網頁搜索策略2. 對被爬蟲抓取的網頁將會被系統存貯,進行一定的分析、過濾,并建立索引,以便之后的查詢和檢索,這一過程所得到的分析結果還可能對以后的抓取過程給出反饋和指導。缺點1. 不同領域、不同背景的用戶有不同的檢索目的和需求,通用搜索引擎所返回的結果包含大量用戶不關心的網頁。2. 通用引擎的目標是大的網絡覆蓋率。3. 只支持關鍵字搜索,不支持根據語義的搜索。4. 通用搜索引擎對一些像圖片、音頻等信息含量密集且具有一定結構的數據無法獲取。1. 對抓取目標的描述或定義。2. 對網頁和數據的分析和過濾。3. 對URL的搜索策略。以上三個是需要解決的問題。算法廣度優先算法現有聚焦爬蟲對抓取目標的描述可分為基于目標網頁特征、基于目標數據模式和基于領域概念3種。 基于目標網頁特征的爬蟲所抓取、存儲并索引的對象一般為網站或網頁。根據種子樣本獲取方式可分為: (1)預先給定的初始抓取種子樣本; (2)預先給定的網頁分類目錄和與分類目錄對應的種子樣本,如Yahoo!分類結構等; (3)通過用戶行為確定的抓取目標樣例,分為:a) 用戶瀏覽過程中顯示標注的抓取樣本; b) 通過用戶日志挖掘得到訪問模式及相關樣本。 其中,網頁特征可以是網頁的內容特征,也可以是網頁的鏈接結構特征,等等。3.算法/策略名稱網頁分析算法網頁搜索策略分類1.基于網絡拓撲結構1>網頁粒度分析算法2>網站粒度分析算法3>網頁塊粒度分析算法2.基于網頁內容 1>針對以文本和超鏈接為主的網頁 2>針對從結構化的數據源動態生成的網頁。 3>針對數據介于第一類和第二類之間3.基于用戶訪問行為1.深度優先策略2.廣度優先策略3.最佳優先策略一些算法的介紹1> 網頁分析算法1.1 基于網絡拓撲的分析算法   基于網頁之間的鏈接,通過已知的網頁或數據,來對與其有直接或間接鏈接關系的對象(可以是網頁或網站等)作出評價的算法。又分為網頁粒度、網站粒度和網頁塊粒度這三種?! ?.1.1 網頁(Webpage)粒度的分析算法   PageRank和HITS算法是最常見的鏈接分析算法,兩者都是通過對網頁間鏈接度的遞歸和規范化計算,得到每個網頁的重要度評價。PageRank算法雖然考慮了用戶訪問行為的隨機性和Sink網頁的存在,但忽略了絕大多數用戶訪問時帶有目的性,即網頁和鏈接與查詢主題的相關性。針對這個問題,HITS算法提出了兩個關鍵的概念:權威型網頁(authority)和中心型網頁(hub)。   基于鏈接的抓取的問題是相關頁面主題團之間的隧道現象,即很多在抓取路徑上偏離主題的網頁也指向目標網頁,局部評價策略中斷了在當前路徑上的抓取行為。文獻[21]提出了一種基于反向鏈接(BackLink)的分層式上下文模型(Context Model),用于描述指向目標網頁一定物理跳數半徑內的網頁拓撲圖的中心Layer0為目標網頁,將網頁依據指向目標網頁的物理跳數進行層次劃分,從外層網頁指向內層網頁的鏈接稱為反向鏈接。   1.1.2 網站粒度的分析算法   網站粒度的資源發現和管理策略也比網頁粒度的更簡單有效。網站粒度的爬蟲抓取的關鍵之處在于站點的劃分和站點等級(SiteRank)的計算。SiteRank的計算方法與PageRank類似,但是需要對網站之間的鏈接作一定程度抽象,并在一定的模型下計算鏈接的權重。   網站劃分情況分為按域名劃分和按IP地址劃分兩種。文獻[18]討論了在分布式情況下,通過對同一個域名下不同主機、服務器的IP地址進行站點劃分,構造站點圖,利用類似PageRank的方法評價SiteRank。同時,根據不同文件在各個站點上的分布情況,構造文檔圖,結合SiteRank分布式計算得到DocRank。文獻[18]證明,利用分布式的SiteRank計算,不僅大大降低了單機站點的算法代價,而且克服了單獨站點對整個網絡覆蓋率有限的缺點。附帶的一個優點是,常見PageRank 造假難以對SiteRank進行欺騙。   1.1.3 網頁塊粒度的分析算法   在一個頁面中,往往含有多個指向其他頁面的鏈接,這些鏈接中只有一部分是指向主題相關網頁的,或根據網頁的鏈接錨文本表明其具有較高重要性。但是,在PageRank和HITS算法中,沒有對這些鏈接作區分,因此常常給網頁分析帶來廣告等噪聲鏈接的干擾。在網頁塊級別(Blocklevel)進行鏈接分析的算法的基本思想是通過VIPS網頁分割算法將網頁分為不同的網頁塊(page block),然后對這些網頁塊建立pagetoblock和blocktopage的鏈接矩陣,分別記為Z和X。于是,在pagetopage圖上的網頁塊級別的PageRank為Wp=X×Z;在blocktoblock圖上的BlockRank為Wb=Z×X。已經有人實現了塊級別的PageRank和HITS算法,并通過實驗證明,效率和準確率都比傳統的對應算法要好?! ?.2 基于網頁內容的網頁分析算法   基于網頁內容的分析算法指的是利用網頁內容(文本、數據等資源)特征進行的網頁評價。網頁的內容從原來的以超文本為主,發展到后來動態頁面(或稱為Hidden Web)數據為主,后者的數據量約為直接可見頁面數據(PIW,Publicly Indexable Web)的400~500倍。另一方面,多媒體數據、Web Service等各種網絡資源形式也日益豐富。因此,基于網頁內容的分析算法也從原來的較為單純的文本檢索方法,發展為涵蓋網頁數據抽取、機器學習、數據挖掘、語義理解等多種方法的綜合應用。本節根據網頁數據形式的不同,將基于網頁內容的分析算法,歸納以下三類:第一種針對以文本和超鏈接為主的無結構或結構很簡單的網頁;第二種針對從結構化的數據源(如RDBMS)動態生成的頁面,其數據不能直接批量訪問;第三種針對的數據界于第一和第二類數據之間,具有較好的結構,顯示遵循一定模式或風格,且可以直接訪問。   1.2.1 基于文本的網頁分析算法   1) 純文本分類與聚類算法   很大程度上借用了文本檢索的技術。文本分析算法可以快速有效的對網頁進行分類和聚類,但是由于忽略了網頁間和網頁內部的結構信息,很少單獨使用。   2) 超文本分類和聚類算法2> 網頁搜索策略2. 廣度優先搜索策略 廣度優先搜索策略是指在抓取過程中,在完成當前層次的搜索后,才進行下一層次的搜索。該算法的設計和實現相對簡單。在目前為覆蓋盡可能多的網頁,一般使用廣度優先搜索方法。也有很多研究將廣度優先搜索策略應用于聚焦爬蟲中。其基本思想是認為與初始URL在一定鏈接距離內的網頁具有主題相關性的概率很大。另外一種方法是將廣度優先搜索與網頁過濾技術結合使用,先用廣度優先策略抓取網頁,再將其中無關的網頁過濾掉。這些方法的缺點在于,隨著抓取網頁的增多,大量的無關網頁將被下載并過濾,算法的效率將變低。 2. 最佳優先搜索策略 最佳優先搜索策略按照一定的網頁分析算法,預測候選URL與目標網頁的相似度,或與主題的相關性,并選取評價最好的一個或幾個URL進行抓取。它只訪問經過網頁分析算法預測為“有用”的網頁。存在的一個問題是,在爬蟲抓取路徑上的很多相關網頁可能被忽略,因為最佳優先策略是一種局部最優搜索算法。因此需要將最佳優先結合具體的應用進行改進,以跳出局部最優點。將在第4節中結合網頁分析算法作具體的討論。研究表明,這樣的閉環調整可以將無關網頁數量降低30%~90%。 3. 搜索引擎原理之網絡爬蟲是如何工作的?在互聯網中,網頁之間的鏈接關系是無規律的,它們的關系非常復雜。如果一個爬蟲從一個起點開始爬行,那么它將會遇到無數的分支,由此生成無數條的爬行路徑,如果任期爬行,就有可能永遠也爬不到頭,因此要對它加以控制,制定其爬行的規則。世界上沒有一種爬蟲能夠抓取到互聯網所有的網頁,所以就要在提高其爬行速度的同時,也要提高其爬行網頁的質量。網絡爬蟲在搜索引擎中占有重要位置,對搜索引擎的查全、查準都有影響,決定了搜索引擎數據容量的大小,而且網絡爬蟲的好壞之間影響搜索引擎結果頁中的死鏈接的個數。搜索引擎爬蟲有深度優先策略和廣度優先策略,另外,識別垃圾網頁,避免抓取重復網頁,也是高性能爬蟲的設計目標。爬蟲的作用是為了搜索引擎抓取大量的數據,抓取的對象是整個互聯網上的網頁。爬蟲程序不可能抓取所有的網頁,因為在抓取的同時,Web的規模也在增大,所以一個好的爬蟲程序一般能夠在短時間內抓取更多的網頁。一般爬蟲程序的起點都選擇在一個大型綜合型的網站,這樣的網站已經涵蓋了大部分高質量的站點,爬蟲程序就沿著這些鏈接爬行。在爬行過程中,最重要的就是判斷一個網頁是否已經被爬行過。 在爬蟲開始的時候,需要給爬蟲輸送一個URL列表,這個列表中的URL地址便是爬蟲的起始位置,爬蟲從這些URL出發,開始了爬行,一直不斷地發現新的URL,然后再根據策略爬行這些新發現的URL,如此永遠反復下去。一般的爬蟲都自己建立DNS緩沖,建立DNS緩沖的目的是加快URL解析成IP地址的速度。
關 鍵 詞:
爬蟲 技術 網絡
 天天文庫所有資源均是用戶自行上傳分享,僅供網友學習交流,未經上傳用戶書面授權,請勿作他用。
關于本文
本文標題:網絡爬蟲技術(新).doc
鏈接地址: http://www.476824.live/p-50982284.html
關于我們 - 網站聲明 - 網站地圖 - 資源地圖 - 友情鏈接 - 網站客服點擊這里,給天天文庫發消息,QQ:1290478887 - 聯系我們

本站為“文檔C2C交易模式”,即用戶上傳的文檔直接賣給(下載)用戶,本站只是中間服務平臺,本站所有文檔下載所得的收益歸上傳人(含作者)所有【成交的100%(原創)】。本站是網絡服務平臺方,若您的權利被侵害,侵權客服QQ:1290478887 歡迎舉報。

[email protected] 2017-2027 http://www.476824.live 網站版權所有

粵ICP備19057495號 

收起
展開
球探网即时蓝球比分 买股票 开户 七彩满天星 发行股票一定要上市 十一运夺金万能八码 山西快乐十分50期开奖 福建快三一定牛走势图 股票配资资讯 安徽十一选五什么时候开始 齐发老虎机国际娱乐 安徽快3二同号遗漏