深度優(yōu)先
與廣度優(yōu)先的抓取方式相反,深度優(yōu)先首先跟蹤淺層頁(yè)面中的某一連接后逐步抓取深層頁(yè)面,直至抓完最深層的頁(yè)面才返回淺層頁(yè)面再跟蹤其另一鏈接,繼續(xù) 向深層頁(yè)面抓取,這是一種縱向的頁(yè)面抓取方式。使用深度優(yōu)先的抓取方式,搜索引擎可以抓取到網(wǎng)站中較為隱蔽、冷門(mén)的頁(yè)面,這樣就能滿(mǎn)足更多用戶(hù)的需求。
首先,搜索引擎會(huì)抓取網(wǎng)站的首頁(yè),并提取首頁(yè)中的鏈接:再沿著其中的一個(gè)連接抓取到頁(yè)面 A-1,同時(shí)獲取A-1中的鏈接并抓取頁(yè)面B-1,獲取B-1中的來(lái)鏈接并抓取頁(yè)面C-1 ,如此不斷的重復(fù),滿(mǎn)足到某個(gè)條件后,再?gòu)腁-2抓取頁(yè)面及鏈接!本新聞共 2頁(yè),當(dāng)前在第 2頁(yè) 1 2 |