什么是網(wǎng)絡(luò)爬蟲？

搜索引擎爬蟲 （又被稱為網(wǎng)頁(yè)蜘蛛，網(wǎng)絡(luò)機(jī)器人），是一種按照一定的規(guī)則，自動(dòng)的抓取萬(wàn)維網(wǎng)信息的程序或者腳本。

1、首先從互聯(lián)網(wǎng)頁(yè)面中精心選擇一部分網(wǎng)頁(yè)，以這些網(wǎng)頁(yè)的鏈接地址作為種子URL，將這些種子URL放入待抓取URL隊(duì)列中，爬蟲從待抓取URL隊(duì)列依次讀取，并將URL通過(guò)DNS解析，把鏈接地址轉(zhuǎn)換為網(wǎng)站服務(wù)器對(duì)應(yīng)的IP地址。

2、然后將其和網(wǎng)頁(yè)相對(duì)路徑名稱交給網(wǎng)頁(yè)下載器，網(wǎng)頁(yè)下載器負(fù)責(zé)頁(yè)面內(nèi)容的下載。對(duì)于下載到本地的網(wǎng)頁(yè)，一方面將其存儲(chǔ)到頁(yè)面庫(kù)中，等待建立索引等后續(xù)處理；另一方面將下載網(wǎng)頁(yè)的URL放入已抓取URL隊(duì)列中，這個(gè)隊(duì)列記載了爬蟲系統(tǒng)已經(jīng)下載過(guò)的網(wǎng)頁(yè)URL，以避免網(wǎng)頁(yè)的重復(fù)抓取。

3、對(duì)于剛下載的網(wǎng)頁(yè)，從中抽取出所包含的所有鏈接信息，并在已抓取URL隊(duì)列中檢查，如果發(fā)現(xiàn)鏈接還沒(méi)有被抓取過(guò)，則將這個(gè)URL放入待抓取URL隊(duì)列末尾，在之后的抓取調(diào)度中會(huì)下載這個(gè)URL對(duì)應(yīng)的網(wǎng)頁(yè)。如此這般，形成循環(huán)，直到待抓取URL隊(duì)列為空，這代表著爬蟲系統(tǒng)已將能夠抓取的網(wǎng)頁(yè)盡數(shù)抓完，此時(shí)完成了一輪完整的抓取過(guò)程。