隨著信息時代的發(fā)展，人們留存在互聯(lián)網(wǎng)信息越來越多，原本零散存在的信息，現(xiàn)通過使用垂直類爬蟲定向爬取，會導(dǎo)致個人信息的泄露與電信欺騙。

對于網(wǎng)站來說，垂直類爬蟲可以批量化的定向采集網(wǎng)站高價值信息，這會導(dǎo)致網(wǎng)站沉淀多年的數(shù)字資產(chǎn)，在短期的時間內(nèi)以極高的速率流失，給企業(yè)經(jīng)營帶來不可估計的損失與影響。

垂直類網(wǎng)絡(luò)爬蟲是網(wǎng)絡(luò)爬蟲的一個新興分支，相比傳統(tǒng)的網(wǎng)絡(luò)爬蟲，這種垂直類網(wǎng)絡(luò)爬蟲，其機(jī)器特征更小，擬人度更高。由于單個垂直類爬蟲獲取的信息任務(wù)量不高，故此類爬蟲在爬取數(shù)據(jù)時，會以較慢的速率采集信息，不使用多線程等明顯增加服務(wù)器壓力的暴力方法，綜合起來，即該類爬蟲沒有顯性的惡意特征。

現(xiàn)有的基于惡意特征識別的流量檢測技術(shù)，對此類爬蟲識別效果不佳，為此，本發(fā)明通過研究發(fā)現(xiàn)垂直類爬蟲的行為具有明顯的不平衡性，提出一種基于行為平衡度的垂直類網(wǎng)絡(luò)爬蟲識別檢測方法，來檢測出網(wǎng)站訪問流量中的垂直類爬蟲流量。

本發(fā)明的目的是為了解決在網(wǎng)絡(luò)訪問流量中對缺乏惡意特征的垂直類爬蟲流量檢測識別問題，提出了一種基于行為平衡度的垂直類網(wǎng)絡(luò)爬蟲檢測識別方法，該方法通過研究網(wǎng)站頁面數(shù)據(jù)量與閱讀停留時間的關(guān)系，發(fā)現(xiàn)垂直類網(wǎng)絡(luò)爬蟲在訪問頁面數(shù)據(jù)時，與自然人訪問行為對比，具有明顯的不平衡性，依此特性建立針對垂直類網(wǎng)絡(luò)爬蟲的流量檢測方法。具體包括：(1)基于網(wǎng)站頁面信息量的合理停滯時間建模，(2)基于不同躍遷深度訪問的行為平衡度建模。