企業(yè)網(wǎng)站設(shè)計(jì)預(yù)處理模塊的構(gòu)成
日期 : 2019-10-09 16:01:53
預(yù)處理模塊的構(gòu)成。預(yù)處理模塊由三個(gè)子模塊構(gòu)成, 分別是頁(yè)面抓取、文本內(nèi)容提取、關(guān)鍵字提取。頁(yè)面抓取的主要功用是讀取用戶(hù)信息庫(kù)中儲(chǔ)存的行為信息, 分析用戶(hù)興趣所在, 抓取相對(duì)應(yīng)的頁(yè)面。文本內(nèi)容提取, 其主要功能是將抓取到的頁(yè)面信息進(jìn)行過(guò)濾, 去除不相關(guān)的信息, 提取與頁(yè)面主題相關(guān)聯(lián)的內(nèi)容, 并將其以文本文件的形式保存至數(shù)據(jù)庫(kù), 便于用戶(hù)觀看與查找。關(guān)鍵字提取, 該項(xiàng)子功能模塊會(huì)將用戶(hù)行為信息進(jìn)行分詞, 將文本中的內(nèi)容以詞條形式顯示, 并計(jì)算每個(gè)詞條的重要性, 依此排序, 選出與詞條相關(guān)的內(nèi)容。