TF-IDF算法的改進及在語義檢索中應(yīng)用
大?。?/span>0.78 MB 人氣： 2018-01-02 需要積分：3
標(biāo)簽：語義檢索(6106)
針對傳統(tǒng)的TF-IDF算法、K-means算法、自適應(yīng)遺傳算法在網(wǎng)絡(luò)檢索結(jié)果中含有大量不相關(guān)數(shù)據(jù)、語義檢索準(zhǔn)確性不高的問題，研究了TF-IDF算法的改進及其在語義檢索中的應(yīng)用。將正則表達式和語義分析技術(shù)相結(jié)合，從而實現(xiàn)對TF-IDF算法的改進。利用語義庫對搜索主題進行描述，根據(jù)正則原予語義的重要性和在網(wǎng)頁標(biāo)簽中的不同位置進行加權(quán)計算，得到正則原子在文檔中的相似度。通過空間向量模型對文檔相似度和主題模型進行余弦運算，從而獲取最終的搜索結(jié)果。最后，將改進的TF-IDF算法、傳統(tǒng)的TF-IDF算法、K-means算法和自適應(yīng)遺傳算法運用于聚焦主題網(wǎng)絡(luò)爬蟲中，對其檢索結(jié)果進行了對比分析。計算結(jié)果表明，在聚焦主題網(wǎng)絡(luò)爬蟲語義分析的垂直搜索中，改進TF-IDF算法的相似度準(zhǔn)確率比傳統(tǒng)的TF-IDF算法檢索準(zhǔn)確率提高了17.1個百分點，遺漏率降低了7.76個百分點；比K-means算法檢索準(zhǔn)確率提高6個百分點；比自適應(yīng)遺傳算法檢索準(zhǔn)確率提高了8.1個百分點。總之，改進的TF-IDF算法可以有效地提高文檔相似度檢測的準(zhǔn)確率，很好地改善聚焦主題網(wǎng)絡(luò)爬蟲在語義分析中的缺陷。
非常好我支持^.^
(0) 0%
不好我反對
(0) 0%