那一年，菊花還只是菊花，2B還是考試時(shí)涂卡使用的鉛筆，黃瓜只有蔬菜的功能，信息檢索技術(shù)(Information Retrieval)還只是簡(jiǎn)單的使用在圖書館、資料庫(kù)等處。
也正是在那一年，信息檢索的相關(guān)排序技術(shù)很風(fēng)靡的是TF-IDF。
或許此刻你會(huì)十分想問，啥是TF-IDF?嗯，不捉急，在找尋這個(gè)問題的答案之前，先來看一個(gè)問題。
在一堆書籍里面，你想找尋和OOXX主題相關(guān)的資料(不要想歪)，你用什么標(biāo)準(zhǔn)來判定這堆書籍里面的A比B更符合你的主題呢?
思考一分鐘。
你或許會(huì)說，看一下這些書籍的名字，看看哪些書名里面包含我要找的主題的相關(guān)信息，然后再在剩下的這部分書籍中概覽一下內(nèi)容，看看哪個(gè)更符合我想要的。
想法很好。
人是這么想的，信息檢索系統(tǒng)也得這么干才能給出我們最想要的結(jié)果，但是一個(gè)問題又暴露了出來——程序看不懂文字無法判定。
來，再給你一分鐘時(shí)間，想想怎么幫程序解決這一問題。
嗯，你發(fā)現(xiàn)了，你想查詢的主題中所包含的詞匯跟這堆書籍中的某個(gè)子集內(nèi)容中的詞匯是有交集的。
對(duì)，用上次在搜索引擎原理簡(jiǎn)介的文章中我們談到的基于詞典的分詞技術(shù)，來找尋交集。
先來給定一個(gè)詞典，它是N個(gè)詞的集合。
∑={t1，t2，…，tn}
而對(duì)于你搜索的條件q和這堆書籍中的某一本d，則可以根據(jù)這個(gè)詞典表示為：
q={q1，q2，…，qn}
d={d1，d2，…，dn}
其中q1為t1這個(gè)詞匯在你的搜索條件q中出現(xiàn)的次數(shù)，q2為t2這個(gè)詞匯在搜索條件q中出現(xiàn)的次數(shù)，依次類推。如果qn為零，則表示第n個(gè)詞在q中沒有出現(xiàn)。
設(shè)定w1=d1/∑dn，則w1即為詞匯t1在d中出現(xiàn)的頻率，此刻d即可表示為：
d=，wi(i=1,2,3，…，n)即為詞頻(term frequency)。
對(duì)于一些質(zhì)量很高的信息(書籍、文獻(xiàn)等)，詞頻是一個(gè)很好的，可以通過程序語言實(shí)現(xiàn)的，表達(dá)詞匯在文檔中所占權(quán)重的方式。
嗯?疑問出來了，一些詞比如“我們”、“大家”等這種詞匯也肯定會(huì)在多篇文章中出現(xiàn)，但是用此來衡量的話顯然上面下的結(jié)論是不成立的啊。
恭喜你想到了這一步，此種詞匯對(duì)于文檔內(nèi)容的辨別來說，實(shí)在木有太大的意義。
來，找特征，去掉這種詞匯的影響。
啊，這些詞匯會(huì)在多個(gè)文章中同時(shí)出現(xiàn)。
用ki(i=1,2,3，…，n)來表示ti這個(gè)詞匯在書籍的集合D中所涉及的書籍次數(shù)，M表示書籍D的大小，則ki/M的值即可以說明一些問題，我們定義這個(gè)值為ti的文檔頻率(document frequency)。
顯然，文檔頻率越高，這個(gè)詞的權(quán)重就應(yīng)該越低。
為了便于計(jì)算，常用的會(huì)是與文檔頻率成反比的一個(gè)量，我們稱之為倒置文檔頻率(inverse document frequency)，定義為：
IDFi=lg(M/ki)
這樣以來，wi就變成了(哥從網(wǎng)上找了一個(gè)公式)
給定某種權(quán)重的定量設(shè)計(jì)，求文檔和查詢的相關(guān)性就變成了求d和q向量的某種距離，最常用的是余弦(cos)距離(這句話果斷不懂，完全復(fù)制來的)。
雖然說上面的這個(gè)算法在理論上看起來比較垃圾(不考慮文章的意思，將文章看成詞的集合)，但是從實(shí)踐下來看，其價(jià)值還是得到了普遍的認(rèn)可(尤其是對(duì)于上述提到的圖書檢索來說)。
當(dāng)然，對(duì)于目前web上這些個(gè)魚龍混雜的網(wǎng)頁(yè)，僅僅依靠td-idf是不夠的(很容易造成一大堆關(guān)鍵詞堆砌的網(wǎng)頁(yè)獲得好的排名)，這也促成了基于鏈接關(guān)系等一系列算法的誕生。
原文地址：
申請(qǐng)創(chuàng)業(yè)報(bào)道，分享創(chuàng)業(yè)好點(diǎn)子。點(diǎn)擊此處，共同探討創(chuàng)業(yè)新機(jī)遇！
