TF-IDF

TF-IDF(Term Frequency-Inverse Document Frequency, 词频-逆文件频率)是一种用于资讯检索与资讯探勘的常用加权技术。TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。

即：一个词语在一篇文章中出现次数越多, 同时在所有文档中出现次数越少, 越能够代表该文章。这也就是TF-IDF的含义。

TF(Term Frequency)

词频（TF）表示词条（关键字）在文本中出现的频率。该数字通常会被归一化(一般是词频除以文章总词数), 以防止它偏向长的文件。

公式：

（术语 t 在文档中出现的次数） / （文档中的术语总数）

但一些通用的词语对于主题并没有太大的作用， 反倒是一些出现频率较少的词才能够表达文章的主题， 所以单纯使用是TF不合适的。

为此，权重的设计必须满足：一个词预测主题的能力越强，权重越大，反之权重越小。

所有统计的文章中，一些词只是在其中很少几篇文章中出现，那么这样的词对文章的主题的作用很大，这些词的权重应该设计的较大。IDF就是在完成这样的工作。

IDF(Inverse Document Frequency)

逆向文件频率 (IDF) ：某一特定词语的IDF，可以由总文件数目除以包含该词语的文件的数目，再将得到的商取对数得到。如果包含词条t的文档越少, IDF越大，则说明词条具有很好的类别区分能力。

其中，|D| 是语料库中的文件总数。 |{j:ti∈dj}| 表示包含词语 ti 的文件数目（即 ni,j≠0 的文件数目）。如果该词语不在语料库中，就会导致分母为零，因此一般情况下使用 1+|{j:ti∈dj}|

IDF用于衡量一个术语的重要性。在计算 TF 时，所有项都被认为同样重要。然而，众所周知，某些术语，如"是"，"的"和"那个"，可能会出现很多次，但并不重要。因此，我们需要通过计算以下内容来权衡常用术语，同时放大稀有术语：IDF（t）

TF-IDF(Term Frequency-Inverse Document Frequency)

某一特定文件内的高词语频率，以及该词语在整个文件集合中的低文件频率，可以产生出高权重的TF-IDF。因此，TF-IDF倾向于过滤掉常见的词语，保留重要的词语，表达为 ：

注： TF-IDF算法非常容易理解，并且很容易实现，但是其简单结构并没有考虑词语的语义信息，无法处理一词多义与一义多词的情况。

TF-IDF用法：（1）搜索引擎；（2）关键词提取；（3）文本相似性；（4）文本摘要

TF-IDF变种：