VSM的基本思想是把文档简化为特征项的权重为分量的向量表示：

其中 Wi 为第 i 个特征项的权重，一般选取词作为特征项，权重用词频表示。词频分为绝对词频和相对词频 。

绝对词频 ，即用词在文本中出现的频率表示文本；

相对词频 ，即为归一化的词频，其计算方法主要运用TF-IDF公式（Term Frequency-Inverse Document Frequency）。

什么是归一化呢，归一化（Normalization）是一种在传统机器学习和深度学习领域中常用的数据处理技巧。简单说，就是把数据从绝对数量转化成比例的一种思路。比如我们就一个不太严谨但是形象一些的例子，假如甲每个月花费3000元在租赁房屋上，而乙花费8000元在租赁房屋上，谁的负担更重呢？从绝对数量上看，似乎乙花费多一些。但是如果甲的月收入仅为6000元，而乙月收入40000元的情况下，甲的花费占比就是50%，而乙的花费仅为20%。究竟谁在租赁房屋上的“压力更大”恐怕不言而喻了。所以我们看各国比较税负或消费行为分析通常都是来研究收入占比而不那么重视绝对数量的大小。

而在 TF-IDF 算法中，就是为了避免长文档比短文档拥有过多数量的词频而采取的方式。举个例子来看：

词频 (TF，Term Frequency) 是一词语出现的次数除以该文件的总词语数。假如一篇文件的总词语数是100个，而词语“汽车”出现了5次，那么“汽车”一词在该文件中的词频就是5/100=0.05或者说5%。

一个计算文件频率 (IDF， Inverse Document Frequency) 的方法是测定有多少份文件出现过“汽车”一词，然后除以文件集里包含的文件总数。所以，如果“汽车”一词在100份文件出现过，而文件总数是10,000份的话，其逆向文件频率就是 lg(10000 / 100)=2。最后“汽车”一词的TF-IDF的分数为0.05 * 2=0.1。这里面TF-IDF分数和词频和逆向文件频率成正比。

从这个计算逻辑不难看出，如果某个词汇在一篇文章中出现的频率 TF 高，并且在其他文章中很少出现，则认为这个词汇有很好的类别区分能力，适合用来分类；TF 表示该词汇在文档中出现的频率，而 IDF 则表示含有该词汇的文档比例越低 IDF 越大，则说明该词汇具有越好的的类别区分能力。

这种分类的思路其实非常自然，词频和逆词频用来代表文章的特征，然后再建立特征与标签之间的联系。这个联系就是建模的过程，可以用各种分类模型来做拟合。

那么按照这样的一种建模方式，我们不妨在这里脑补一下，在不同的文档类型中，不同词汇所出现的 TF-IDF 的情形大概是这种感觉：

例如某篇文章1，它是科技类的文章，它里面的汽车、轮船、飞机这类的词汇就会非常多。

再比如某篇文章2，它是动植物类的文章，它里面的动物、花卉等词汇的就会比较多。而文章3如果是气象类的文章，那么海洋、气候等相关词汇就会比较多。

而由于我、是等这类高频词汇几乎在什么文章中都有可能频繁出现，用它们很难去做类的区分，所以在 TF-IDF 上看到的效果大概就类似于这样——每种文章中的 TF-IDF 分差不多大。

上面的这个例子就是示意性地讲解了 TF-IDF 的方式在不同类别的文章中不同词汇的分布特征。这就是做文章分类的第一步，把文章分词，并计算每个文章每个词汇的 TF-IDF 值。当然这个值很可能不是我上面的这张图写出来的这些数值，而是根据你的语料（文章集）去统计，根据上面的规则去统计，统计出来是什么值就是什么值。

思考题： TF-IDF 这种方法来做词频打分的方法有没有什么明显的缺陷？请在留言区留言与我互动。