「java余弦相似度」余弦相似度的取值范围

今天给各位分享java余弦相似度的知识，其中也会对余弦相似度的取值范围进行解释，如果能碰巧解决你现在面临的问题，别忘了关注本站，现在开始吧！

本文目录一览：

• 1、Cosine Similarity-余弦相似度
• 2、余弦相似度怎么用java程序写
• 3、20-余弦相似度及其R实现

Cosine Similarity-余弦相似度

余弦相似度 用向量空间中两个向量夹角的余弦值作为衡量两个个体间差异的大小。相比距离度量，余弦相似度更加注重两个向量在方向上的差异，而非距离或长度上。

与欧几里德距离类似，基于余弦相似度的计算方法也是把用户的喜好作为n-维坐标系中的一个点，通过连接这个点与坐标系的原点构成一条直线（向量），两个用户之间的相似度值就是两条直线（向量）间夹角的余弦值。因为连接代表用户评分的点与原点的直线都会相交于原点，夹角越小代表两个用户越相似，夹角越大代表两个用户的相似度越小。同时在三角系数中，角的余弦值是在[-1, 1]之间的，0度角的余弦值是1，180角的余弦值是-1。

借助三维坐标系来看下欧氏距离和余弦相似度的区别：

从图上可以看出距离度量衡量的是空间各点间的绝对距离，跟各个点所在的位置坐标（即个体特征维度的数值）直接相关；而余弦相似度衡量的是空间向量的夹角，更加的是体现在方向上的差异，而不是位置。如果保持A点的位置不变，B点朝原方向远离坐标轴原点，那么这个时候余弦相似度cosθ是保持不变的，因为夹角不变，而A、B两点的距离显然在发生改变，这就是欧氏距离和余弦相似度的不同之处。

根据欧氏距离和余弦相似度各自的计算方式和衡量特征，分别适用于不同的数据分析模型：欧氏距离能够体现个体数值特征的绝对差异，所以更多的用于需要从维度的数值大小中体现差异的分析，如使用用户行为指标分析用户价值的相似度或差异；而余弦相似度更多的是从方向上区分差异，而对绝对的数值不敏感，更多的用于使用用户对内容评分来区分用户兴趣的相似度和差异，同时修正了用户间可能存在的度量标准不统一的问题（因为余弦相似度对绝对数值不敏感）。

调整余弦相似度 —— Adjusted Cosine Similarity

在余弦相似度的介绍中说到：余弦相似度更多的是从方向上区分差异，而对绝对的数值不敏感。因此没法衡量每个维数值的差异，会导致这样一个情况：比如用户对内容评分，5分制，X和Y两个用户对两个内容的评分分别为(1,2)和(4,5)，使用余弦相似度得出的结果是0.98，两者极为相似，但从评分上看X似乎不喜欢这2个内容，而Y比较喜欢，余弦相似度对数值的不敏感导致了结果的误差，需要修正这种不合理性，就出现了调整余弦相似度，即所有维度上的数值都减去一个均值，比如X和Y的评分均值都是3，那么调整后为(-2,-1)和(1,2)，再用余弦相似度计算，得到-0.8，相似度为负值并且差异不小，但显然更加符合现实。

余弦相似度怎么用java程序写

ArrayList a = new ArrayList(); // 创建动态数组,记录不同的单词

ArrayList aNum = new ArrayList(); // 创建动态数组,统计不同的单词各自出现的次数

ArrayList b = new ArrayList();

ArrayList bNum = new ArrayList();

for (int i = 0; i s1.length; i++) // 将s1复制到动态数组a, 且词频统计数组初始化

{

a.add(s1[i]);

aNum.add(i, 1);

}

20-余弦相似度及其R实现

余弦相似度 (Cosine Similarity) 通过计算两个向量的夹角余弦值来评估他们的相似度。将向量根据坐标值，绘制到向量空间中，求得他们的夹角，并得出夹角对应的余弦值，此余弦值就可以用来表征这两个向量的相似性。夹角越小，余弦值越接近于1，它们的方向越吻合，则越相似。

以二维空间为例，上图的a和b是两个向量，我们要计算它们的夹角θ。余弦定理告诉我们，可以用下面的公式求得：

在文本处理中，要使用余弦相似度算法，首先得将文本向量化，将词用“词向量”的方式表示可谓是将 Deep Learning 算法引入 NLP 领域的一个核心技术。自然语言处理转化为机器学习问题的第一步都是通过一种方法将这些文本数学化。其思路如下：

举例：

句子A：这只皮靴号码大了。那只号码合适。

句子B：这只皮靴号码不小，那只更合适。

1、中文分词：

使用结巴分词对上面两个句子分词后，分别得到两个词集：

2、列出所有词，将listA和listB放在一个set中，构成词包：

3、使用词集分别对listA和listB计算词频。

4、对listA和listB进行oneHot编码后得到的结果如下：

listAcode = [1, 2, 1, 2, 1, 1, 1, 1, 0, 0]

listBcode = [1, 2, 1, 1, 0, 0, 1, 1, 1, 1]

5、得出两个句子的词频向量之后，就变成了计算两个向量之间夹角的余弦值，值越大相似度越高。

6、两个向量的余弦值为0.805823，接近1，说明两句话相似度很高。

两个句子的相似度计算步骤如下：

1.通过中文分词，把完整的句子分成独立的词集合；

2.求出两个词集合的并集(词包)；

3.计算各自词集的词频并将词频向量化；

4.代入余弦公式就可以求出文本相似度。

注意，词包确定之后，词的顺序是不能再修改的，不然会影响到向量的变化。

以上是对两个句子做相似度计算，如果是对两篇文章做相似度计算，步骤如下：

1.找出各自文章的关键词并合成一个词集合；

2.求出两个词集合的并集(词包)；

3.计算各自词集的词频并将词频向量化；

4.代入余弦公式就可以求出文本相似度。

句子的相似度计算只是文章相似度计算的一个子部分。文章的关键词提取可以通过其他的算法来实现。

词频TF(Term Frequency)，是一个词语在文章或句子中出现的次数。要在一篇很长的文章中寻找关键字（词），就一般的理解，一个词对文章越关键在文章中出现的次数就越多，于是我们就采用“词频”进行统计。

但是这也不是绝对的，比如“地”，“的”，“啊”等词，它们出现的次数对一篇文章的中心思想是没有帮助的，只是中文语法结构的一部分而已。这类词也被称为“停用词”，所以，在计算一篇文章的词频时，停用词是应该过滤掉的。

仅仅过滤掉停用词就能解决问题吗?也不一定。比如分析政府工作报告，“中国”这个词语必定在每篇文章中都出现很多次，但是对于每份报告的主干思想有帮助吗？对比“反腐败”、“人工智能”、“大数据”、“物联网”等词语，“中国”这个词语在文章中应该是次要的。

TF算法的优点是简单快速，结果比较符合实际情况。缺点是单纯以“词频”做衡量标准，不够全面，词性和词的出现位置等因素没有考虑到，而且有时重要的词可能出现的次数并不多。这种算法无法体现词的位置信息，位置靠前的词与位置靠后的词，都被视为重要性相同，这是不科学的。

联系到层次分析法的思想，可以赋予每个词特定的权重，给那类最常见的词赋予较小的权重，相应的较少见的词赋予较大的权重，这个权重叫做“逆文档频率”(Inverse Doucument Frequency，缩写为IDF)，它的大小与一个词的常见程度成反比。而TF-IDF值就是将词频TF和逆文档频率IDF相乘，值越大，说明该词对文章的重要性越高。这就是TF-IDF算法。

java余弦相似度的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于余弦相似度的取值范围、java余弦相似度的信息别忘了在本站进行查找喔。