基于vsm的方法仍然有两点缺陷:
一方面当文本量很大时,生成的文本向量是非常稀疏的,这就导致了空间和计算资源的浪费;
另一方面vsm为达到简化模型的效果忽略了词语间的关系,但在很多情况下词语之间是存在联系的,因此简单地认为词语间相互独立是不合理的。
这两条缺陷尤其致命。
第一条直接影响处理相似度的效率,第二条直接影响词义相似度判别的准确度。
在这种情况下,vsm模型在使用了一段时间之后,研究人员就将这个模型抛弃了。
现在的人们具体应用什么计算文本相似度林灰也不是很清楚。
不过林灰注意到伊芙·卡莉先前发给他的邮件并没有提到向量有关的内容。
时下的研究人员似乎已经淡忘了向量化。
或许现在再说到利用向量化进行自然语言文本处理似乎是一个很复古的研究方向了。
但实际上向量化这个方向仍然有潜力可以挖掘。
应用分布式词向量完全可以进行文本相似度计算。
不过这个时空的人们不知道也很正常。
林灰记得前世涉及到自然语言处理这方面很多重要成果都是2013年、2014年这两年井喷出来的。
前世涉及到文本相似度模型的架构这方面。
用于计算语义文本相似度的分布式词向量这项技术就是就是在2013年诞生的。
前世正是在分布式词向量问世后,语义文本相似度才取得了突破性的进展。
这个时空节奏上慢了两年,应用分布式词向量计算文本相似度没被提出来也很正常。
一步落后,步步落后。
节奏上慢这两年时间的话,这个时空无疑很多方面都落后了。
这些对于林灰无疑是个好消息。
应用分布式词向量来构建计算文本相似度的方法虽然说起来容易。