在伊芙·卡莉陈述完成后。
林灰领略到了她的意思。
不过却并没有正面回答伊芙·卡莉的问题。
而是反问伊芙·卡莉:“关于使用向量介入进行语义文本相似度计算你怎么看?”
虽然这是林灰在这次交流中提出的第一个问题。
但这个问题让伊芙·卡莉多少有点措手不及。
伊芙·卡莉不太清楚林灰为什么提出这个问题。
莫非可以不依靠向量来进行语义文本相似度计算吗?
可这怎么能做到呢?
机器识别文本时为了要机器识别自然语言,往往将自然语言数值化。
而将这些数值进行属性区分则必须进行向量化。
这种方法已经有很长时间历史了,伊芙·卡莉记得在1977年(这个时空)就有研究人员首次提出向量空间模型vsm了。
一经提出这种研究方法就比较受欢迎。
虽然很快这种方法就被发现了有不小的漏洞。
利用vsm方法的话,当文本量很大时,生成的文本向量是非常稀疏的,这就导致了空间和计算资源的浪费;
另外vsm为达到简化模型的效果忽略了词语间的关系,而在很多情况下词语之间是存在联系的,因此简单地认为词语间相互独立是不合理的。
尽管有着明显的漏洞,但在之后近四十年的历史中,人们仍然要引入向量进行语义文本相似度分析。
以伊芙·卡莉先前的团队,虽然他们在先前用的是基于网络知识计算文本相似度的方法。
但本质上也只是将wiki百科中的网页内容映射为高维向量,
再通过基于向量空间的方法进行语义文本相似度计算。
可以说依旧没能离开向量空间的壳子。
虽然四十年后,当年遇到的所谓的“空间和计算资源浪费”某种程度上可以通过硬堆计算力可以暴力解决。
但这仅