笔奇阁

繁体版 简体版
笔奇阁 > 穿越:2014 > 第155章 你渴望推开那扇门么(下)

第155章 你渴望推开那扇门么(下)(7 / 8)

仅是能解决当年遇到的难题而已。

现在文本处理时面对的信息量复杂程度和当年完全不可同日而语。

此时的向量化面对着全新的困难——维度爆炸!

维度灾难(又名维度的诅咒)是一个最早由理查德·贝尔曼在考虑优化问题时首次提出来的术语,用来描述当数学空间维度增加时,分析和组织高维空间(通常有成百上千维),因体积指数增加而遇到各种问题场景。

当在数学空间上额外增加一个维度时,其体积会呈指数级的增长。

这样的难题在低维空间中不会遇到。

比如物理空间很少会遇到这样的问题,毕竟物理上通常只用三维来建模。

说起来很神奇,尽管物理上很难遇到维度爆炸问题。

但在自然语言处理、机器学习方面维度爆炸是常有的事情。

在这一领域随便一点信息量都会轻而易举地突破三维。

其实在很多领域中,如采样、组合数学、机器学习和数据挖掘都有提及到维度爆炸的现象。

这些问题的共同特色是当维数提高时,空间的体积提高太快,因而可用数据变得很稀疏。

在高维空间中,当所有的数据都变得很稀疏,从很多角度看都不相似,因而平常使用的数据组织策略变得极其低效。

事实上伊芙·卡莉她们先前团队所应用的基于网路知识进行文本相似度衡量时。八壹中文網

如果直接对所有网页进行分析,往往会导致知识含量稀疏计算困难。

事实上,这种情况就是因为维度爆炸所导致的。

伊芙·卡莉很清楚现在这种利用向量引入到语义文本相似度的方法会带来维度爆炸。

林灰为什么突然询问她如何看到将向量引入到计算语义文本相似度呢?

莫非林灰真的有什么办法能够妥善处理维度爆炸这一问题吗?

可是在机器学习、自然语言处理方向的维度爆

『加入书签,方便阅读』