里行间都是充满着对林灰的赞美。
伊芙·卡莉很好奇林灰是怎么搞定南风app里面文本摘要技术的。
呃,其实林灰再南风生成式文本摘要处理技术是怎么搞定的很简单。
只需要大概七八步就可以轻松做到南风app里面的文本摘要处理技术:
1基于深度学习技术,设计合适的模型架构和训练策略。
2设计生成式自动文本摘要模型
3借助迁移学习的思想,提出了基于预训练模型的生成式自动文本摘要算法。
4通过无监督来完成内容表示以及权重计算
5……
……
步骤说起来简单。每一步来说对于这个时空的人都很难。
有的是思路上比较难想到这个方向。
有的是技术上单纯做不到。
而有的既是思路上想不到,又是技术上做不到。
就很悲催!
比如说步骤4里提到的无监督训练。
现在主流研究方向已经淡忘了无监督训练这个方向了。
在涉及到训练的时候更习惯监督训练。
而不是很侧重于无监督训练。
无监督训练对于这个时空的人来说似乎是一个很复古的研究方向。
在这个时空人的眼里。
无监督训练会带来训练结果发散的现象他们并不算很容易处理。
步骤3提及的预训练模型:
在自然语言处理中引入预训练模型。
按照正常的时间线则是16年左右出现的。
这项技术对于此时的nlp研究者来说是一种全新的概念。
而步骤1中的深度学习技术。
时下的人们虽然能想得到应用神经网络学习技术!
但却做不到深度学习,虽然深度学习和神经网路学习意思差不多。
这个时空神经网络的研究并不算特别深入。
14年虽