专业翻译公司
专业翻译公司
翻译公司 > 新闻动态 > >
栏目分类
  • 同声传译设备深圳市福田区上步工业区上航大厦503
  • 同声传译设备13714988755
  • 同声传译设备2586772362@qq.com
  • 同声传译设备0755-83244993
专业翻译公司
专业翻译公司
专业翻译公司
谷歌推出了基于注意机制的全新翻译框架!
                                               2017-06-20 10:19

谷歌最近与多伦多大学等高校合作发表论文,提出了一种新的网络框架——Transformer。Transformer是完全基于注意力机制(attention mechanism )的网络框架,放弃了RNN和CNN模型。

众所周知,在编码-解码框架中,主流的序列传导模型都是基于RNN或者CNN的,其中能完美连接编码器和解码器的是注意力机制。而谷歌提出的这一新框架Transformer,则是完全基于注意力机制的。

 

Transformer用于执行翻译任务,实验表明,这一模型表现极好,可并行化,并且大大减少训练时间。Transformer在WMT 2014英德翻译任务上实现了28.4 BLEU,改善了现有的最佳成绩(包括超过2个BLEU的集合模型),在WMT 2014英法翻译任务中,建立了一个新的单一模式,在八个GPU上训练了3.5天后,最好的BLEU得分为41.0,这在训练成本最小的情况下达到了最佳性能。由Transformer泛化的模型成功应用于其他任务,例如在大量数据集和有限数据集中训练英语成分句法解析的任务。

 

注意力机制是序列模型和传导模型的结合,在不考虑输入输出序列距离的前提下允许模型相互依赖,有时(但是很少的情况),注意力机制会和RNN结合。

 

模型结构如下:

 

编码器:编码器有6个完全的层堆栈而成,每一层都有两个子层。第一个子层是多头的self-attention机制,第二层是一层简单的前馈网络全连接层。在每一层子层都有residual和归一化。

 

解码器:解码器也是有6个完全相同的层堆栈而成,每一层有三个子层,在编码栈的输出处作为多头的attention机制。

 

注意(attention):功能是将Query和一组键-值对映射到输出,那么包括query、键、值及输出就都成为了向量。输出是值的权重加和,而权重则是由值对应的query和键计算而得。

翻译任务

雷锋网了解到,谷歌这一模型在众多翻译任务中都取得了最佳成绩,其泛化模型也在其他识别任务中表现优异。谷歌对这一基于注意力机制的Transformer表示乐观,研究人员很高兴看到模型在其他任务中表现良好,谷歌计划研究Transformer的更广泛应用——其他形式的输入输出,包括图像、音频及视频等。

 
上一篇:深圳翻译公司在翻译服务中的价值 下一篇:文学翻译会被人工智能取代吗?