EMNLP 2017 System Demonstrations
SGNMT—一个用于新模型和搜索策略快速原型设计的灵活NMT解码平台
SGNMT – A Flexible NMT Decoding Platform for Quick Prototyping of New Models and Search Strategies
剑桥大学
University of Cambridge
【摘要】本文介绍了SGNMT，我们用于机器翻译研究的实验平台。SGNMT提供了具有从左到右语义的神经和符号评分模块（预测器）的通用界面，如NMT，语言模型，翻译网格，n最佳列表或其他类型的评分和约束等翻译模型。预测器可以与其他预测器组合形成复杂的解码任务。SGNMT也实现了一些搜索策略，用于遍历由预测变量跨越的适合于不同预测器的空间。添加新的预测变量或解码策略非常简单，使其成为探索原型开发新研究思路非常有效的工具。SGNMT正在剑桥大学中的机器学习、语音和语言技术的硕士学位课程中积极使用，用于课程工作和论文，此外，也用于我们团队的大部分研究工作。
1 引言
我们正在开发一个称为SGNMT的开源解码框架，全称为语法导航神经机器翻译【http://ucam-smt.github.io/sgnmt/html/】。该软件包支持许多知名框架，包括TensorFlow【SGNMT依赖于TensorFlow https://github.com/ehasler/tensorflow】(Abadi et al., 2016)，OpenFST (Allauzen et al., 2007)，Block/Theano(Bastien et al., 2012; van Merrienboer et al.,2015)和NPLM (Vaswani et al., 2013)。SGNMT工具中的两个中心概念是预测器和解码器。预测器是评分模块，在给定当前内部预测器状态、历史、源语句和外部信息等情况下，定义目标语言词汇的分数。来自多个不同预测器的评分可以组合用于解码。
解码器是跨越预测器张成空间的搜索策略。SGNMT提供了常用的搜索树遍历算法（例如集束搜索beam search）。由于解码器的运行时间复杂度和他们所做的搜索错误的种类不同，所以不同的解码器适用于不同的预测器排列。
评分模块和搜索策略的严格分离以及评分模块之间的分离使SGNMT成为神经和符号模型的非常灵活的解码工具，不仅仅适用于机器翻译。SGNMT基于OpenFST-based的剑桥SMT系统(Allauzenet al., 2014)。虽然系统开发出来还不到一年，但我们认为这个系统对于新研究者来说是非常灵活和容易使用的。我们团队已将SGNMT投入到大部分研究工作当中。
我们还发现，SGNMT非常适合教学和学生研究项目。在2015-16学年，剑桥大学的两名学生在机器学习、语音和语言技术上使用了SGNMT作为他们的论文项目【http://www.mlsalt.eng.cam.ac.uk/Main/CurrentMPhils】，第一个项目涉及到使用SGNMT与OpenFST在SMT中应用子词模型(Gao,2016)）。第二个项目由LSTM开发自动音乐作品，其中使用WFSAs来定义“巴赫”合唱团(Tomczak, 2016)中允许和弦空间。LSTM提供了“创造力”，WFSA强制执行合唱团必须遵守的限制。这个第二个项目特别表明了这种方法的多功能性。对于当前的2016-17学年，SGNMT正在这两门课程中大量使用。
2 预测器
因此，SGNMT通过为机器翻译研究中使用的广泛的约束或模型提供通用接口来强调灵活性和可扩展性。该概念有助于快速构建新的研究思路。我们的平台旨在尽量减少实施所需的努力；一旦在SGNMT框架中成功证明了一个想法，生产系统的优化代码就可以生成，相对来说，解码速度是次要的。在SGNMT中，评分通过一个或多个预测器分配给部分假设。一个预测器通常具有单一的责任，因为它代表单一的模型或类型的约束。预测器需要实现以下方法：
1.initialize(src sentence)使用源语句初始化预测变量状态。
2. get state( )获取内部预测器状态。
3.set state( )设置内部预测器状态。
4.predict next( )给定内部预测器状态，为下一个位置的目标标记生成后验。
5.consume(token)通过向当前历史记录添加令牌来更新内部预测器状态。
预测器状态的结构和这些方法的实现在预测器之间有很大差异。表2列出了目前实施的所有预测器。表1总结了三种非常常见的预测器的接口语义：神经机器翻译（NMT）预测器，（确定性的）有限状态转换器（FST）用于格点求值的预测器，以及用于应用n-gram语言模型的n-gram预测器。我们还包括两个例子（字数和UNK数），它们没有一个自然的从左到右的语义，但仍然可以作为预测器。
表1 用于NMT，FST，n元LM和计数模块的预测器操作
