摘要： 训练好的模型不知道如何布置到生产环境？快来学习一下吧！
将机器学习（ML）模型应用于生产环境已成为一个火热的的话题,许多框架提供了旨在解决此问题的不同解决方案。为解决这一问题，谷歌发布了TensorFlow（TF）服务，以期待解决将ML模型部署到生产中的问题。
本文提供了一个关于服务于预先训练的卷积语义分割网络的实践教程。阅读本文后，你将能够使用TF服务来部署和向TF训练的深度CNN发出请求等操作。另外，本文将概述TF服务的API及其工作原理。如果你想学习本教程并在计算机上运行示例，请完整了解本文。但是，如果你只想了解TensorFlow服务，你可以专注于前两部分。
TensorFlow服务库-概述首先我们需要花一些时间来了解TF Serving如何处理ML模型的整个生命周期。在这里，我们将介绍TF服务的主要构建块，本部分的目标是提供TF服务API的介绍。如需深入了解，请访问TF服务文档页面。
TensorFlow服务由一些抽象组成，这些抽象类用于不同任务的API，其中最重要的是Servable，Loader，Source和Manager，让我们来看看他们之间是如何互动的：
简单来说，当TF Serving识别磁盘上的模型时，Source组件就开始工作啦，整个服务生命周期也算开始了，Source组件负责识别应加载的新模型。实际上，它会密切关注文件系统，以确定新模型版本何时到达磁盘。当它看到新版本模型时，它会为该特定版本的模型创建一个Loader。
总之，Loader几乎了解模型的所有内容，包括如何加载以及如何估计模型所需的资源，例如请求的RAM和GPU内存。Loader还有一个指向磁盘上模型的指针以及用于加载它的所有必要的元数据。但是有一个问题：加载器不允许加载模型。创建Loader后，Source会将其作为Aspired Version发送给Manager。
收到模型的Aspired Version后，Manager继续执行服务过程。这里有两种可能性，一个是推送第一个模型版本进行部署，在这种情况下，Manager将确保所需的资源可用，完成后，Manager会授予Loader加载模型的权限；第二是我们推出现有模型的新版本，在这种情况下，管理员必须先咨询版本策略插件，然后再继续操作，版本策略确定如何进行加载新模型版本的过程。
具体来说，在第一种情况下，我们可以确保我们的系统始终可用于传入客户的请求。此时，我们同时加载了两个模型版本，只有在加载完成后，Manager才会卸载旧版本，并且可以安全地在模型之间切换。另一方面，如果我们想通过不使用额外缓冲区来节省资源，我们可以选择保留数据。最后，当客户端请求模型的handle时，管理器返回Servable的handle。
在接下来的部分中，我们将介绍如何使用TF服务提供卷积神经网络（CNN）。
导出服务模型为TensorFlow构建的ML模型提供服务的第一步是确保它的格式正确，为此，TensorFlow提供了SavedModel类。
SavedModel是TensorFlow模型的通用序列化格式，如果你熟悉TF，则可以使用TensorFlow Saver来保留模型的变量。
TensorFlow Saver提供了将模型的检查点文件保存到磁盘或从磁盘恢复的功能。实际上，SavedModel包装了TensorFlow Saver，它是导出TF模型进行服务的标准方式。
SavedModel object有一些很好的功能。首先，它允许你将多个元图保存到单个SavedModel对象，换句话说，它允许我们为不同的任务提供不同的图表。例如，假设你刚刚完成了模型的训练。在大多数情况下，要执行推理，你的图表不需要某些特定于训练的操作。这些操作可能包括优化器的变量，学习速率调度张量，额外的预处理操作等。此外，你可能希望为移动部署提供量化版本的图形。
在此环境中，SavedModel允许你使用不同的配置保存图形。在我们的例子中，我们有三个不同的图形和相应的标签，如“训练”、“推理”和“移动”。此外，这三个图形为了提升内存效率还共享相同的变量集。
就在不久前，如果我们想在移动设备上部署TF模型时，我们需要知道输入和输出张量的名称，以便向模型提供数据或从模型获取数据。这需要强制程序员在图的所有张量中搜索他们所需的张量。如果张量没有正确命名，那么任务可能非常繁琐。
为了简化操作，SavedModel提供对SignatureDefs的支持，SignatureDefs定义了TensorFlow支持的计算的签名。它确定了计算图的正确输入和输出张量，也就是说使用这些签名，你可以指定用于输入和输出的确切节点。要使用其内置的服务API，TF Serving要求模型包含一个或多个SignatureDefs。
