图4：VStation 调度系统
其中，水平扩展调度器支持横向扩容，每个调度器拥有几乎全部的集群信息，方便掌握全局资源；采取增量同步、定时更新、局部缓存的方式，尽可能多地掌握全局视图，并且维持集群状态信息的准确性。
调度决策方面，将可能过滤掉更多物理机的基础条件放在调度器的靠前位置，过滤掉无法满足基本条件的物理机列表，减少调度过程中物理机集合在不同调度器之间的传递；同时，根据多个维度，如物理机资源使用率、剩余资源等，对满足装箱条件的物理机进行排序，尽可能优先使用优质Host资源，合理调配。此外，避免多个调度器在并发时选中相近的物理机，对经过排序后的物理机进行随机调整，减少大并发时造成的冲突。
3.资源创建与交付
解决资源调度问题后，需要在选中的物理机上创建虚拟机资源，其中有一些耗时的硬性阶段无法解决，VStation对此结合资源创建过程的的特点，做出了令人满意的优化，把单台虚拟机创建时间基本控制在3-5秒。
前面提到，资源创建需要与诸如用户控制数据、网络服务、存储服务、镜像服务、密钥、安全组服务等进行交互，完成用户与所创建的虚拟机资源之间的映射。VStation平台设计之初就考虑到高并发，批量创建的场景，对周边系统的交互实现了并行化通信。同时，为支持高并发，提高服务的吞吐量，每种与其他服务交互的工作进程通过高可用消息队列通信，都是无状态和可扩容的。真正实现了高可用、高并发、自动容灾。图5是VStation 内部系统的核心架构。
图5：VStation 后台架构
VStation 通过高可用的消息队列，控制数据与周边系统交互的工作进程间通信，同时对创建过程中的关键任务按照依赖关系实现并行化，最大限度的压缩创建总耗时。针对高并发请求，为减少对系统自身的影响，系统具备以下特性：
1、控制信息载荷自动压缩
控制消息携带了CVM实例的各种控制信息：计算、存储、网络以及各种元数据信息。随着系统功能增加，控制层面数据也有所增长，控制信息载荷增大。使用压缩算法在投递消息前进行压缩并在接受消息后解压缩，能够大大降低消息占用消息总线，提高消息吞吐率。目前VStation 使用开源LZ4 - Extremely fast compression压缩和解压缩算法，压缩速率可达到780 MB/s，解压缩速率在4970 MB/s，压缩率在2倍左右。
2、负载平衡
分布式系统中会使用多个实例以增加系统请求响应吞吐率，控制模块负载平衡可以保证请求均匀地被各个worker处理。负载平衡需要后台处理请求的worker均匀分配到不同处理实例上，降低等待队伍长度，并发执行任务。同时需要将虚拟机实例尽量均匀地分配在不同Host。将并发请求尽可能均匀地分在不同物理机，有利于加快办法创建速度。生产虚拟机较为耗时的任务有创建虚拟机磁盘、下载虚拟机镜像、申请网卡、配置网络等。如果多台虚拟机串行地在同一台物理机上创建，必然是系统瓶颈，创建耗时延长。VStation Scheduler 在装箱时，每个Scheduler实例有近乎全局的资源视图，对同一批次的创建任务，可以在虚拟机并发装箱时保证虚拟机尽量不落在同一台物理机。
3、流控系统
当请求数超过系统承载能力时，如果不加控制，会对周边系统造成危害，导致系统过载，内部组件异常（如DB慢查询、不响应、消息队列丢消息），破坏性较大，严重时会造成服务不响应，甚至用户数据不一致。VStation增加排队机制，降级服务，而不是返回系统内部错误，以提升用户体验。流控系统由以下几个方面组成：
- 关键请求频次控制：在API请求频次上对用户做限制，防止恶意用户频发请求系统，如恶意购买，刷单等。
- 用户配额限制：限制用户随意申请资源，尤其是按量资源，限制配额。
- 后台请求排队与流速控制：任何系统都有能承载的处理容量，当VStation正在处理的请求超过一定阈值时，对新加入的请求不做拒绝处理，而是放入等待队列中待正在处理的任务完成后继续执行。
图6：VStation 流控系统
4、任务编排优化
一个完整的创建任务涉及到的各种子任务较多，单纯串行执行虽然逻辑清楚且维护简单，但不利于充分发挥系统能力，高并发创建场景中耗时较长。通过分析虚拟机实例创建过程中的各种依赖关系，将不耦合的任务并行执行，把简单的单项图转换成有向无环图（DAG），进一步提升任务的并行度。
图7：创建流程任务优化
调整后，单台CVM实例创建任务可以控制在5秒以内。
4.虚拟机初始化
提到云主机的初始化，CVM 支持使用云原生的cloud-init服务，支持云计算主机镜像初始化协议，用户通过传入自定义的脚本程序，实现云主机创建后自动执行预定义配置。同时，腾讯云提供实例metadata 服务。用户在自定义脚本程序中可以访问实例metadata服务获取与实例有关的信息，如IP地址、实例名称等，来实现每个实例的特殊化配置。
