同时，火山引擎提供安全互信的推理方案，保障模型提供商与模型使用者的模型与数据安全，客户可直接使用模型供应方已部署的在线服务或便捷地将精调模型部署为在线服务。
做好大模型服务，还需要解决三个问题
大模型领域的百花齐放，不仅仅带来了算力需求的大幅增长，还让人们意识到：模型也可以成为一种资产。
在现场，谭待分享了自己眼中「做好大模型面临的三个问题」，这也是火山方舟大模型服务平台希望解决好的三个问题。
第一个问题是「安全和信任」。
相比于以往「自产自销」的 AI 模型，今天的大语言模型突出了「模型作为资产」的重要性。模型提供商提供了模型参数和模型结构，自然希望保护知识资产，避免千辛万苦研发出来的核心技术泄露；而模型使用方希望调用模型的输入和输出不被获取和记录，保护自己核心的业务数据、精调数据不会泄露。「资产」能否获得合格的保护，将深刻影响大模型应用的市场格局。
针对这个问题，火山方舟面向不同的业务场景和需求， 将安全沙箱与三方审计、硬件支持、联邦学习三种流派将融合为多套方案，为大模型服务商和应用企业提供了双向的信任机制。
目前，平台已经上线了基于安全沙箱的大模型安全互信计算方案，利用计算隔离、存储隔离、网络隔离、流量审计等方式，实现了模型的机密性、完整性和可用性保证，适用于对训练和推理延时要求较低的客户。同时还在探索基于 NVIDIA 新一代硬件支持的可信计算环境、基于联邦学习的数据资产分离等多种方式的安全互信计算方案，更全面地满足大模型在不同业务场景的数据安全要求。
第二个问题是「性价比」。
未来的大模型市场必然是百花齐放的生态，在这样一个生态系统中，可能同时存在少数的超级大模型、多个中等规模的大模型和无数面向具体行业的垂类模型。超大的基座模型未必能够搞定一切，有时候，一个经过良好 finetune 的小模型，在垂直领域的一项特定任务上的表现可能不亚于一个通用的大基座模型，但推理成本能降低到原来的十分之一。
对于企业客户来说，这意味着解决实际业务场景问题可能需要一套「组合拳」，对于大模型的应用会呈现出「1 N」的应用模式。
不过，挑战也是一目了然的：首先，选择和决策的过程会非常复杂，逐家试用反而会导致更高的成本；其次，如何做 prompt、如何组织 metric 和数据集、如何科学地 fine-tuning，也需要一些经验和技术的积累才能完成。
在真实的应用场景里面，成本和收益的比例是无法绕过的问题，所以选择大模型优先要考虑性价比。只有把模型的推理成本做到足够低，才能让大模型真正地被广泛使用起来。
火山方舟丰富的模型精调和评测支持可以让这件复杂的事情简单化，企业用统一的工作流对接多家大模型，可设置高级参数、验证集、测试集等功能，再通过自动化和人工评估直观对比模型精调效果，在不同业务场景里还可灵活切换不同的模型，实现最具性价比的模型组合。这些自定义指标和评估数据的积累，也将成为企业在大模型时代宝贵的数据资产。
第三个问题是「生态系统」。如果大语言模型被比喻为 CPU，那么火山方舟要做的事情就是制造出整块主板，丰富下游服务，进一步提升大模型的落地表现。
后续计划包括两项：首先，工具链和下游应用插件需要持续完善。火山方舟团队将基于大模型基座的理解能力和规划能力打造工具链，提供大量的插件并为每个插件配套数据集；其次，打造垂直领域模型的微服务网络，内置包括图像分割、语音识别等众多专业模型，便于企业客户随时调用、自由组合。
方舟，与其背后的「引擎」
从整个大模型应用市场来看，大模型服务平台获得企业客户的前提之一，也包括持续获得众多大模型提供商的支持。
能够迎来国内数家顶尖大模型提供商的积极入驻，火山方舟当然有自己的优势。
对于模型提供商来说，一方面，火山方舟是「大模型技术」与「火山引擎机器学习平台」的有机整体，能够提供可靠的算力供应、持续的性能优化、有竞争力的性价比。
作为首批入驻的大模型提供商，据智谱 AI CEO 张鹏介绍，智谱 AI 在火山引擎平台上解决了千亿模型训练的稳定性、性能优化等挑战；MiniMax 联合创始人杨斌则表示，MiniMax 在火山引擎上实现了从月至周级别的大模型迭代速度，和指数级的用户交互增长。
另一方面，借助火山方舟平台，模型提供商不需要去管理非常底层、复杂的事项，就能够向客户提供稳定服务，更低成本触达广泛客户，快速获得技术的回报。在技术之外，火山引擎的算法团队、解决方案团队和交付团队也会共同协助企业客户与大模型提供商之间对齐需求，促进大模型的落地加速。
此前，很多国内训练大模型的厂商都使用火山引擎的云服务，而从今以后，它们不仅能在火山引擎平台上花钱，还能够在火山引擎平台上赚钱。
每一次技术的大变革，都会带来体验创新的新机会。在大模型热潮的推动下，包括火山引擎在内的云厂商同样面临着快速变化的行业格局。能否把握住变革中的机会，却与此前的技术布局分不开。
如下图所示，位于基础设施层的火山引擎为大模型的推理提供高可靠的保障以及企业级的负载均衡和容错能力。随着平台的不断迭代，其对大模型的资源供应将更为弹性、动态和廉价。利用流量错峰、训推一体等手段，大模型推理的单位成本将进一步降低，这也是「大模型上云」带来的重要优势。
除此之外，火山引擎还将与大模型提供商联合进行深度的性能优化。以 Lego 算子库为例，在训练场景下，使用该高性能算子库可将 Stable Diffusion 模型在 128 张 A100 的训练时间从 25 天减少到 15 天，训练性能提升 40%。
在火山引擎的发展历程中，与英伟达的紧密合作也是一大亮点。此前，双方共同完成的 GPU 推理库 ByteTransformer 在 IEEE 国际并行和分布式处理大会（IPDPS 2023）上获得最佳论文奖。火山引擎和英伟达还联合开源了高性能图像处理加速库 CV-CUDA，并在大规模稳定训练、多模型混合部署等方面的技术合作上取得成效。
NVIDIA 开发与技术部亚太区总经理李曦鹏表示，未来双方将继续深化合作，包含在 NVIDIA Hopper 架构进行适配与优化、机密计算、重点模型合作优化、共同为重点客户提供支持，以及 NeMo Framework 适配等，携手助力大模型产业繁荣。
据了解，在火山方舟推向市场之前，团队已经利用众多的内部场景打磨和改进了平台。迄今，字节跳动有 10 余个业务线正在探索接入和试用火山方舟平台，覆盖文本和图像生成、对话代码辅助、信息检索、营销创意、电商办公效率等应用。
在大模型落地的关键探索时期，火山方舟的诞生恰逢其时，也收获了足够的注视。但作为一个新生事物，它必然还要广阔的成长空间，而接下来的路，就需要大模型领域中的每一位参与者共同携手走下去了。
