今日关注:火山引擎总裁谭待:未来企业将在多个场景应用多个模型,需要平台把多模型服务好

2023-06-29 18:34:10 搜狐科技

出品 | 搜狐科技

作者 | 潘琭玙

6月28日,在火山引擎“V-Tech体验创新科技峰会”上,火山引擎发布大模型服务平台“火山方舟”,面向企业提供模型精调、评测、推理等全方位的平台服务(MaaS,即Model-as-a-Service)。


(资料图)

目前,“火山方舟”集成了百川智能、出门问问、复旦大学MOSS、IDEA研究院、澜舟科技、MiniMax、智谱AI(以拼音首字母排序)等多家AI科技公司及科研院所的大模型,并已启动邀测,首批邀测企业包括金融、汽车、消费等众多行业的客户。

在会后的媒体对话中,火山引擎总裁谭待向搜狐科技在内的媒体指出,目前已有7家大模型提供方加入平台,火山会对进入平台的大模型进行精选,“我们希望是已训练好的模型,在合规等方面做得比较好,基本达到可用的形态。”

另外,谭待阐释了火山方舟的设计与推出,是基于火山认为未来企业应用大模型将会是多模型并用的模式,所以火山方舟会支持多个模型上云的提供服务。

他判断,企业使用大模型,未来可能会呈现“1+N”的模式,“1”是通过自研或深度合作,形成1个主力模型。另外,由于成本和场景复杂多元等原因,在这个主力模型之外,还会有N个模型同时应用。

火山引擎智能算法负责人吴迪也补充道,训练大模型很昂贵,但长期来看,模型的推理开销会超过训练开销。效果和成本的矛盾永远存在,吴迪认为,降低推理成本会是大模型应用落地的重要因素。

“一个经过良好精调的中小规格模型,在特定工作上的表现不亚于通用的、巨大的基座模型,而推理成本可以降低到原来的十分之一。”他表示。

谈及大模型的隐私安全问题,谭待认为,如果将大模型私有化部署,企业将承担更高的成本,模型生产方也会担心知识资产安全。

吴迪介绍,“火山方舟”已上线了基于安全沙箱的大模型安全互信计算方案,利用计算隔离、存储隔离、网络隔离、流量审计等方式,实现了模型的机密性、完整性和可用性保证,适用于对训练和推理延时要求较低的客户。

提及平台如何平衡公司自研大模型与其他大模型的关系,谭待也明确表示火山不做大模型。但他也提到,若字节内部其他团队有成熟的大模型也将会放在“火山方舟”平台上,“每个模型在不同场景性价比有所差异,客户会自行进行选择。”

针对近期各大云厂商纷纷降价的消息,谭待也在对话中回应,“首先我们的价格已经比较便宜了,所以没有必要。”他也指出针对刊例价的降价与大客户上云所签的折扣价没有关系,“省不仅是采购价格上,也是在采购产品之后能不能跑得比其他的竞品更快。”

以下为对话实录,经编辑:

媒体:我们应该如何看待火山方舟这个平台,是否类似于MaaS平台?

谭待:方舟本身从层次上是属于MaaS这一层,但是它和以前端到端闭环的MaaS不同的是,它是一个开放的MaaS,行业这些模型都可以放上去,应用者和开发者在里面找到多个行业的模型。

媒体:目前火山方舟平台内的模型提供商有没有一个具体的数字?现在可能国内已有70多家做大模型的公司,具体在方舟上正在洽谈合作大概是什么数字?

谭待:火山方舟最终服务的是模型应用方,也就是广大的企业客户,我们和大模型的生产方合作,他们在我们的平台上部署,然后对外进行提供服务。

我们对进入方舟平台内的大模型提供商还是需要进行精选,希望是模型已训练好,在合规等方面做得比较好,基本达到可用的形态,再放到方舟平台上来。后续也会有更多厂商加入,和模型生产速度是有关系的,大家未来可以看到陆续的披露。

媒体:字节内部也在开发字节的大模型,今天我们看到火山方舟推出的平台。我想了解一下我们字节研发的模型会不会放在火山方舟里面一块提供服务?以及它们两者之间的关系怎么平衡?

谭待:火山方舟是个开放的平台。字节内部其他团队如果做好了模型,大概也会上到方舟平台上对外提供,它在方舟上就是众多模型的一个。至于如何平衡自己的大模型和其他合作方的大模型,我觉得这是客户自己的选择,不需要火山来平衡。我认为一个企业未来一定会在多个场景应用多个模型,因为每个模型在不同场景性价比是不一样的,这是一个开放的市场,自然而然取得平衡。

媒体:这几个月我们也看到阿里云腾讯云说开始要降价了,火山引擎有相关的动作吗?因为我们GPU很多,GPU有没有一些相应的措施?

谭待:首先我们的价格已经比较便宜了,所以没有必要。而且大的客户上云,签的都是折扣价,折扣价和刊例价的降价是没有关系的。最重要还是看是不是真的让客户更省钱,能否提升效率,而不是一个刊例价的波动。

为客户省钱是火山引擎很重要的事情,省不仅是采购价格上,也是在采购产品之后能不能跑得比其他的竞品更快,这也是客户考虑的省的要素。

相当于你通过你的工程平台,火山平台能够让它把GPU的物理极限用到最满,用这个平台再加上底层的服务器,性价比是最高的。

媒体:我们经历了早期的ChatGPT火热之后,现在有几家已经开始布局所谓的平台。请问怎么看待这样一个趋势?大家觉得还是通用型的大模型的机会太少了吗?火山未来是不是也会更侧重在产业大模型?

谭待:我自己预判未来可能头部会有几个超级大的(模型),非常大所以成本也非常高,中部的可能相对没有那么贵。各个行业里面会有进一步缩减之后的模型,所以未来是每一层都有机会。

我们认为,在每一个场景里应该选择最合适的模型。就像招聘员工,你不可能每个员工都要博士学位,会根据工作的难度,衡量不同学历的人。

另外,在具体行业里,行业上的数据是有壁垒的。现在大家用公开数据来做通用模型是没有问题,但是未来进入到某一个行业的时候,你有没有这个数据是很大的差别。

还有安全性的问题,有的客户需要私有化,有的客户需要专有云,有的可以公开来使用。不同的模型对他自己的知识产业的保护也是不一样的。

我自己觉得很难有一个模型能解决所有的问题,因为我们认为未来会是多模型,所以需要平台把多模型服务好,让企业可以更方便使用对应的模型。所以火山侧重提供平台,提供安全、低成本的应用服务,我们自己是不做模型的。

媒体:未来这个大模型MaaS平台上会如何定价?会不会延续云产品的低价策略?

谭待:价格低不是一个商务手段,价格低是要通过技术,持续把成本做低。短期降价最后用规模换收入不可行。我们说性价比是强调通过技术来实现性价比。

吴迪:价格体系上,我们会把资源供应给大模型提供方,在这个供应里面就有一定的IaaS层面的利润。然后大模型供应方会在上面刨除基本成本。他们的基本成本上再叠加一个他们认为的合理利润,成为他们大模型在火山方舟的定价。

下游客户的支付是两部分,第一个是模型服务费。第二个是平台服务费,平台服务费在相当长的时间我们都会设置成零。

在客户使用过程中,模型调用的钱,肯定给到对应的模型方,也可以认为这是一种分成。另外,客户肯定也会使用到其他的云服务,比如说存储,火山引擎会正常收费。

至于把成本做低的技术手段,我们花了很多年的时间深耕技术内功。第一个在基础模型优化,包括算子优化等等。第二点,我们要基于云的规模化效应,利用错峰、利用训推一体把整体的利用率打上去,就能把单位价格打下去。

这也是为什么在大模型时代,大家的应用需要更多用于上云,因为能够天然通过云的规模化来获得更低的单位成本。

媒体:最近很多厂商都在发布相关的模型服务平台,在两位看来火山引擎平台最大的优势在哪里?

谭待:跟其他很多云厂商单纯提供一些算力,提供一些基础底座不一样。我们火山方舟平台一方面会在资源和优化方面跟模型提供商进行深度合作,把推理成本往下打。火山算法团队也会和客户做重点的应用共建和应用落地,我们想催化大模型、大算力在千行百业的落地速度。

还有一个很重要的是大家首先理念就不一致。很多友商推出模型平台,但是其实模型也是自己做的,模型平台也是自己做的,是很封闭的端到端。他们可能认为未来一个模型就够了,我们理念认为未来肯定是多个模型,所以我的平台一定要支持多个模型上云的提供服务。所以这个理念代表平台能力是完全不一样的。

还有一个是,这些本身业界做的比较好的独立模型,大部分的训练都在火山引擎上,所以我们已经跟他建立了很强的合作关系和信任感,把推理放到火山上就顺理成章。我们在训练端就跟这些企业有很好的基础,而且这件事做好之后对他们也有很大价值。训练和推理放在一起对他的成本也有很大的节省。

另外还有安全的能力,如果是一个端到端的闭环,很难用第三方安全方案证明安全,只有第三方的平台才能具有三方安全的数据托管。

责任编辑:

标签:

相关文章
最新发布
精彩图文
精彩推送

Copyright @  2015-2018 华南it网版权所有  备案号:粤ICP备18025786号-52   联系邮箱: 954 29 18 82 @qq.com