【奇绩潜空间】袁进辉分享笔记
# 潜空间「袁进辉」1020 社区版
# Talk——《AI Infra创业10年得与失》
今天我分享的内容可能在其他公开场合基本不太会看得到,特别是关于个人的创业工作过程中的一些思考。我标题起的名字是十年创业,的确正好是十年。
## 为大模型到来铺路 System 的想法由来 —— OneFlow
在这十来年间比较深刻的一些个人体会,首先我说一个关于第一阶段创业有什么样的成就或者成绩,以这为出发点,**大家应该很好奇为什么在大模型还没热的时候,我就那么相信大模型,甚至开始为大模型准备 system?**
system相关的 work 大概是从 16 年就开始做的,后面会有很多的实例,来解释这个想法是怎么来的。
基本上我觉得值得说的有这么三点。
1. **第一个,全球范围内做通用深度学习框架的公司应该基本上都是大公司, OneFlow 是其中唯一一家创业公司。**我们知道著名的深度学习框架基本上是谷歌、Theano、Facebook Meta、亚马逊也一度做过 MXNet,包括微软、国内的百度 Paddle,华为MindSpore。
观察下来,应该说在海外也没有创业公司,以创业公司的身份来做这么庞大一个项目,这个项目基本上是百万行代码级别的一个复杂系统,所以这个地图上展示了一下国内外的主流玩家,基本上 OneFlow 是最小的一家。也是到今天为止唯一的创业公司。
2. **第二个,从 Day One 开始,公司就是瞄准模型变得非常大之后,这个框架该怎么做?**
如果大家在很早的时候就加入深度学习这领域的话,比如从 10 年前就加入,应该知道那个时候的模型常见的就几千万参数,从来没有想象过这个模型参数变得非常大,以至于十亿参数、百亿参数、到今天千亿参数。但是我们做 OneFlow 的时候,一开始招人融资、讲故事从来没有变过——一直以\&\#34;当模型变得非常大之后\&\#34;开场,同时也一直坚信这个模型一定会变非常大。
当变得非常大之后,当时的系统包括 Tensorflow 都不是为这种很大的模型所思考和设计的。当时我们就有一个想法,就是一旦发生模型变得很大的情况,就无法从当时的主流框架 incremental 解决之后的问题,再通过小修小补来支持变大的模型是远远无法满足需求的,所以需要从 Day One 开始就为这种未来我相信一定会发生的事情做准备。那么有这种认知,相应的产品就能一下子弯道超车。
3. **第三个,在这几年时间内从一个系统设计的角度来说,非常漂亮地解决了模型变大后所需要的技术**,包括今天我们都很熟悉的流水并行、数据并行、模型并行等等,今天讨论的几乎每个大模型公司每天都在使用这些技术。
**基于此,后面 OneFlow 的一套做法,实际上是对国内外主流的深度学习框架产生了比较多的影响。 **
2021 年的时候,类似 Google 和 Pytorch 这种团队其实才开始思考模型变得很大之后,相应的系统该怎么做? 21 年 Pytorch 团队邀请我去给整个团队做了一次分享,所以我当时就讲了 OneFlow 是怎么解决自动并行以及其他高度复杂的各种并行技术。
实际上 OneFlow 是更早的启动,而 Pytorch 的做法是跟随了我们的脚步,没有跟随谷歌的做法。
这背后大家有一些异曲同工的地方,就是当都想到当这个问题大家都意识到的时候,不同的团队也都非常聪明,也都会基于这些想法去创造发明,有的想法会不谋而合,但是有一点说明的是** OneFlow 的确是非常早在做这些事情,而且完整地做出来了,做出来之后还影响了整个国内外的主流框架。**
其实后来知道像国内的 Paddle、MindSpore,他们都做得比较晚,实际上也在设计理念和系统这一块跟随了我们最早的做法。可以说一个特别之处就是在非常识的条件下,做了一件大家都不相信的事情,后来也产生了一定影响,这是从技术上的一个结果,当然我接着就解释一下为什么会产生在当时看上去不太可能的这一种想法。
## 为何相信模型会变大?
如果只从 2014 年开始追溯,那么在 2014 年微软亚洲研究院的时实际上做过一个研究,这篇论文一直没有投出去,但是这个想法到今天仍然是成立的。那上面的这篇文章就是我在 14 年投递在北京召开的 ICML 的文章,但是没有中。后来这篇论文一直就存在硬盘里,直到 2021 年的时候,我发现这个行业内越来越多的人在说类似的问题和思考,包括一些成果非常好的paper,我们 2021 年的时候又把它放在 ArXiv 上了。
### 研究问题
**这篇论文主要在研究什么问题呢?**
**基本是怎么自动化地学习神经网络的结构。**在2014年,那时候的工作重心是不停地尝试各种各样的神经网络结构,比如说VAE、ResNet、RNN、CNN等等。会发现不同的神经网络结构,它的表现差异比非常大,但是当时没有理论手段来回答为什么这个结构比另一个结构就好,都是靠运气试出来的,当运气好试出来一个好的显结构之后,就可以发一篇很好的paper;但如果运气差,那就没有任何办法了。
我们那个时候就在思考**有没有办法自动地学习到一个神经网络——就是给一批任务和数据,自动地用理论指导的方法去学到一个 optimal 的神经网络结构**。
### 研究手段
**这背后的主要研究手段就是从压缩的角度,用信息论的手段。**
从压缩的手段认为模型是对外部世界的一个压缩,但是这个压缩要遵循一些原则,而这些原则可以通过一个如同今天 next token prediction 一样是无监督的手段去学习到外部世界,包括语言,包括图像的一个个简洁的表示。
**但当学习这网络结构的时候,事先并不知道最优的结构是什么?**
只能给一个无限大的空间、尽可能多的参数,也就是一个巨大的神经网络之后,通过 information maximization(或者叫压缩的指导理论),通过对原始数据的学习,观测这无线参数的神经网络最后会收敛到一个什么结果。会发现其中有些参数归零了,一个被加限制的巨大神经网络,对外部事件用压缩的视角去学习,最后会发现有些 connection 使得神经网络之间的 wait 变 0 了,最后变成一个稀疏的结构,这个结构实际上能够和最开始那个完全 dance 巨大参数的神经网络效果一模一样。
**最后,到今天我们必须把模型先做大,之后才有办法去找到和它等效或者效果差不多的一个更小或者稀疏的模型。**就这是 19 年的paper,这个当时应该得了最佳论文,所以就是说最早 motivation 来自什么地方呢?其实就是 14 年在做这样的一些研究,就发现我要把这个理论证明给大家看的时候,需要做非常大规模的实验,才能有实际的指导意义,否则只能停留在这种模式上。
**我在这之前都是搞算法和理论的,后面其实就开始做一些 system 的工作,我相信通过做一些 system 工作是把这些分布式并行这些实验手段做到可以更好的服务模型变大后的问题解决,同时在现实中有更大的意义。**
这是这个工作背后最原始的一个motivation,同时我们在工程上也做了一些准备。
## **LightLDA项目**
### 背景与初期工作
早在2014年,我们就做了一个叫**LightLDA**的项目,到今天它可能仍然是世界上最大的模型之一。当时,LDA在搜索推广系统中广泛使用,因为在深度学习出现之前,没有其他更先进的方法。
LDA是一个主题模型,与后来的深度学习方法,如 word2vec,有很多相似之处。word2vec 是在一个小的上下文窗口中学习每个词的 representation,而LDA则是在文档级别,通过完整文档的上下文来学习词的 representation。理论上,两者在方法和效果上都非常接近。
> 当时,包括谷歌和微软在内的多家互联网公司都依赖这些系统。谷歌的广告系统背后的支持算法是一个百万主题的系统,训练时间长达几个月,使用了上万台服务器。虽然谷歌并没有发表相关论文,但他们申请了专利,称其为变现系统的“秘密武器”。
>
>
### **资源有限的挑战**
在这种背景下,其他公司也纷纷跟进,包括百度、腾讯、微软等。我们当时与CMU的邢波教授合作,尝试在资源有限的情况下完成类似的工作。**最终,我们只用了几十台服务器,完成了其他公司需要上千台甚至上万台服务器才能实现的大规模模型训练。**我们使用的是来自微软必应的150亿高访问量网页,数据清洗后得到了3万亿个token。虽然计算资源有限,我们只使用了其中的2000亿个token,训练了一个包含100万词汇量和100万个主题的模型,总参数量达到了1万亿。
### 关键技术和经验
这项工作中的一些关键技术,如**模型并行和流水线并行**,也在今天的大模型训练中广泛使用。所以从**动机**上来看,我们当时坚信模型会变得非常大;从**工程实践**来看,我们积累了一定经验,不再惧怕工程上的挑战。很多理论工作者在遇到工程上的限制时,可能会觉得一些想法无法实现,但我们通过这项工作积累的经验,使我们有信心应对未来的大模型训练挑战。总的来说,这项工作奠定了我们面对未来大规模深度学习模型的信心。
## **OneFlow核心技术理念**
我们在完成这个项目后,行业内并没有类似的工作。我们多次投稿OSDI等顶级会议,但从未被接受。评审经常提出的一个问题是:**“为什么我们有了TensorFlow,还要开发其他东西?为什么不直接在TensorFlow的基础上进行扩展?” **通过这些质疑,我们能够推测出评审大多来自Google等公司。然而,虽然没有得到业界的认可,我依然认为我们当时提出的设计理念在今天仍然有影响力,尤其是对 PyTorch 的影响,在未来也会继续发挥作用。
### 自动并行
**这个项目的核心思想之一是让不懂分布式编程的人也能够像操作一张GPU卡一样,编写神经网络程序,并自动扩展到上千甚至上万张GPU卡上。**无论是数据并行、模型并行还是流水并行,这个系统可以自动选择最优的分布式执行方案。
> 例如,面对一个三层的神经网络,使用四张卡时,不同的并行方式在底层的执行计划(或称物理图)中是不同的。我们希望通过编译技术,将单卡神经网络程序转化为集群上最优的执行方案,而不是每次手动寻找最优的并行或placement方式。
>
>
虽然这些技术细节很复杂,但今天最核心的两个思路依然在行业内具有领先地位:**自动并行**和**去中心化的运行时**。实际上,我们在学术界出现相关论文之前两年就已经实现了这些技术,虽然当时的论文多次投稿未果,但这并不影响我们继续推进这些工作。
### 去中心化运行时
另一个重要的理念是**去中心化的运行时**,其灵感来自异步电路的设计。
> 今天所有主流芯片都基于同步电路,通过时钟信号驱动逻辑单元运作。但随着芯片面积的扩大,这种同步模式会遇到瓶颈,因为时钟信号从一个点传递到芯片的不同部分时,远近位置的同步性会受到影响,从而影响性能。异步电路通过消息传递和握手机制,允许不同部件以不同的节奏工作,这使得理论上芯片面积可以无限扩展。
>
>
**同样的逻辑也适用于大规模集群**。
> 当训练大模型时,成千上万张卡都需要同步工作,一旦其中一张卡有延迟,就会影响整个系统。如果扩展到十万或百万张卡,传统同步机制就难以应对,需要通过消息传递(message passing)来实现异步协作。当时,我们的系统底层采用了actor系统,通过消息传递实现了大规模异步协作。这种设计在今天的规模下或许仍然适用,但如果规模进一步扩大,原有方式将难以维持。
>
>
谷歌后来发布了一篇名为Pathways的论文,实际上也涉及这个问题。当集群规模扩大后,不同的Pod需要进行异步协作,而这正是通过actor系统来实现的。这说明,我们当时的理念——**从第一天起为超大规模系统设计**——在今天依然适用,甚至在未来仍有巨大的应用空间。
## **商业化思路**
在商业化和市场占领方面,我们当时有一个清晰的思路,我称之为“如意算盘”。
**在框架竞争激烈的环境下,各个框架都在寻找自身的差异化优势。**
> 像 TensorFlow 这样比较早期的框架,最大的优势在于其完备性和完整性,但当时它既不是最快的,也不是最易用的。
>
> 另一方面,PyTorch 找到了一条很好的切入点,它虽然在早期也不是最快的、最完整的,但它凭借极易上手的特性迅速赢得了开发者的青睐。
>
>
### 我们的思路:大规模和效率
我们的思路则不同,**我们从一开始就面向大规模设计,追求效率(efficiency)**。当时,我常用攀登珠穆朗玛峰来打比方:
> **南坡**:从尼泊尔一侧(南坡)攀登,开始时非常艰难,但到一定高度后会变得平缓。
>
> **北坡**:从中国境内的北坡攀登,起初容易,但越往上越陡,后期难度更大。
>
>
我认为,TensorFlow 在初期没有解决效率和大规模分布式的问题,像是从北坡开始攀登,虽然前期容易,但到后期,面对大规模分布式系统的挑战,可能需要推翻现有的架构重新设计。这是我当时的理解和看法。
### 落地与实现
我们的策略是,从一开始就专注于系统效率和大规模分布式的设计。当这些问题解决后,我们可以逐步提升**易用性和完整性**,做到更快地迭代和改进。事实上,当我们完成分布式设计后,也兼容了 PyTorch,并且在易用性上做了很大的提升,接近甚至达到 PyTorch 的水平。在技术上,**我们的目标是首先成为“最快的框架”,逐步做到“最好用的框架”,然后通过抢占开发者生态,进一步实现商业化**。这是我们当时的“如意算盘”。
然而,ChatGPT 的突然爆发对这个规划产生了巨大的冲击。如果没有它的出现,或者它的出现没有如此迅速,我认为我们原先的方向是完全可以继续走下去的。
## **行业巨变**
### 早期困境与突变
我们最初期待的大模型时代会到来,模型的规模会变得非常大,但在相当长的时间内,这个变化并没有发生,也没有人相信我们,资源非常匮乏。当时创业资源极为紧缺,我们在六年时间里总共只融了1亿多人民币。突然之间,大模型成为了行业的“超级共识”。这一变化对那些没有资源积累的公司非常不利,因为仅仅几个月时间,市场上就出现了几家融资几亿美金的公司。我们也很快与光年之外展开了合作,后续大家也有所了解。这场技术变革不仅迅速带来了资源的聚集,还彻底改变了行业的竞争格局。
### 共识后对技术的影响
从技术角度来看,大模型成为共识后,对我们的影响有两点。
1. 首先是**资源的聚集**,我们原来资源很少,而这次行业的转变让资源迅速集中。
2. 其次是**大模型架构的收敛**。我们之前开发的技术依然有价值,仍然是领先的,但它们不再是必须的。为什么这么说呢?因为现在大家都使用Transformer架构,尤其是 GPT 这种单一结构,虽然依然需要大规模分布式计算,但不需要像以前那样依赖通用且优雅的解决方案。分布式并行现在可以手工实现,重点是迅速推向市场并通过大规模集群的检验赢得信心。
> 举个例子,今天常见的Macro DeepSpeed,它的分布式实现几乎是完全手工编写的,包括如何切分每一层以及中间的通信处理。**虽然这需要很高的技术能力,但由于模型结构单一,专家可以快速完成实现,并且通过大规模集群的验证,市场对这种方式充满信心,从而迅速占据市场。**
>
>
**当模型结构收敛后,通用框架的重要性逐渐下降了。**这不仅仅是我们公司,实际上整个行业中,PyTorch 的重要性也在逐步下降。
> 比如,现在开发者可以直接用C语言来实现底层优化,跳过 Python 层面的开发。像 LLaMA\.CPP 项目就是一个例子,它直接从底层编写代码,因为只存在一种神经网络结构,开发者不需要再使用复杂的框架。
>
>
这种变化也发生在OpenAI等公司内部,**他们通过底层优化,实现更高效的计算**。这种技术革新是破坏性的,但并不意味着更优雅的技术路线就此消亡。
> 比如,谷歌的JAX仍然走在这条技术路线的前沿。根据Yi Wang的分享,他曾在谷歌、Facebook、Apple等公司工作。他提到,硅谷的很多公司在使用不同的框架:OpenAI和LLaMA使用的是PyTorch,而Anthropic和xAI则在使用JAX。
>
>
我也与xAI的工程师们有过交流,他们非常喜欢JAX的编译机制,因为它对算法工程师来说非常友好。算法工程师不需要依赖基础设施工程师来实现想法,只需编写自己的算法代码,JAX就能自动进行分布式并行计算,从而快速进行实验迭代。**这种方式让算法工程师可以像写单卡程序一样,轻松应对大规模分布式计算。**因此,谷歌、Apple等公司也继续沿着这条技术路线前进。
## **非典型创业历程**
我的创业历程是非常非典型的。从融资到招聘都异常困难,我还曾写过一篇公众号文章,叫“非主流的创业”。接下来列举一些非典型的特点。
### **特点**
1. **首先,这家公司长期以实验室的方式运作了五六年,内部有许多学生和实习生。**如今在许多大模型公司做基础设施的员工,很多都是当时的实习生,包括智谱科技等公司的骨干。这种实验室模式吸引了一批对技术充满兴趣的年轻人,大家一起经历了一个极具挑战的项目,团队和个人都获得了成长。
2. **其次,在OneFlow发展的前四五年,技术目标始终高于商业目标**。我们没有过多关注商业化,而是更专注于技术的成功。如果放在今天,这是不被允许的。当时我更在意OneFlow的技术路线是否能够发展,并对世界产生影响,而不是公司是否盈利或上市。尽管可能选择其他项目会让公司发展得更快,但我选择了坚持这一技术路线。
### **Mission Impossible**
当时我们面临的竞争对手大多是大厂的精英团队,他们有着数百人的基础设施团队和每年数亿的预算。这种基础性工作本应由国家实验室承担,但当时并没有国家实验室在做这些事,直到最近才开始看到一些类似的行动。
### **收获与回报**
尽管挑战巨大,这段创业经历为我和团队带来了宝贵的经验和回报。我们也为股东创造了丰厚的回报,OneFlow的最早期投资人甚至获得了十倍的回报。然而,对我们团队而言,这段经历并没有带来直接的财务收益,因为我们大多选择了新公司的股票。所以,接下来我们需要一次典型意义上的商业成功,确保通过商业化获得回报,否则这种创业模式难以持续。
## **Why**
### **为什么继续选择在Infra方向创业?**
核心原因有两个:一是这个领域的**空间足够大**,二是**确定性够高**。这点大家很容易理解。所谓确定性高,就是在行业早期,基础设施层面的机会往往是最为稳妥的,类似于“卖铲子、卖水”的角色,空间也非常广阔。
从整个行业的机会来看,可以分为**应用层**和**底层基础设施**。基础设施作为服务全行业的底座,有三个主要的切入点:**芯片**、**模型**和**基础设施(Infra)**。最终,这三者如果要取得长远的成功,都会走向类似于云计算(cloud)的形态,将模型和芯片整合在一起。我认为,从Infra的角度往云计算方向发展,机会并不比其他方向小。
### **为什么以推理部署为中心?**
之前提到的OneFlow是以训练为中心,但现在推理和部署成为了核心,这是非常容易理解的。**推理的计算需求和消耗的算力远远超过了训练**。虽然我们可以不用展开具体公式,但大家都知道,这主要**取决于token的量。**
> 训练的token量是固定的,类似一个游泳池,数据量有限;而推理的数据量则像一条不断流动的大河,几乎是无止境的。另外,训练的客户集中度非常高,几乎不可能有外部的创业公司能够独立承担这类大规模训练任务。原因在于,他们缺乏长期运营上千、上万张GPU集群的能力去打磨模型。
>
>
此外,训练的提升空间已经非常有限。如果大家在一线从事相关工作,应该了解当前**MFU理论**(机器使用率)可以做到70%,而现在最好的训练效率大约在50%到接近60%左右。剩下的提升空间不多了。而**推理还有很大的优化潜力**,特别是随着O1等技术的出现,**test\-time compute**也带来了新的机会。
## **搜索引擎**
我们自己也做了一个搜索引擎,从技术层面来看,我们的系统可能在某些方面与vLLM、TensorRT 等有对标的地方,但我认为我们的实现有几个关键优势:
1. 首先,在**抽象层面**我们做得更好。虽然这一点没有开源,但这种抽象能力来源于我们之前在驾驭像OneFlow这样大系统时的经验。抽象设计的优势意味着系统的**开放性和包容性**更强。当有新的需求出现时,我们可以非常快速并以最优方式进行支持。
2. 其次,我们对系统中的每个模块都进行了**重新设计和实现**。每当我们重新做一遍,结果往往比现有的开源项目要好。因此,系统在细节和模块层面都表现得更加出色。
综合起来,这使得我们的整体效果非常出色,并在实践中展现出了显著的优势。
## **云服务**
除了软件开发,我们今天也在考虑很多**商业化**的方向。**我们将推理引擎与算力和模型结合,打造了类似于OpenAI API的云服务,**将 Fireworks Together AI,通过Serverless架构、专属实例以及私有化部署等多种方式来为不同类型的客户提供服务,包括小型开发者、中小企业、互联网公司以及大型政企客户等。
### 云服务优势
#### 速度优势
这个API服务大概是2024年 6 月份上线的,增长非常快的同时也获得了非常多开发者非常好的反馈,比如同样的模型在我们云平台会跑得更快,此外,定价也非常有竞争力,模型也非常全,几乎能想到的好的开源模型在这里都能找到。
此外,上线非常快其实也是一种竞争力,意味着一个新的模型结构出现时不需要额外开发半个月甚至几个月的时间才能帮它上线,**背后是因为****我们****技术基础****做得好,****所以****很快就能支持****新的模型架构。**
> 比如 DeepSeek 很多人想用,但是到今天很多知名的开源项目还是做不好,都几个月时间过去了,但是我们其实在第一时间就把它上线了,**这个速度****是很有****优势****的****。**以 DeepSeek 为例,同样的硬件、同样的模型、同样的问题,大家会看到业内服务这个模型的非常少,因为它太难做了,只有官方和我们现在有的线上服务,大家会看到这个速度对比。
>
>
#### 成本优势
除了速度快,用户普遍有成本的考虑,做一个对比,一个 case 的测算,比如说用 700 亿参数的模型,一般定价大概是一美金左右,如果用 A100 八张来做服务的话,一个月的成本大概是 7, 000 美元。
开源系统一般是一段时间 2, 000 token/秒,能做到一个月 50 亿token,一个月能收到 5, 000 美元,相比算力成本是很难赚钱的;如果速度提高几倍做到 8, 000 token/秒,能够一个月 200 亿token,按 token 计费就有2万美金,能够覆盖算力成本,甚至可以用更低成本的算力。
> 比如国产的某些芯片或4090消费级显卡,用 16 张卡也可以做到一样的效果,但是成本低一倍甚至更多低更多。
>
>
## 平台访问量数据
**通过图片可以看到,****我们的访问量现在也处于第一梯队**,和非常知名的大模型公司的 API 平台 9 月份访问量处于同一水准,比同类的 Infra 公司的访问量更是高出一个数量级。
**从产品****角度****来说,我们也延续聚焦策略,一个阶段只推出一****款****产品,****我们希望这款****产品要有反响,要成功****。**我们最早推出的推理引擎在4 月份就面对一些大的客户进行销售,6 月份上线的 Maas也取得了非常好的反馈。
之后又逐渐上线了国产算力,我们上线了最全的模型品类,以及一些更接近应用层的开发框架,比如最近内测产品是 ComfyUI 的云化版本。因为很多设计师只需要 ComfyUI 做 workflow 需要自己买 GPU,甚至要自己部署自己安装调试是非常麻烦的,但是我们通过让用户在云上非常方便地做设计逐渐地解决了调试困难的问题,这在开发者社区里也取得很好的反馈。我们后面一个阶段还会上线 fine tuning。
## 总结
**在这次创业中,我们的底层逻辑可以概括为四点:**
1. **以终为始:**上一次创业是从技术出发再推向市场,这一次则是从市场需求和潜在的商业成功出发,反向推导我们应该做什么,如何整合资源。
2. **聚焦:**我们不试图涉足所有领域,今天我们没有做训练,也避免做那些偏离核心部分太远的事情。正如之前提到的,我们每个阶段只专注于推出一个产品。
3. **善弈者通盘无妙手:**这次创业不像Oneflow那样依赖某个“秘密武器”或大招。相反,我们是通过全面而细致的工作取得进展,靠很多小细节取胜,而不是靠单一的突破。即使有很多相同的想法,但真正做出来还是有区别的。
4. **日拱一卒,耐心致胜:**很多聪明的人倾向于选择ROI高的工作,但我们愿意投入时间做那些需要极大耐心和细致的工作。我相信,在智商相近的竞争者之间,耐心往往更为重要。我们在做Oneflow时就是凭借足够的耐心,花了六七年的时间才有了成效。
**最后,在这个高度共识的AI基础设施领域,迭代速度变得至关重要。**我们的MOS上线后迭代速度非常快,今天我们还将上线英伟达号称超越GPT的模型。有人说过,只要你能比对手领先6个月,你就能占据80%的市场份额,我对这个理论深信不疑。
**我今天的分享就到这里,****谢谢大家****。**
# Q\&A
## From Xuwen
此文章仅供**内部学习**,如果有问题欢迎指正。
> 内容由奇绩实习生与 GPT 整理
>
>
# 嘉宾信息
| ## 袁进辉 - 硅基流动 CEO \& 创始人 - 前微软亚洲研究院主管研究员 - 清华 PhD \& Post\-Doc |
| 第一页是一个简单的自我介绍,个人从本科到今天为止主要是这么一个过程,先是计算机系的本科,到清华读博士和博士后。 这个阶段总共大概有十年的时间,中间经历过创业,参加一次搜索引擎的创业,那个阶段我们团队也是非常厉害的,从谷歌、百度来的一个非常强悍的团队,一年多的时间搭了一个搜索引擎 OneBox。 团队中其中最出名的就是目前快手的联创——宿华 第一个阶段跟宿华一起创业过,到后面光年之外有幸和王慧文也创业过,**13到16 年主要在微软,其实在微软自己完成了一个工作方向上的转化**。 我在博士和博士后的时候,基本的工作方向是算法和理论(机器学习算法、计算机视觉算法等等以及一些像神经网络计算、神经科学这样的理论研究)在微软的时候相当于是**从算法转成了system**,转成了这个 Infra system。 |
| 2017 年,我当时接受 InfoQ 采访的时候,实际上对这件事背后的逻辑做过一些分享和阐述。 这里标红的一句话其实读出来大家会感觉今天的 scaling law 带来的计算力方面还有很多红利可吃,相同的算法如果能用上更多数据,或者更大模型,通常都能带来效果的显著提升。 当时内心有一个逻辑和信心——过去做神经网络深度学习(是计算神经科学,做系统、做算法)就形成这一种认知,虽然没有非常理论化通过实验证明,发出一篇 paper,但是这种信心或者理念是一早就在这种底层逻辑里面形成的。 |
| 2022 年,大家都做了很多很多选型,对比了谷歌的方案和我们的方案后,最终是选择了 OneFlow 的一个方案。这是 22 年 Pytorch 的创始人—— Soumith 在 Twitter 上专门做的说明。 > 比如说这个 Python 值的分布式,以及 distributencer 是想法是怎么来的? > > **他提出两个做法:** - 一个是谷歌系列的做法 - 一个是 OneFlow 的做法 |
| 这里面有一个当时做不了的实验——基于上述提到的原则,是做不了非常大规模的实验。因为那时候还没有分布式并行系统,所以只能在有限的数据上做实验。 但大家会看到右下角的一个图,就是一些图像上我们用一个在当时非常大的全连神经网,通过这个压缩的或者信息最大化的这种手段去学习。 最后右边那个可视化灰色的部分,就是权重归零学习到了,原本是一个全连沉浸网络,最后学到了有些边就消失掉了。最后变成了一个类似于像图像里面最早流行起来的卷积神经网络——一个不是通过提前 BIAS 设计出来的,而是通过学习不加约束的一个巨大参数空间里面去收敛得到的一个局部连接。 这种理念应该说到今天不管在大模型、压缩等等领域都还 work。我不知道大家听过吗?叫乐透假说或者彩票假说,其实是一样的,**就是在一个初始化全连接的巨大神经网络里面,最后会学习到一个子网络,这个子网络和原来的全连接网络效果等价。** 但是怎么得到这个子网络?刚开始是没有好的办法,他就只能通过一个预先不做限制的一个巨大空间里面去学习。 |
| 我的第二次创业和上一次在OneFlow的经历有很大的不同。 **One****F****low的创业过程是反共识的,几乎没人相信我们能够成功,但这次的创业项目是建立在超级共识之上的,大家都认定这是未来的发展方向。**这也意味着我们面临着激烈的竞争,很多大公司都将这个领域视为必争之地。 |
非常感谢进辉的分享,最后这一块让我想到了我们之前邀请京东的刘强东来奇绩做分享。他提到一个点,京东在发展历史上,他所有的牌都是明牌,但是京东的厉害之处就是比别人更能吃苦,因为所有京东走过的路,所有竞争者都需要重新走一遍。所以袁进辉同学最后让我想到做生意、做创业一定要有耐心。做一个伟大长期的事业,就是要日拱一卒,去解决非常非常难的问题,非常非常强的耐心才可以做成。
我先问两个衍生的问题,刚刚你的分享当中提到在 Open AI 的 Scaling law 之前,其实有一些人已经开始意识到了需要做规模化,模型会变得越来越大。我之前也在微软,但是我对研究员的 共识和反共识,我其实不是特别了解,**20****19 年 ****O****pen ****AI**** 提出 ****Scaling law**** 之前,学术界其实是有一些隐约的感觉,这东西是会需要做得越来越大,是不是?或者在微软内部是不是某些组里至少也开始形成了一些小的一些共识呢?**
确实。
**其实****在 ****S****caling ****Law****之前最赚钱的业务里面是普遍得到体现的是搜索推荐广告。**
其实刚才说的LDA,比如说提取文档或者其中的语义,大家会发现为什么谷歌的变现效率高呢?因为在谷歌之前大家做 Topic Model 都是小的,于是一直比不上谷歌。后来谷歌的人有流失比如跳槽,发现它谷歌在最大的数据集上去训了一个从来没有存在过的大模型,而这个大模型就能覆盖那些超级长尾的部分,因为在一个通用搜索引擎广告系统里面,如果数据集很小,或者 词典非常小的话,很多东西都不会覆盖到那个效果。
我们发现当把数据集和词典做上去后, 这个主题内涵的 hidden representation 做上去,就发现原来模型解决不了的一些长尾的语义都被捕捉住了,于是很多互联网公司就都跟进了,所以在商业世界里面,Scaling Law已经在搜索广告走过一次了。**在深度大模型之前,最大的机器学系统就是各家互联网公司的****搜索推广系统****。**
我们奇绩确实也有很多的校友在用你们的API,我身边其实也听到了不少人对硅基流动有非常好的评价。你刚刚也提到了你们做的产品比较好,**能够更柔性、更快地去满足****一些****需求**,能不能举个例子?有什么样的点让你们能做到这样的?请你举个例子比如什么样的需求你进来之后或者会比较好去快速地满足用户,但你的竞争对手没有办法很好地去满足。
比如稠密模型和 MoE 模型,它实际上有非常多共用的部分,如果抽象做得不好的话,几乎既要为两个需求开发两套系统,包括今天还有人讨论那个长上下文超长上下文,大家提出来要用所谓的 PD 分离、 Preview decoding 分离等等,如果抽象不好的话一样是分离,不分离就是两套系统,但是做得好的话实际上他们是复用了足够多的东西,我们支持起来就会速度非常快,支持速度运行速度就会非常快。
我还想问一些产品相关的问题,**在****你们支持的这些场景,用户场景里面比较多的 API 或者画像,或者场景会是什么样的?**
目前,有几类典型的创业公司正在开发各种**不同类型的应用产品**。
> 例如,陪伴类产品、翻译工具、玩具相关应用以及面向教育领域的产品。
>
>
这些公司大多处于PMF阶段之前或之后的关键时期,这类创业公司的数量较多。此外,还有一部分需求是数据清洗方面的,特别是数据蒸馏。许多数据集质量较低,经过某些模型处理后可以显著提升其质量。这方面的需求量较大,例如使用DeepSIG或类似的处理办法。
**在数据清洗的过程中,往往是一批批数据离线处理,虽然是离线需求,但处理的数据量确实非常庞大。**据了解,OpenAI的API的主要使用场景之一也是用于数据清洗。以训练一个新模型为例,之前的数据清洗任务往往非常复杂和痛苦,涉及到正文抽取和低质量数据过滤等步骤。
过去使用规则系统处理这些问题时效果并不理想,而如今的大模型具备更强大的处理能力,即便是一些低质量的网页数据,也能够通过大模型准确提取关键信息。虽然这些处理任务需要消耗一定的算力,但相较于以前,今天的算力成本已大幅降低。
是的,现如今的技术能够比过去更好地处理比如数字化文档、PDF等内容。过去需要通过OCR技术实现的功能,如今利用一些VM也可以很好地完成。更重要的是,不再需要反复地构建那些规则系统。顺便提一下,如果在座的有从事数据相关业务的公司,欢迎报名奇绩创坛,我们非常愿意投资这类公司。
我还有一个问题比较好奇,**关于AI Infra 领域的长期竞争,不知道是不是最后比拼的是规模效应****?**
我们认为,云服务厂商的规模效应是非常强的,**你怎么看待这些新兴公司与这些超级规模的云厂商之间的长期竞争呢?**
首先是大家对这个东西的未来有共识的,尤其是像亚马逊、微软这样的巨头,以及国内的大型云服务厂商都是会进入这个领域的,因为这是当前公有云领域增长最快的部分之一,因此这些大厂必然会投入资源参与竞争,这是毋庸置疑的。然而,我们也看到,近年来无论是在中国还是美国,都有许多AI Infra公司崭露头角,进展相当不错。
我认为这里存在一些机会。
1. **首先,AI Infra是一个足够新的领域。**深度学习及其相关的技术,与传统的公有云架构相比,存在很大的差异。对于某些大云厂商来说,过去的积累可能反而成为一种负担,例如复杂的产品线和SKU等。因此,对于新进入市场的公司,反而有机会灵活应对。
2. **其次,整个AI Infra市场正处于快速发展阶段,市场规模非常大,所有的公司几乎都算是新进入者。**还未到那种大厂必须通过激烈竞争来打压新兴公司的阶段。在这一时期,如果企业能够在执行力和产品竞争力方面占据优势,那么有机会在大厂全面进入并进行激烈竞争之前,手中掌握更多的有利资源。即便将来大厂加大竞争力度,这些公司仍然有能力应对。另一个很大的趋势是,过去云计算的规模效应主要体现在规模化采购和成本优势上。但今天,AI算力的资源不仅仅集中在大型云厂商手中,在这些大厂之外,还有更多的算力资源。国内例如政府、运营商等持有大量算力,这些算力往往需要与AI Infra公司合作,因为这些算力设施多是裸金属,缺乏完善的云产品生态系统,而AI Infra公司可以快速开发出适配这些算力资源的产品,满足市场需求。
**因此,这些AI Infra公司在早期并不需要像传统云厂商那样进行大规模的重资产投入。相反,他们可以先通过与已经建立的重资产算力合作,开发出具有竞争力的产品,从而与云厂商竞争。**正是这种合作模式,使得这些AI Infra公司有机会在不进行大规模投入的情况下获得优势,这也是一个非常重要的机会。
模型训练的需求量远远比不上推理的需求量。
虽然训练与推理之间有一定的相似性,训练其实是也是一种某种意义上一种推理,但推理的规模显然更大。最近在技术层面上有一些新的变化,尤其是关于RL 在后训练阶段所发挥的作用。在座的同学们可能也注意到,**许多人预测RL在优化过程中会带来良好的效果,它的训练和推理可能跟原来就不会分得那么开了,在这块你怎么看?技术的路线的变化对未来还是有很深远的这个影响的,这两块是不是还是会分开?还是有可能得放在一起做**
从长远趋势来看,我认为训练与推理应该是会融合的。RL的本质是在进行仿真和推理的同时,通过反馈的数据进行再训练,这个过程与一些成熟的记忆学习系统非常相似。
> 例如,早期的在线广告投放系统采用离线训练方式,但随着技术的发展,迭代速度不断提升,甚至一分钟之前的数据都可以实时地融入在线训练系统,以更新用户行为预测模型。
>
>
**因此,我认为在线演化(OE)的出现有望解决所谓的数据稀缺问题。**它通过不断生成数据,同时实现训练与推理的无缝融合。虽然这种方式可能在一定程度上增加了训练计算量的复杂度,但也突破了推理计算量的瓶颈。关于“反思型推理”(reflection test\-time computation)的计算模式,它显然扩大了推理过程中的计算能力。
假如回到融合训练和推理的状态时,尽管市面上有很多公司专注于推理用的ASIC芯片,但像英伟达这样的公司仍然希望将训练与推理这两个系统更紧密地结合在一起。我们奇绩其实也投了一些**国内做****推理****的 ASIC 的厂商,你怎么看这块以后的机会和挑战?**
从经济意义上来说模型结构的革命性变化一定会出现,其实今天已经出现专门做推理的芯片。
> 比如说海外出现的 Graphcore、Cerebras 和 Seminover 等等,虽然他们也现在还有他们的问题,但是在这个方向上已经能看到专门为推理做一些芯片是可以实现的。**原来瞄准训练需求设计的芯片,像 H100 为代表的 GPU 是可以有数量级的回报提升的。**
>
>
所以我觉得在推理上是也会有这样的回报,而且推理得力量大,是会出现新芯片的玩家的。
**训练和推理的工作负载确实存在显著差异。训练过程计算密集,通常需要大规模、高度并行的计算单元以及高速互联支持****;****而在推理过程中,不仅涉及计算密集型的操作,还包括内存访问密集的环节。**
> 例如,在推理的预填充阶段,计算需求较高;而在解码阶段,内存访问则占据主导。
>
>
我看就是硅基流动也开始采一些国产芯片,你对国产芯片近期的前景观察如何?尤其对英伟达的有强力护城河的地方,你感觉什么地方国产芯片能够产生一些突破?
刚才我们提到推理,我认为国产芯片可能会在推理领域率先取得突破。回顾英伟达的护城河,过去大家主要关注几个方面。
1. 首先是 CUDA,但我觉得现在 CUDA 的影响不如以前了。因为如今模型结构逐渐趋于收敛,只需要在新的芯片上优化不到100个 Transformer 算子即可。因此,虽然 CUDA 曾经是英伟达的一大优势,但在大模型的推理领域,可能已不再是关键因素。尽管如此,对于一些灵活多变的通用需求,CUDA 仍然非常重要。但是对于大模型 transformer 来说, CUDA 可能不太是一个问题。
2. 第二,高速互联,NVLink、Rocky 这种,它也不是一时半能突破的护城河,也有很多其他玩家在做这件事情,也需要很长的磨练时间。
3. 第三,英伟达在芯片设计上的经验积累。它一直在不断优化自己的架构,从最早的 GPU 中仅有的 CUDA 核心,到如今 H100 中的 Tensor Core 和 Transformer Engine,可以看到它在逐步跟进和适应市场需求。其他专用芯片厂商使用的脉动阵列等技术,在英伟达的芯片中其实也都有类似的实现。因此,英伟达的优势不仅在于技术积累,还在于它有资金和决心去灵活调整自己的产品结构,这也是未来竞争中的一个重要因素。
**从推理芯片入手,我认为是一个可行的突破口。推理芯片对制造工艺的要求不如训练芯片那么高,也不必与英伟达的 NVLink 或 InfiniBand 等高速互联技术正面对抗。**只要在芯片层面解决好核心问题,国产芯片有机会在推理领域率先取得突破。
刚刚演讲的开始也提到了一开始 OneFlow 跟像 Tensorflow 跟这个 Pytorch 的一些对比。目前市面上已有一些常用的推理引擎,例如 vLLM 等。
在选择推理引擎时,您是否有一些内部评测可以分享?另外,你们当前所采用的方案与这些引擎相比有哪些优劣?作为开发者或工程师,我们在技术选型时应如何做出合适的选择?是否有相关的推荐或指导意见?
> 我们发现,vLLM 的进步速度非常快。最近发布的0\.6版本相比之前的版本性能提升显著。之前业内的共识是,vLLM 作为最早推出并且最为成熟的推理引擎之一,其功能完善性非常出色,但在速度上不是最快的。比如,与TensorRTM或后期推出的 sgLang 等相比,vLLM的效率存在一定差距。不过,vLLM团队也在快速进行优化,只是由于历史原因并不容易解决。**因此,****vLL****M**** ****依然是功能最为完善但在效率方面尚未达到最佳的选择。**
>
>
另一方面,英伟达推出的 TensorRTM 在效率方面处于第一梯队,表现相当出色,但在使用体验上有所欠缺。一方面,TensorRTM的核心部分几乎是完全闭源的;另一方面,即便是我们这样的专家用户,在使用过程中仍然遇到一些不便或问题。**因此,如果追求上手的便利性,****vL****LM**** ****会是一个更为理想的选择。我们相信,****v****L****L****M**** ****迟早会解决效率问题,继续保持其在功能完善性方面的优势。**
今天还有一些后期推出的推理引擎,例如 sgLang,它们通常以效率为主要卖点,声称比vLLM快很多,但在完善性上尚有不足。例如,许多生产环境中所需的功能在这些新框架中还不够成熟,仍然需要进一步的开发或依赖社区的完善。综合来看,vLLM依然是目前最为完善的选择。
至于推理引擎方面,目前市面上有一些比较常用的引擎,比如 vLLM。您提到的 OneFlow 与 TensorFlow、PyTorch 的对比,我认为这确实是一个值得关注的领域。现有的一些推理引擎,比如 vLLM 的进步速度非常快,最新发布的 0\.6 版本在性能上已经有了显著提升。之前的共识是vLLM 是最早也是最成熟的推理引擎,但不是最快的。比如和 TensorRT 以及后来出现的 sgLang 等相比,vLLM 在效率上稍逊一筹。然而,vLLM 正在积极修复这些历史问题,尽管这些问题解决起来并不容易。
在我们内部与 vLLM 的对比中,我们发现 vLLM 在企业级需求的响应速度相对较慢。开源社区有些时候是有其优势的,能汇聚来自不同领域的智慧,但由于缺乏统一的商业目标,迭代速度不够快,需求也常常过于分散。例如,像长上下文支持、预览解码、分离式处理、深度搜索等企业级功能,vLLM 的更新速度并不理想,目前还没有完全实现。而作为一家专注于该领域的商业公司,**我们必须比开源项目做得更好、更快,才能在市场上生存。**因此,我们的迭代速度往往比开源项目要快,尤其是在生产环境中所需的功能上会更早、更完善。通过这样的差异化,我们也能在竞争激烈的 AI Infra 领域取得优势。
最近引起广泛讨论的o1引申出了一些新概念,比如强化学习和推理扩展法则。从您的角度来看,您认为这些是实质性的突破还是噱头呢?
我个人认为o1确实是一个重要进步,它让语言模型具备了类似理科思维的能力。团队已经明确指出,他们将AlphaGo和AlphaCode等领域验证过的技术,如强化学习,引入了语言模型,使其具备了更强的处理能力。关于o1,它不仅仅是对固定工作流的扩展,还带来了更灵活的推理链条。**传统RAG系统通常会按照人为定义的固定步骤进行推理,但o1赋予了更高的灵活性,背后由模型驱动,能根据需求自适应生成推理路径。OpenAI将这些技术应用得更广泛、适用性更广,显现出其在这一领域的领先性。**
另一个值得讨论的点是Test Time Compute,这一概念在过去虽然被提及过,但OpenAI将其发扬光大,真正让它成为了一个亮点。类似的想法其实在更早的时候就有迹象,例如在搜索领域中的反思性搜索。像上海AI Lab几个月前发布的一篇论文《MySearch》,就探讨了在RAG系统中引入反思机制,显著提升了效果。如今,国内如智谱等公司也推出了基于反思机制的搜索模型,将其应用在AI搜索中,确实对推理和信息检索起到了很好的作用。
假如回到OneFlow创业时期,那时的想法非常激进。假如今天再提一个未来两三年内非常激进的想法,虽然大多数人可能不相信会发生在硬件或系统层面,但你认为有可能实现的会是什么呢?
坦白说,如今我很难再像当时那样提出类似的创新想法。当时我花了大量时间专注于技术前沿,深入研究神经科学和芯片领域,才得以形成一些独到的见解。现在大部分时间都花在技术之外,因此再提出这种富有洞察力的挑战确实更加困难。
此外,刚刚分享时提到当芯片面积和集群规模达到非常大的程度时,使用异步电路来进行运算调度显得尤为重要。传统的同步方式,即用统一的时钟信号驱动所有节点计算,可能在未来超大规模的计算场景中面临限制,尤其是在集群规模达到十万甚至百万个计算节点时。**我认为,未来两三年内,异步电路技术在这些场景中将发挥作用,成为一种可行的解决方案。**
假设我们面临异构集群的情况,例如集群中既包含英伟达的卡,也有国产的加速卡,甚至还有AMD的硬件,或者多个数据中心协同进行训练。在这样的场景中,异步调度机制将变得尤为必要。因为不同硬件架构和数据中心之间难以保持完全同步,可能受到距离过远、硬件差异或故障的影响。如果仍然采用统一时钟驱动所有节点,一旦某个节点发生故障,可能导致全局计算失败。因此,**异步电路能有效解决这一问题,避免单个节点的失误影响整个系统的稳定性。**
明白。最近我听了一个Podcast,提到 Google 可能已经实现了跨多个数据中心进行模型训练的技术,这背后或许涉及到一些新型的技术应用。近期还有哪些值得注意的 Infra 方面的研究?你过去一年当中最新起的一个 AI Infra 的一篇论文 或者项目会是什么?
在与从事前沿Infra研究的朋友们交流后,不少人提到,目前这个领域似乎缺少革命性的“big idea”。他们提到,虽然技术上要求越来越高,比如自动并行化等复杂的实现方案,但这些更多是技术演进,而非颠覆性创新。**和从事基础设施研究的一些顶尖人才(包括在 OpenAI 和 xAI 工作的朋友)交流时,大家普遍认为当前的Infra领域缺少突破性的创意。**这种观点似乎在业界广泛存在。比如说像刚才讨论那个所谓的自动并行实际上是在技术上要求很高的。
在许多论文中,大家都提到随着模型逐渐收敛,开发的方向也越来越垂直化。过去使用的通用框架逐渐被抛弃,现在人们开始为像Lama这样的特定模型编写专用程序。这意味着系统设计中的那些最美妙的部分正在逐步减少。**整个系统设计的最高境界之一在于进行抽象设计,也就是从复杂多变的需求和约束中提炼出最本质的东西,设计出最稳定的架构。无论外部需求如何变化,这种设计都能适应。**然而,随着需求和约束变得越来越具体化,这种抽象设计的机会也越来越少。因此,很难指出一个最有效、最令人印象深刻的例子。
如今,业界似乎正在进入一个技术“收敛”的阶段。尽管未来可能会有新的爆发,但当下的主流路线更多集中在深入挖掘现有技术的潜力。就像强化学习中的“exploration\-exploitation”理论,现在大部分注意力都集中在如何充分利用已经成熟的技术,**尤其是像Transformer这样的架构。可以推测,在未来两三年内,Transformer的主导地位很难被撼动。**无论从理论角度还是实践应用来看,它的表达能力都非常强大。许多人试图从理论上解释Transformer为何如此有效以及它的局限性在哪。
即便有一些针对Transformer的改进,例如线性变换、线性注意力或基于RNN的架构,它们在某些方面依然存在局限性。为了达到与Transformer相似的表达能力,这些替代方法往往需要消耗大量资源,如内存或计算力。
我本来这边还有一些创业相关问题,但进辉分享当中大部分都已经提到了。我最后问一个问题,最近进辉你考虑最多的问题是什么?
最近我思考的问题都非常具体和现实,主要集中在公司发展的过程中如何将已经推出的产品推向更广泛的市场。**产品已经成熟,市场需求也在,但现阶段最核心的问题是如何最大化地推广和合作。我们需要思考通过什么样的手段、与哪些合作伙伴携手,才能将产品推广到各类目标客户群体,包括从初创公司、小型开发者到大型企业玩家、大模型公司、芯片公司,以及一些传统的政企客户等。**让他们知道让他们或者通过一个什么样的产品形态或者商业模式的设计能够让各方接受?因为各方的需求和利益有时会存在冲突。以大模型公司为例,内部往往有许多技术专家,他们可能倾向于自主解决问题,那么在这种情况下,我们该如何找到合作的切入点?
同时,如何在国内外市场取得突破也是一个重要课题。客观来说,海外市场的顶级玩家更多,这给我们带来了机遇与挑战。如何在全球范围内扩展业务,如何应对不同市场的复杂性,是我最近重点思考的问题。
## From Audience
现在进入到观众提问环节,我现在挑一个。之前类似 Oneflow 的基础框架变现模式都是什么形式?
这一思路在某种程度上与过去的Spark框架有些相似。**Spark代表了不同时代的核心基础设施演进轨迹。最早是数据库时代,随后进入大数据时代,Hadoop成为主流。**而之后,Apache系列中的Spark大放异彩,凭借其出色的表现,成为一代标杆。当时我们在做“One Floor”项目时,希望能够走类似Spark的路径,即通过开发一个开源项目,吸引社区广泛使用,然后再逐步推出企业版和云服务,从而模仿这一成功模式。
今年我与美国的朋友们,包括Fireworks的乔林等人交流时,他们提到在PyTorch刚推出时的想法也是类似的。在大模型爆发之前,他们计划基于PyTorch进行商业化。考虑到PyTorch已是全球领先的深度学习框架,他们希望能够通过商业化的方式走出一条像AI领域的Spark或Snowflake的成功之路。
但后来大模型的突然爆发,导致框架的重要性有所下降。随着大模型的兴起,很多团队开始转型。如果没有这次爆发,原本的路径可能会是成功的模式。
> 目前最成功的例子之一是Spark背后的Databricks。然而,即便是Databricks,他们的成功之路也充满了经验教训。其创始人在多个播客中分享了很多故事,实际情况和我原本想象的有很大差异。最初他们以为,只要开源项目做得好,商业化自然而然就会顺利推进。但通过这些播客以及与内部人员的交流发现,Databricks最初也主要专注于开源项目,但他们发现这并不赚钱。
>
>
后来,公司更换了CEO和领导团队,商业化才开始被高度重视。当时阿里巴巴的那位负责人加入,专门针对商业化需求做了许多产品调整,例如区分社区版和企业版的产品策略,最终公司收入才走上正轨。因此,从开源到商业化的过程中,充满了技巧和经验,这并非简单的“水到渠成”。
袁总您好,我叫谭伟达,是岸科AI的创始人。我们主要专注于AI室内设计,近期获得了国内领先的室内设计上市公司的战略投资。我们也是硅基流动的客户之一,基于您刚才提到的 ComfyUI 技术进行开发。我们目前正处于 PMF 前后的关键阶段,公司的发展非常典型。
第一个问题就是想问您轨迹刘总什么时候能支持自定义模型?为什么中国在 Infra 层面上就没有能用的这个自研模型的 Server 的 GPU 服务啊?
第二个问题是无论是苹果的 H8 芯片,还是这些端侧的推理小芯片,大量的推理需求可能未来会下放到端侧,然后您对这种算力结构上的变化和这个对云计算 Infra 的这种需求有什么呃?这个推测会不会因为我们在未来看到大量的端测算力所以云上的推理需求就会在未来减少?
谢谢,非常好的问题。
1. **第一,这确实反映了当前的实际情况。**比如说现在我们在云端提供的主要是已经开发好的模型进行服务,但实际上,很多公司都向我们提出大量需求,期望能够通过更加自助化的方式,将他们微调后的模型以及自己定制的 workflow pipeline 部署在云端。这反映了用户对更灵活、个性化的云服务的需求。
2. **此外,海外在这方面的领先程度也非常明显。**他们从一开始就以云为核心去设计产品,比如Replicate这样的平台就是典型的例子。
> 再举一个例子,像网站托管服务,你会发现国内并没有类似于Vercel这样的产品,也缺少像 Fly\.io 这样的云平台。因此,海外用户对云服务的使用习惯,以及供应商从第一天起就以云为基础来设计产品的思路,使得他们在这一领域处于天然的领先位置。
>
>
A:还有一点是,他们在应用层面的爆发节奏要比国内领先几个月甚至半年左右。
> 例如,今天我们在国内看到的这些基于 AI 的新兴应用公司,在硅谷可能更早就已经涌现了一大批。因此,那里的需求也首先得到了反映,这应该是一个最主要的原因。
>
>
至于我们这边的托管问题,目前正在进行内测,我预计在一个月内会正式上线。届时,用户可以自定义模型,包括自己调试的 Lora 和 fine\-tuning,这些功能都会上线。我们也希望能够尽快满足用户的需求。
**第二个问题是关于云端与本地计算的结合。**
就目前模型的规模和芯片发展的步伐来看,在相当长的一段时间内,主要的计算能力仍然会集中在云端。端侧计算在某些情况下是必要的,尤其是涉及隐私问题时,数据无法上传到云端处理。这时,可以使用本地模型进行计算。像苹果这样的公司也在尝试云端与本地的配合。
**不过,端侧计算仍然面临一些限制。**
> 比如,端侧设备的内存和计算能力有限。如果每个应用都希望拥有自己的专属模型,这是不现实的。大概率情况是手机厂商或设备厂商会提供一个通用模型供大家使用,但这个模型可能无法满足所有应用的需求。
>
>
**因此,我认为,在未来一段时间内,计算仍然会以云端为主,端侧计算也会有所增加,但云端与端侧需要协同工作。**具体来说,一些在端侧可以快速、简单解决的问题可以直接在端侧处理。而如果问题需要更高的计算能力或智能水平,则会转移到云端进行处理。这是我对云端与端侧计算关系的一种理解。
Q:我看线上有一个票数比较高的问题,第一个,**硅基流动是如何在短期内做到这这么快的用户增长的?背后的逻辑或者策略是什么**?第二个**您怎么看待云服务平台国内和国外市场的相同和差异?**
A**:**
**第一个问题:**
1. 首先关于增长的问题,我们确实看到数据增长非常快。仅仅在几个月的时间内,我们已经达到了与主流大模型公司相当的水平,甚至在某些指标上,我们已经超越了部分大模型公司。实际上,有一些大模型公司的相关指标比我们低很多。
**虽然其中有一些运营策略的推动,但我认为最根本的原因在于产品的标准化程度非常高。**具体来说,用户上手的门槛很低,用户的使用习惯也已经被行业内的其他产品培养过了。
> 举个例子,有些用户之前基于 OpenAI 的 API 开发了原型应用,随着国内一些模型和 MaaS 厂商的兴起,用户逐渐习惯了这些操作。当我们推出产品时,无论是在使用界面还是 API 上,都与 OpenAI 保持了一致,因此用户很容易就尝试使用我们产品。**如果他们觉得产品好用、满意,留存率自然就会提高。**
>
>
2. **此外,我们也在传播方面做了一些努力,比如通过 KOL 的推广,以及一些成功的案例分享。**一些在前沿创业、开发应用的公司最先尝试了我们的产品,使用后他们的反馈很好。
于是,在创业圈和产品经理的圈子里,我们的产品得到了传播。**比如在****即刻****圈层,当时有相当多的产品经理和开发者在推介我们的应用。**这是我们在运营层面做出的努力,但最根本的成功还是源于产品自身的传播属性:我们的产品标准化程度高,易于使用和上手,这些特质促成了它的传播和增长。
**第二个问题:**
**关于国内外市场的对比。**
客观来说,正如我们之前讨论的,国外的应用节奏确实比国内要早一些。目前,国外已经有了较为成熟的应用场景和更大的市场容量。但从长远来看,我非常看好国内的市场。许多人提过,国内的创业者在应用开发效率和迭代速度上,并不逊色于美国。事实上,国内已经出现了一些在应用层面超越海外创业产品的例子。
**因此,从长期来看,我认为国内的市场会逐渐跟上,甚至有可能超越国外。**这也意味着,国内的云服务市场将迎来和国外一样的庞大需求、良好的发展环境和广阔的市场前景。长期以来,大家一直讨论国内的 ToB 和云服务市场落后于国外的情况。我们希望借助 AI 的爆发性增长,推动国内云服务的发展,克服企业服务和云计算领域的一些阻力,这是我对国内外市场的理解。
**长期来看,我对国内市场充满信心,但在中短期内,如果要快速实现盈利、提升 ROI,还是需要兼顾海外市场。**毕竟,海外市场的容量更大,用户习惯于云端消费,且付费能力更强。对于一家企业来说,放弃海外市场并不明智。
Q:袁总你好,我是舟上金行应用层创业者,我们之前做 AI 应用,优先用全世界最聪明的模型,但是要服务客户,本身还要合规,所以我们选在微软云上部署了GPT。
但是最近很多人接到了邮件说他的个人账户已经不能用了。
首先,我认为这对硅基流动来说是一个非常好的机会,甚至可以说是一个“接盘”的好机会。
1. 对于我们用户而言,我们非常关心,或者说有一个顾虑是,之前我们可以叫**合规**,也可以叫做行业尚未成熟之前,缺乏监管那种合规。
2. 同时我们也关心,比如说要把我们的应用切到硅基流动的平台上来,你们站在这个生态位,其实我认为是非常公平公正的,**你们怎么去评价或者是推荐在你们平台上已经托管的这些这个模型?在模型的智力、速度和价格这三方面,如何找到一个平衡点?**你们有没有特别好的推荐呢?
其次,我们希望能够尽快从 OpenAI 的标准 SDK 切换到你们的平台上。**对于我们这些应用层的创业者来说,你们能否介绍一下有哪些更优质、更加贴心的服务和考量呢?**
A:好的谢谢。感谢你提出这个问题,也借此机会让我做个小广告。
是这样的,目前我认为,**在大多数应用场景下,除了 o1 那种具备特殊能力的模型以外,开源模型已经基本上追赶上了顶级模型。**如果一个产品需要语言能力、知识能力,或者需要与 RAG 结合使用,那么现在的开源模型已经足够胜任。甚至在代码生成领域,像 DeepSeek 这样的模型表现非常出色,基本上在写代码的能力上仅次于像 Google Cloud 这种模型。它的表现甚至优于一些其他开源模型。
**我们在平台上发现,调用量最多的模型的确是通义的 72B 和 DeepSeek 模型,因为这两个模型在各种 Benchmark 中的表现接近第一梯队。**所以,如果你原来一直在使用 OpenAI 的模型,那么我推荐你尝试 DeepSeek 或通义千问 72B,这两个模型是最有可能实现替代的选择。相比之下,其他模型可能相对规模较小。
目前,我们平台上还没有其他大模型厂商的顶级模型,只有它们的较小版本。如果你追求性价比,或者希望模型更小、计算更快,可以尝试这些小一些的模型。
对于文生图的应用,目前我们也上线了 Flux 模型,并且获得了它的商业授权。
> **Flux 是业内目前最好的文生图模型之一**。除此之外,本周我们还会上线一个**全球第一梯队的 TTS(文本转语音)模型**。如果你想复现 GPT\-4 这种能力,比如通过打电话,或者在视频中让数字人说话,甚至模仿任何人发声,包括模仿雷军的声音,这个 TTS 模型都可以实现。
>
>
**我们也会持续关注开发者的需求,了解他们最想使用哪些模型。**然后我们会与这些模型供应商进行合作谈判,如果谈妥了,我们就会在平台上推出这些模型。如果无法直接合作,我们也会想办法绕过障碍,比如通过 API 转发给背后的模型厂商。我们的总体目标是让开发者能够非常方便地在一个平台上接入各种模型,并根据需求进行测试,看看哪个模型最合适、性价比最高。目前来看,DeepSeek 在第一梯队的模型中性价比是最高的,因为他们很早就将价格锚定在了较低的水平。
**如果你对价格特别敏感,也可以考虑使用我们平台上基于国产芯片的模型。**我们的确通过国产芯片采购的计算资源要比采购 NVIDIA 的算力便宜很多,所以在相同的模型下,基于国产算力的定价也会便宜不少。这是我给出的一个性价比推荐。
最后,正如刚才另一位朋友提到的,我们很快会推出针对企业级需求的功能。企业可以部署自己训练的模型,或者使用 LoRA 等技术进行微调,而不是仅仅依赖标准模型并通过 prompt 来实现个性化。这些功能预计会在一个月内上线,届时将极大地提升模型部署的便捷性。
Q:国内大模型相关竞争,尤其**创业竞争还会持续多久?近一两年是否会分出胜负,进入寡头阶段?**
A:这个问题非常宏观,**我的总体感觉是,技术的渗透和扩散速度非常快。**
早些时候,大家对大模型的概念还不太了解,甚至不知道谁能真正做出大模型。然而,今天的情况已经大为不同,透明度已经足够高。无论是从数据的可得性,还是算力的成本下降来看,如今的技术更为亲民,许多公司也能够负担大规模算力了。
> **此外,许多关键技术也逐渐开放**。我昨天还在讨论英伟达的 NeMotron,它在 post\-training 的性能指标上已经仅次于 OpenAI 最新的模型。这些技术的开放使得越来越多的人能够参与到前沿技术的探索中。
>
>
如果抛开资源的差异不谈,有些公司可能拥有更多的资源,能够做出更大的成就,但在许多技术层面,这些能力正在扩散,越来越多的人和公司能够掌握这些技术。因此,我认为,**正如许多人预测的那样,未来市场上不需要存在那么多的模型厂商。**只有那些能够做出一骑绝尘、非常特别的模型的公司,才能依赖模型本身生存。而大多数公司,还是需要通过产品,通过打造出具备强大变现能力的应用产品,才能支撑企业的健康发展。
**总结来说,我认为大模型技术本身将逐渐进入“寻常百姓家”。**越来越多的公司将具备训练大模型的能力。因此,作为通用大模型供应商的公司数量将变少,市场将逐渐聚焦在少数几家拥有独特优势的公司上。而与此同时,越来越多的关注点将转向应用层面。这与互联网的发展历程类似,当应用做得越来越强大时,它将反过来促进模型的训练。通过用户的反馈和大规模数据的积累,企业能够在特定领域中引入其他公司所不具备的优势,最终做出最优的模型。
从长期来看,这是一个明确的趋势,也是我对未来发展的理解。
Q:谢谢袁进辉老师的分享,我非常尊敬您,很佩服您创业取得的成就。因为我可能是跟在座很多人不在一个行业,我是一直在做芯片,在芯片这个行当中做了差不多 20 年,现在的创业公司也是 2017 年开始做的,大概去年有 4 亿多的这个营收。
**想跟袁老师请教两个问题****:**
关于您刚才讲的内容,我自己的一些思考。其实这个我觉得芯片行业也有类似的问题,
> 比如说现在 AI 的很多的创业,大部分都是从这个科学家,或者是很多这个天分很高的学术背景很好的人在主导。但是从商业化落地来看,因为我自己是做市场和销售的,市场和销售它其实是有另外一套逻辑,我们也认为它是理论或者科学。
>
>
但是在这里经常会碰到一个问题,科学家或者是工程师主导的公司,在实际商业落地的时候有许多商业化的挑战。在世界上有许多商业演进的实例,它有很多可以参考的理论或者是方法,有可能不是这个行业的,但是在其他方面可能是可行的。
1. 所以第一个问题想问您怎么看待**技术走向商业化的问题****?**比如说产品市场销售,在创新行业的公司定位,或者说跟您有文化或者是说体制上面的**冲突或影响的时候,您会怎么平衡?**
2. 第二个问题是从芯片角度来讲,因为刚才对谈,大部分时候其实集中芯片还是在这个算力或者是缓存方面。我自己的这个背景大部分是在网络和存储方面,也在思考一些在网络和存储方面的创新,因为其实可以以一个成熟效应的方式来提升整个大模型的这个效率,所以如果**从 infrastructure 的这个角度来讲,网络和存储的创新在现在这个时代是不是还是被整个行业非常关注和非常欢迎的?**
A:**第一个问题是关于商业方面的。**
实际上,我去年受到了很大的教育,我们刚才说的第一个是非典型的创业。这种创业方式只有被并购这一条出路,否则就难以持续,投资人不可能持续支持这样的公司。去年和王慧文学习工作的这一阶段,我就会学到很多从产品角度、商业化这一块的思考,因为他做了很长时间的产品和商业化。
**我们做这个新的公司的时候,实际上是非常重视****产品和商业化这块内容****。**而且还因为有一个点——我们判断这个产品会很快地推出来,就会很快进入到一个市场扩张阶段,所以就要解决这些问题,那这个是确确实实在去年发生了。
> 包括在光年之外的时候,见到了很多在产品方面非常优秀的人,在商业化方面非常优秀的人。能感觉到大家是在搞技术也好,搞产品也好,搞商业也好,**每个方向都是有人做得很深的,或者都有大师存在的,都有艺术级存在的人,每个层面做到非常高的那个感觉**。
>
>
所以我们在做一些新的公司的时候,觉得产品能很快地推出来,而且从长期不想再重复一遍,比如说被并购这种结果的话,那就只能你必须把商业化的问题解决掉。在新的公司里面,我们现在有三位联创,都是原来做市场产品商业化的,同时还有一些 PR 都发布出去了,招到的都是经验非常丰富的,在过去很多知名公司里面做了非常好的业绩的人,我们作为一个团队来合作。
我提供的更多的是从技术方面的深入视角,产业方面的一些 input,然后别人会从比如说商业利益,包括这个执行力,甚至人性出发。你要商业的话,做这个要成交、要共赢等等,这里面也有很多很多可学的东西。我们非常重视这个方面,包括已经进入公司的人才,也一直在找这方面的高水平、有造诣的人才。
**第二个是关于芯片,网络和存储其实在 AI 方面也蛮不一样的,但现在能看到一些软件方面的工作。**
AI 里面有海量的特别小的文件,市面上存在专门解决这种问题的产品,他把这个问题解得非常好,就能卖得很广。
那网络这一块,特别是训练里面的网络还是一个非常重大的一个课题。一方面对那个机器卡之间的互联带宽要求非常高,稳定性要求非常高,那现在我也知道有这样的创业公司,奇绩应该也投了这样的公司。
所以在网络这一块也有很大的课题。这是我的一个意见,谢谢。
Q:袁老师您好,我叫张艺兴,想问几个问题。
1. 第一个问题是,**您这边觉得国产的边缘端芯片前景如何?**
2. 第二个问题是,**如果我想做一个中间件,把所有的国产的边缘端芯片全部给它聚合起来,然后我的上层去提供它所有 Fae 的服务。你觉得这个模式能成立吗?**
> 类似于无问芯穹,不过他是做云端的,我想做边缘的芯片。
>
>
A:**首先,第一个问题是边缘端芯片****。**
**正如我们之前讨论过的,我非常看好边缘端算力的未来发展。**我相信,随着时间的推移,边缘端的算力会越来越多,并且会有一部分模型运行在边缘端设备上。因此,边缘端芯片的前景是非常明确的。而且,相较于开发云端的大型芯片,边缘端芯片的开发难度相对较低。
**其次是边缘算力的整合。**
类似于“边缘云”这样的概念,我也相信它有着广阔的前景。从长远来看,我们可以想象 AI 的底层算力和能力如何支持所有的应用场景和需求端。过去我们曾将算力比作“水电煤”,而再上升一个层次,模型能力也会成为“水电煤”。**未来,这种模型能力可能会像今天的互联网或移动互联网流量一样,无处不在,且需要快速响应。**
回顾过去,一些公司已经在做类似的工作,比如 CDN。这些公司通过在各地布设缓存节点,提升了视频传输的用户体验。不是所有视频内容都需要存储在云端,许多时候,如果没有边缘节点的缓存,用户体验是无法保证的。而我认为,AI 领域未来也会出现类似的形态——模型能力或智能能力将分布在各个地理区域,甚至延伸到家庭设备。事实上,现在已经有一些基于 NAS 的家庭设备开始探索这种方向。
**因此,我也认为在边缘云领域进行布局是有前景的。但同时,这个领域也将面临激烈的竞争,可能会有许多人参与其中。**
Q:袁老师您好,我是一家医疗影像 AI 项目的 co\-founder,然后我们目前基于下一轮次的需求,有这个出海的业务需求。之前也听过您一些关于开源方面的分享,我的问题是,** ToB 业务出海这一块项目开源是否具有意义?**
A:
这是关于开源的讨论。虽然今天没怎么谈到开源,但我们过去多年一直在做开源项目,所以我想分享一下关于开源的一些思考。开源对于拓展海外市场非常有帮助。
> 目前我们有一个软件,叫做 OneDiff,主要用于文生图。这个项目是在我们做 OneFlow 的时候开源的,早在 2022 年底就推出了,比如用于 Stable Diffusion 的推理等功能。后来,社区中有不少用户对其进行了进一步的区分。之后,随着新公司成立,我们推出了一个企业版,企业版是付费的。
>
>
从今年 8 月新公司成立以来,我们陆续收到来自海外公司发来的邮件,他们表示希望使用我们的企业版。到目前为止,已经售出了不少套,而且是按 GPU 卡数来销售的。
**我发现,海外用户的消费习惯非常好。**我们的定价他们不会讨价还价,且他们非常诚信。
> 比如,他们会如实报告使用了多少张 GPU 卡,我们也不会去严格检测,最终顺利成交。这样的例子很多,现在我们的客户来自美国、中东、巴基斯坦等地。
>
>
因此,开源对于拓展海外市场,特别是在 PLG 和社区建设方面,确实非常有帮助。
但作为一家商业公司,我们也做了一些反思。正如刚才提到的 Spark 一样,我们需要设计好开源版与商业版之间的界面。具体来说,哪些部分是用于吸引人气、做开源引流、吸引开发者的?而哪些部分则是面向有付费能力的企业提供的服务?因此,我认为开源是一个非常有价值的手段,但我们必须做好产品设计,明确开源部分与商业部分的分工。
> **比如在我们做**** ComfyUI ****时,我们也采用了一部分开源策略。**前端部分是开源的,比如将 ComfyUI 搬到云上运行。但是,在云上运行的部分是必须依赖于我们的商业云服务的。也就是说,我们既为用户提供了便利,同时如果这个产品确实为用户创造了价值,用户就需要使用我们的商业产品和服务。这种模式下,开源部分不仅让开发者和用户更容易上手使用,另一方面也为我们的商业产品带来了用户和流量。
>
>
**因此,我认为我们应该充分发挥开源的优势,同时做好产品设计,明确开源部分与企业版之间的界限。**这就是我关于开源问题的一些分享。
Q:第一个问题是为何 Siliconcloud 不采用 COG ?第二个是看到硅基有在做这个开发者市场,你们有没有了解过类似项目?你们认为它核心优势是什么?你们的差异化是什么?
A:COG 应该是 Replicate 平台的那个工具。
未来自助模型的形态大致会沿用这种模式,虽然不完全是 COG 的方案。我目前还没有查看 COG 的license类型,如果它的license足够开放,我们不排除采用它的可能性。不过,当前自托管模型的产品形态大致就是沿着这样的思路进行的,类似于 COG,目的是为用户提供类似使用 Replicate 的体验。
如果用户已经通过这种方式上线并使用了我们的产品,并且在使用过程中遇到了效率问题或其他问题,我们还可以提供更深度的服务,专门针对其模型和工作流进行优化。这是第一个问题的解答。
Replicate 其实是在Infra方向上做云服务非常早期的公司,且流量非常大。它抓住的第一波浪潮就是 AIGC的热潮,尤其是在大家尝试各种文生图模型时,发现很多模型的部署非常麻烦。Replicate 最早将这些模型集成到平台中,因此迅速吸引了大量流量,到今天它仍然是流量最大的公司之一。
Replicate 先积累了大量流量,随后再专注于基础设施的优化和改进。这与我们和 Fireworks 的做法类似,只不过我们是先专注于 infra,然后再去获取流量。因此,Replicate 在某种程度上有点像** **Hugging Face,它通过现有的开发者社区积累了大量人气,并推出了一个非常易用、上手简单的产品。
不过,目前 Replicate 的收费模式仍然基于计算资源,而不是按照产品功能收费。具体来说,它是按使用的算力来计费的,即根据用户使用了多少 GPU 卡时来收费。当然,他们也在逐步向 Infra 方向拓展,推出更多基础设施类的产品。
我们目前也在与 Replicate 进行合作。**这两类公司各自有不同的优势**:
- 一类公司先聚集流量,再进行技术优化;
- 另一类公司则是先打磨技术,再获取流量。
我们现在正与 Replicate 合作,他们希望通过他们的平台将我们的某个产品引入美国市场和服务美国客户。目前,这项合作正在推进中,我认为这是一个双赢且互补的合作模式。对于我们来说,进军美国市场相对困难,毕竟我们在当地没有市场团队,还存在其他一些不利因素。而 Replicate 本身在美国市场拥有很好的影响力,通过他们的渠道可以更好地进入美国市场。
除了 Replicate,我们还与另一家公司在文生图领域展开了合作,使用我们的产品去开拓美国市场。这家公司在美国的反响非常好,并且获得了非常成功的融资。
目前,这个合作已经取得了不错的进展。