【奇绩潜空间】刘子鸣分享笔记

# 奇绩潜空间|刘子鸣:KAN —— AI\+Science领域潜在“语言”模型 **活动时间:2024年5月16日周四 上午10:00\-11:30** --- --- # Ziming 基本学术背景 **基本背景:**MIT PHD第四年,导师为著名的宇宙学家Max Tegmark **研究兴趣:**AI 与物理学这两个领域的交叉,分为三个大的方向,一个是** Physics of AI**,像理解物理一样去理解AI;第二个是 **Physics for AI**,如何用一些自然物理中的规律和模型来启发我们设计更好的AI;第三个方向是 **AI for physics**,就是我们怎样用 AI 物理学家来帮助人类物理学家进行科学发现。 # KAN \(Kolmogorov\-Arnold\) 底层数学逻辑 \+ 优势 - KA表示定理:一个连续多元函数可以写成有限个单元函数的总和,**从某种意义上而言,真正的多元函数只需要单元函数和加法即可表示**。 - KAN的优势: - 有效的函数逼近模式:可将高维函数转变为更为简单的一维函数逼近问题 - 在科学发现中的可解释性:Ziming在分享中提到了KAN在knot theory这一数学问题上的表现,这启发我们,**有时候小模型在科学领域效果反而更好,也更具可解释性**,并且,KAN又自动地、非监督地发现了一些别的数学公式,**有望在未来发现新的规律和公式** # KAN —— AI\+Science领域潜在“语言”模型 Ziming认为,KAN类似于AI \+ Science领域的语言模型,提供了**人类科学家和模型交互的范式**。人们会使用语言与语言模型进行交互,相似地,科学里将函数作为底层的语言,所以当一个用户使用KAN时,他也可以去调整模型的一些结构,**以函数作为沟通媒介实现与模型的交互,将学科领域知识嵌入模型**,使得模型能够更符合科学预期,从而获得更好的效果。 # 符号主义 vs\. 连接主义 在人工智能发展过程中,符号主义和连接主义具有周期交替占据上风的趋势。KAN作为一种神经网络,具有连续主义的特性,而KAN因为比较容易被简化和符号化,它从某种意义上来说也与符号主义也有一些关系。 # KAN vs\. MLP - 底层数学原理差异: MLP的数学基础是全局逼近定理(universal approximation theorem),而KAN的基础则是KA表示定理。全局逼近定理指出,一个含有足够多神经元的前馈神经网络可以逼近任何复杂的连续函数,无论这个函数有多少个输入变量。全局逼近定理强调了需要足够宽(n足够大)的网络,才能实现输出与目标函数之间较低的误差,理论上无穷高的精度需要用无穷宽的网络来实现。而KA表示定理则表明,可以用有限大小的网络实现无限精度的逼近,虽然这种逼近可能依赖于非光滑的激活函数。 - 结构差异: MLP中神经元的概念是指节点上有激活,但KAN的非线性激活函数是在边上。 - 哲学角度思考: **KAN与MLP的关系类似于还原论和整体论的关系**,KAN的基本思想是每一个部分都是可学的,它具有足够的灵活性,结构的每一部分都是很重要且值得关注的。不同于KAN,MLP 的逻辑是,我们并不需要把每一部分都做得很特殊,只要提供足够多的信息且模型神经元之间的连接足够复杂,那就可以创造出表达力足够强的模型,因此,MLP 更像整体论的思想。 # 观众Q\&A - **人们都说scaling law是大模型领域的牛顿第一定律,从你的科研背景上会如何理解Scaling law呢?有什么最新的认知?** Ziming认为我们目前对Scaling law的理解更像是在地心说阶段,我们仍需要更多努力以更高维度(如全新数学角度)理解问题。对于少体问题,我们可以通过经典物理力学求解,多体问题(10的23次方量级)我们采用统计物理去理解,但现在的大模型问题位于少体与多体之间,我们应该思考,怎么去挑战目前的scaling law范式,建出遵循新的scaling law的新模型。 - **如何看待AI物理学家是否会替代真人物理学家的辩论** Ziming认为是否可以替代并不只取决于AI的能力,即使它能力很强也不意味着它要取代真人物理学家,真正有意义的问题在于AI与人类物理学家通过互动、辩论等最后达成科学上的共识。AI更多还是一个助手的角色,有些繁杂工作的确可以交给AI而不需要人类科学家去处理,但某些需要创新、涉及重大决定的工作还是需要交给人类科学家来做。 - **深度学习到底学到了什么?** 目前Ziming所在组里针对可解释性的研究不仅关心大语言模型的作用与效果,更在于探索大语言模型内部计算了什么有意义的东西。目前尚不清楚这些模型是否完全可解释,但研究的基本想法是要尝试从模型内部入手进行解读。 - **物理和AI两个领域共性在哪里?从物理学角度预测一下大模型未来** 一方面,物理与AI二者都是在研究科学,前者是自然系统,后者是人工系统。另一方面,物理和AI都需要一定的数学背景。 从长期来看很难预测其未来,模型就像是生物,同样具有多样性。作为底层研究人员,Ziming及其他科学家未来致力于推动多样性发展,进而发现各自优势,在模型间进行协同合作。 - **科研灵感来源** Ziming建议,在洗澡、跑步、睡觉等休息放松的状态下从“后台”调出一些问题来思考,这些时刻往往更容易跳出常规思维约束,实现不同知识点之间的碰撞。 - **Symbolic的意义除了可解释性,在训练和推理的效率方面是否有优势?** 如若能把神经网络写成symbolic结构,从压缩程度和算法复杂度上看,可以实现更快的推理,但同时我们可能需要新的硬件架构来处理这些结构。 - **如何推进AI \+ Science领域的发展?** 对于学术界: - 基于好奇心的基础科学研究: 深入神经网络内部,去发现更基础的数学物理理论,并实现新的科学突破。 - 以应用为目的的科学研究: 将AI模型用于蛋白质制药、高分子等具有商业应用前景的领域研究,以获得更好的模拟效果。 对于业界: 提供技术及资金支持,将学界的研究成果进一步商业化、规模化。 总体发展路径为,我们可以用KAN等模型做基础的底层科学理论发现,然后探索其在相关科学领域的应用,最终实现商业化、规模化。 - **存在可以实现通用科学发现的模型吗?** Ziming认为相比于用大语言模型等去建一些generalist,他个人是倾向于认为,我们更需要的是去创造有能力的specialist,即一个能够比较快地应用到不同领域的模型,它对于每个领域都能给一些可解释性。

查看原文