专业定制伺服电动缸的电动缸厂家

咨询热线:13905180521
杏彩体育官网入口

杏彩体育官网入口网址·什么是涌现?人工智能给你答案

来源:杏彩体育官网网址 作者:杏彩体育官网入口2024-05-21 03:45:33
杏彩体育官网入口网址·

  涌现是复杂系统诸多现象中最神秘莫测的一个:从鸟群聚集、蚂蚁觅食,到生命游戏、大模型涌现能力,再到宇宙起源、生命演化、意识产生,都可以看作是涌现。那么,究竟什么是涌现?涌现可以分成几种类型?涌现和因果是什么关系?我们应该如何定量刻画涌现?又应该如何在数据中自动检测出涌现?

  在因果涌现第三季读书会第一期,北京师范大学系统科学学院教授张江老师,和集智科学研究中心技术与产品顾问袁冰老师进行了主题为“涌现、因果与人工智能”的分享,系统梳理了涌现、因果、因果涌现、涌现的分类、因果涌现的识别,及其与隐空间机器学习、世界模型等人工智能算法之间的关系。本文由北京师范大学系统科学学院研究生杨明哲整理。

  如果你曾经观察过蚂蚁,你会惊讶地发现,当它们聚集成蚁群时,会展现出一种不可思议的“智能”表现。例如,它们能够自动发现从蚁群到达食物的最短路径。这种智能表现并不是由于某些个体蚂蚁的聪明才智,因为每只蚂蚁都非常小,不可能规划比它们身长长至少几十倍以上的路径。这种行为是由于许多蚂蚁聚集成一个蚁群,才表现出来的智能。我们把这种现象称为涌现(Emergence)。

  什么是涌现?当我们用这个词来描述蚁群这样的现象时,是想描述它所体现的整体大于部分之和。为给出一个更加规范的定义,我们说蚁群这样的整体是一个系统,而其中每个蚂蚁便是构成这个系统的基本元素。于是我们可以给出涌现的定义:如果一个系统的属性不是其任何基本元素的属性,那么它就是涌现的。事实上不只是蚂蚁,从鸟群的灵活有序,到大脑产生意识,皆是涌现出来的特质。接下来介绍几个的涌现案例让读者更多体会涌现这个概念。

  1970年,英国数学家约翰·何顿·康威(John Horton Conway)发明了元胞自动机。这是一种无限的、二维正方形的栅格单元网格,每一个单元格有2种状态可能性:活或死的(或者黑和白)。每个单元格都与其八个相邻的单元交互。把每个单元格看作一个细胞,该系统具有以下规则:

  这便是大名鼎鼎的生命游戏,至今已作为一个经典的复杂系统被众多学者研究。它吸引大家研究的点在于,作为基本元素的细胞有着非常简单的交互规则,但当我们把视点放在全局,却会发现很多有意思的图案(pattern)。有些是静态的,像图3中的“方块”、“面包”等等,随着时间不再变化。还有一些则是周期振荡的,甚至像水面上的波一样向某一个方向传播。比如说“滑翔机”,是一个朝某一方向“运动”的周期动态图案,用它构造布尔电路,甚至可以在生命游戏里搭建抽象的计算机,支持通用计算。

  生命游戏的例子体现出,我们在计算机上就可以通过简单的编程,来复现一个复杂系统的涌现现象。接下来介绍的阿米巴虫的例子,则让我们认识到人类甚至可以向生物界中的涌现现象学习,为人类工程师的设计提供借鉴。

  阿米巴虫有两种生存状态,一种是作为大型黏菌存活,而当它饥饿时,会分解出很多微小的单细胞生物去觅食。如果它们发现了一个食物点,就会构建一条管道输送食物给黏菌。我们会发现,这些管道构建成的运输网会被不断优化,一些低效的管道会渐渐消失,而对于留下来的运输网,如果去测量它的运输效率等指标,则会发现它几乎就是最优的设计。这启发科学家借鉴阿米巴虫的生长来设计城市的交通运输网。如图4所示,实验中特意摆放食物点使之与城市的各个地点坐标相似,便可以得到阿米巴虫“设计”的交通运输网了。

  以上举出的涌现现象何以可能?我们再来分析一下蚂蚁觅食的案例。科学家进一步发现,蚁群发现觅食最短路径包含了以下三点:1. 蚂蚁找到食物就会释放信息素;2.信息素会吸引更多的蚂蚁来聚集,同时信息素也会挥发;3.蚂蚁和信息素形成正反馈回路,把路径长短上的细小差异放大,从而筛选出最短路径。借此我们大致可以定性地描述涌现发生的机制:局部作用产生正反馈机制,从而导致宏观上“令人惊异”的现象。这里面不需要一个上帝一般的角色来做全局的考虑和设计。

  涌现这个概念近年来越来越火,尤其是ChatGPT的流行,让更多人关注大语言模型(LLM)与它的涌现能力。这里的涌现更多是指,随着模型规模变大,突然在某一刻拥有了以前没有的能力,比如能在自然语言交互中回答一些智力题。这种神奇的进步在直觉上和前面所说的自然界中的涌现现象似乎一样,但实际是有差异的,因为这里没有局部正反馈反映到宏观全局的过程,其背后原因更多和思维链(chain of thoughts)有关,这里不过多解释,可参考之前的文章。但这不妨碍我们进一步挖掘其背后的秘密,在以后看到更精彩的大模型涌现。

  大模型还体现出另一种令人惊讶的特性,即随着尺度的变化,计算准确度呈现幂律上升,这就是规模法则(scaling law)。规模法则在各种不同的复杂系统中都会出现,从生物界到城市科学。比如在鸟群中,鸟和鸟之间的关联便是关于距离的幂律函数。这其实也是一种涌现出来的现象,是一种统计上的涌现现象。它的出现意味着我们抛弃了大量无关信息,抓住了一些关键指标的变化。以它为切入口,我们可以深挖其背后的机理,从而帮助理解前面举出的那些难以规范描述的涌现现象。

  为了理解涌现现象,我们发现可以从因果的视角入手,来重新阐释复杂系统里个体与整体的关系。回到蚁群的例子,试想一个蚁群过河的场景。为了让整个蚁群能安然渡河,与水面接触的那几只蚂蚁便成了牺牲品。这里便存在一个因果关系,而且与我们更为熟悉的因果方向不同。我们更容易接受的是,因为蚂蚁作为个体的某些行为,所以有了蚁群在宏观上的某些现象,这在亚里士多德的四因说里是质料因。但在蚁群过河的例子中,因为蚁群要在水面上生存,所以牺牲了边缘的几只蚂蚁,出现了自上而下的形式因。这时候我们或许更倾向于把整个蚁群看作一个超级生命体,而不再是一只只蚂蚁的排列。

  类似的例子还有很多,都涉及到因果律的变化。有的复杂系统里自上而下的因果相比于自下而上的因果体现的更明显,还有的系统中只能在宏观层面去解释一些结果,而不能用微观的个体去做因果上的解释。

  那因果和涌现到底是什么关系?Jochen Fromm 在中指出,对于所有的结果(effect),我们都会试图找到它的原因(cause),但涌现现象是我们在宏观上观察到一个现象却无法简单归因的。这样的洞见让我们认识到,对因果的研究是理解涌现的一个途径。于是我们有了因果涌现(causal emergence)这样一个概念和研究课题。我们希望借此能对涌现有一般性的研究,而不只是在一个个具体的案例里讨论涌现现象。

  我们接下来来看对于涌现这个概念,历史上已经有了哪些定性的研究。首先介绍Jochen Fromm 对涌现的分类。如图7,图中箭头表示因果关系,那么根据因果关系的不同,可以把涌现分为四类。

  首先是简单涌现,只有自下而上的因果关系,比如对一些变量求均值,这种普通的统计特征我们非常熟悉了,不是我们关注的重点。有意思的事情发生在自上而下的因果关系的出现,这时便是弱涌现,像前面介绍过的蚂蚁觅食就是这一类。生命游戏则属于多重涌现,在一次生命游戏中可以同时观察到或静态或动态,大小不同长相不一的图案涌现出来。强涌现则是考虑了不只两个尺度,同时有微观、介观、宏观三个尺度,而介观的存在完全隔离了微观与宏观之间的因果关系。例如从细胞到多细胞生命体再到智能与意识的存在。

  需要说明的是,有些涌现离不开主观视角的介入。有些涌现是客观固有的性质,比如蚂蚁觅食,可以用客观指标来度量蚁群觅食的能力,这样的涌现可以被称作本体论的涌现。还有些涌现现象则源自观察者的简化,比如我们观察云彩的时候,会认出某些云朵形状类似我们熟知的人脸。这样的宏观现象一样无法归因于每个运动的水蒸气分子,但它是客观物质与人类认识共同形成的。这种涌现可以被称作认识论的涌现。两种涌现都很重要,都是我们要研究的对象。

  另一位哲学家 Mark Bedau 也提出了自己对涌现的分类,和 Jochen Fromm 的理论也有联系。Fromm 所说的简单涌现,便是Bedau提出的名义的涌现。而 Fromm 的弱涌现与多重涌现合在一起则是 Bedau 认为的弱涌现。两个人的共识在于对强涌现的认识和界定。强涌现确实是最神秘也最令人着迷的一种。相比于 Fromm 的理论,Bedau 的分类更加简洁。

  除了哲学上的探讨,Bedau 更大的贡献在于,用格兰杰因果检验这样一个量化手段解释了什么是弱涌现,此时弱涌现也可以叫做 G-emergence。如图中A、B两个时间序列,我们回归分析变量An,可以得到A自身的历史信息An-1与B的历史信息Bn-1对它的解释。如果仅凭借A自身的历史信息就可以解释An,便定义A是G自主(G-autonomous)的。那什么是弱涌现呢?在一个鸟群模型的例子中,每只鸟的运动便是微观上的时间序列,而整个鸟群质心的运动定义为宏观上的时间序列。如果宏观时间序列是G自主的,而微观时间序列不是,还需要依靠宏观质心运动的历史信息来预测下一时刻的微观状态,那么便定义这个系统是弱涌现的。该定义讨论了自上而下的因果关系,而且是以机器作为观察者视角,用算法发现了模型原本不包含的向下因果,属于我们之前所讨论的认识论的涌现。

  对于复杂系统的因果涌现,除了以上讨论的定性研究,我们更希望能搭建一个量化的理论框架。Erik Hoel 作为因果涌现理论的正式提出者,最大的贡献便是以因果为工具对涌现现象进行了定量的刻画。

  如图10所示,横轴表示系统动力学演化时间,纵轴则是同一系统的不同尺度。我们常常能观测到微观尺度上,系统在某一动力学规则下演化,比如在一个密闭空间里,大量气体分子在牛顿定律下运动。但这样的运动非常无序,很难研究清楚,也就是说微观动力学f的因果效应强度会比较弱。为解决这一问题,我们经常会使用某一种粗粒化手段,把系统的微观状态映射到某一宏观尺度上。比如对于刚才提及的气体系统,我们开发出温度、压强、熵等一系列宏观指标,那么所有气体分子的速度和位置等变量就与这些宏观指标建立起了映射关系。在这个宏观尺度上,我们往往会发现更加简洁的规律,比如有理想气体方程PV=nRT。这时候可以说该宏观动力学F的因果效应强度高。如果有宏观动力学的因果效应大于微观动力学因果效应,便认为该系统发生因果涌现。

  这里的因果效应强度要怎么度量呢?我们接下来介绍因果效应度量的指标有效信息(effective information, EI)。这个概念最早来自 Hoel 的导师 Tononi 的一篇文章,是指对于一个马尔可夫系统,测量输入和输出的互信息,其中输入服从最大熵分布。

  Hoel 进一步发展这个概念,同样是在离散的马尔可夫系统中讨论,对于一个转移概率矩阵,可以测量它的 EI。EI 本质是互信息,但仅仅是互信息还不行,因为互信息测量的是关联关系,无法去除数据分布本身带来的混杂影响。为了让互信息能正确衡量系统自身的性质,需要约束输入变量的分布,即人为对输入一端的变量做干预,设定输入变量为均匀分布(在离散系统中等同于最大熵分布),然后测量此时输入和输出之间的互信息,得到的便是 EI。干预这个概念来自 Judea Pearl 的因果理论,正是因为引入了干预这样的手段,EI 度量的便是因果效应强度,是一个动力学内在的性质,与外界数据无关。

  值得分析的是,有效信息本身可以被拆成确定性(Det)和简并性(Deg)两部分。确定性度量的是以过去状态预测未来状态的随机性大小,简并性度量的是从未来状态追溯过去状态的随机性大小。在数学上,对EI除以log2(n)做归一化,得到Eff,于是推导可得 Eff=Det-Deg。这启发我们,所谓因果效应强,可以归于两个方面,高确定性和低简并性。图12中提供了几个案例,包括转移概率矩阵和对应的各指标的计算值,供读者参考体会。

  因。