回顾
OpenAI GPT4发布也接近一年了，最初的热度也降下来了一点。有关LLM的学术研究和产业应用在这一年里可以说是紧锣密鼓地开展，速度上我认为属于中规中矩。也就是说，暂时不用担心它会像一些标题党的中所述的那样，迅速对社会上所有基于脑力劳动的工作和产业产生颠覆性的影响使其重新洗牌。但也确定它已经可以逐步替代一部分需求，并且随着应用的推广占比逐渐增加。受影响的尤其是一些机械性的在文本模态上的检索、组织工作。这里面包括编程、新闻、公务文书、财经信息、教育等等方面。
GPTs是玩具还是大杀器?
也许近一年中各种公众号视频的文案中，与之有关的不同观点不绝于耳。但我仍想从我所见的角度重新分析一下此类问题。毕竟如果它的影响力真的很大，必然关系到很多人的规划与选择。一项技术如果只有局部影响力，强者可以从中寻找机遇，少量的相关从业者需要重新考虑的问题，大部分人只是看个热闹。但是如果一项技术有可能会影响大部分人的工作方式，那就不得不作全面的思考。这里有可以参考的历史，就是人类的几次工业革命。
回顾近几年的IT科技热点名词，有互联网+、5G、区块链、VR/元宇宙等等。感受下来，有些概念的实际影响力确实对不起当初宣传时的浩大声势。在”火出圈“之后，基本上要么回归到自己所在的领域默默发挥作用，要么成了一部分人手中的玩具。然而，LLM最初的属性决定了它必然不是某个领域内的玩具，也不只是会作为某些科技产品的背景版或透明的中间环节出现。前者是因为它是以通用场景为目标设计和训练的，后者是因为它非常靠近与人类交互的前端。
另一方面，尽管大部分人或多或少使用过大语言模型AI，但它在产品化方面还没有显著的现象级应用。目前比较全面可见的主要还只有几家搜索引擎，比如Bing、谷歌、百度作为辅助搜索或问答的工具。尽管在各行各业都有人在尝试使用LLM做一些工作，无论怎么说距离”全面影响工作和生活”这一步还有不少距离。这里面一部分当然是能力上的成本和质量问题，大模型还没有达到所谓的”全能”，对于一些垂直领域的应用有难以适配的问题。
另一个主要的原因则完全不用担心，就是时间问题。一方面，从模型API过渡到一个成熟商业应用通常没有那么迅速。互联网盈利的几个大APP，包括电商、社交、娱乐，远不是一年建成的，从最初的想法展开，到被被人们广泛接受，再到一个基础性的设施需要较长时间的积累。这种改变的过程也许是温和的，但结果确实是显著和广泛的。举个例子，电子支付从出现到广泛替代纸钞用了不到10年的时间。关键是，现在的人不太会觉得纸钞这一发明了千年的商业基础工具被迅速替代是一件令人惊讶的事。如果把时间回放到2010年，给当时的人们讲过几年出远门旅游不用带一分钱钞票，也不用银行卡取款，手机里的数字就是你的余额，这件事就算不让人惊讶，也免不了是一个有意思的话题。OpenAI chapgpt网站吸引到上亿用户所花的时间无疑是所有互联网应用中最快的，但是当时仅仅是给模型套了一层用户界面而已，更多的工程性开发也是需要花时间一步步做的。另一方面，大语言模型本身还在迅速发展阶段，应用商业化必须考虑上游发展带来的风险。否则花大力气做了适配和调优，基础模型一升级，发现前面的努力全是无用功，这也是划不来的。因此除了一些能迅速产生收益的应用，更长期的应用持一段时间的观望态度是合理的。
做一个定量的预测与规划是相当困难的。从短期、中期、长期三个时间尺度上考虑这个问题。
短期(一年内)，大部分人不需要担心大语言模型带来的影响，当然，如果发现大模型能加速或便利自己一部分工作更好。
在中期(三到五年)的时间上，初步的应用开始普及，对生活和工作的影响力初步显现。也许这个时候手机上开始出现智能多模态个人助理，其成本也会逐步下降，最后影响到各个领域。想象一下对个人智能助理说”帮我安排一下5天的出国旅行行程，交通和住宿尽量买便宜的，把行程安排和各个支付账单汇总起来给我确认支付“，如果觉得合适点完支付即可，后面旅行中的证件和语言沟通全部由助理完成，八十岁的老人都能完全无压力完成。上述情况只是简单构想的一小部分特殊场景。我们知道现在AI可以帮你完成行程推荐，但是进行复杂的交互还不太方便。而用户接口(手机助理)和具体事项的接口(购买和支付)仍需要一段时间的商业融合，因为这个流程目前会涉及好几家不同领域的公司。另外，教育和学习的理念也会有些许的改变，以前要看十来本砖头厚的书考试才能毕业的专业，问一下AI可能反而更准确快捷。就像现在人们不会和卡车与挖掘机比较体力一样，人们可能需要重新审视哪些知识技能需要像小学数学那样最好被大多数人熟练的训练与掌握，而哪些知识不需要费大力气学习记忆，交给AI辅助即可。顺带一提，计算机相比人脑最不缺的是精确存储大量数据的能力，如果转为纯文本，一个U盘就可以存下整个图书馆的上万本书的数据。智能在这里重点体现的是主动将这些知识数据按需要表述出来和结合运用的能力。
上述预测只是一个基本的”线性”推测，建立在GPTs的能力增长趋稳或趋缓，软件、硬件成本随着投入的积累稳步下降的情况。然而，AI发展具有非常大的不确定性，一项小的技术改变有可能引发一轮新的革命。因此，长期(十年以上)的预测非常困难。如果强人工智能得以实现和应用，即AI在各个方面都超过个人能力，则几乎一切都将改写。在三年前，我认为这种情况出现的时间不会快于人类实现商业化的热核反应堆，大约在2050年之前。然而现在，我们已经不得不谈论十年之内出现Strong AGI的可能性。总的来说，即使以保守的观点来看，GPTs的影响力不亚于智能手机的出现。
Strong AGI展望，效率、自举、超对齐、奇点
上面说到我们不得不谈论强AGI在近十年出现的可能性。事实上，通用人工智能的苗头在GPT4上已经初现。23年5月左右微软发布了一篇详细的GPT4测评报告，他们认为可以认为GPT4通用人工智能的雏形。其中令我印象深刻的是一个问答，如何把几个不同的物体堆叠起来，例如书本、圆锥、瓶子等，GPT3.5可能会跟随输入的顺序给出不合理的回答，但GPT4可以避免这个问题。这像一个三岁和七岁儿童的差别，前者可能需要在尝试中知道哪些堆叠是稳固的，而后者已经归纳出了一定的规律并推理。注意这测试的是语言模型的一个短板，即推理能力，其他大部分GPT4所能做的任务显然不只是7岁小孩能完成的。从字面上来说，”语言模型”的最低要求只是产生合式的句子，并不要求它符合逻辑和事实。事实上在训练过程中，大语言模型也只是不断地做句子填充和续写这样粗糙的训练过程。GPT显然超过了最低的要求，并且展示出初步的智能。
现在尚不知道的是我们现在离下一个大阶段是只差临门一脚，还是说悲观的”有望在30年后实现“。实现下一阶段可做的技术改进还非常多，像多模态、改进的训练方法都有可能新能力涌现的突破口。甚至什么都不用做，仅仅凭借摩尔定律和一些计算效率的优化扩大10倍的规模，都有可能呈现新的能力。现在大语言模型的参数数量(千亿量级)已经超过大脑脑的神经元总数(百亿量级)，但是离人脑的总突触数量(百万亿量级)还有不少差距。当然，生物结构和电子电路结构有很大不同，不太能相提并论。但是考虑上生物上还有一些限制和损失，二者存储的可用信息量可能已经没多大差距了，甚至可能人脑并没有多少优势。因此，一个最早的预估是，截至目前已经有人找到实现强人工智能所需的最后一点技术改进，并且尚在实践测试中，在数年内就可以训练完成并面世。它有可能是openAI GPT-5.5，GPT-6，也可能不是。
缩放规则
对于技术研究人员来说，首要的问题是他们的研究是否有效。大部分实验室和小型企业拥有的资源只能满足研究人员去魔改一些小规模模型，这种魔改的最好结果是在特定的任务上达到很高的分数，这对于特定场景的小型化是有意义的。但是，放在更大规模的模型上，似乎是”大的就是好“。现在看到的LLM在结构上并没有什么突破性的创新，基本上是以前可见的小规模的模型直接在结构参数上的放大。近期呼声比较高的MoE结构是否真的在GPT-4中使用也不得而知。这里面我认为有两个原因。一方面，大模型的训练所需要的成本代价经不起魔改，使用缩放规则把经得起时间考验的模型放大模型是风险和最有效的方式。另一方面，在如此大而且成熟的神经网络结构上的改动带来的改进一般只是”常数性”的，而非”决定性”的。如果认为成功的大模型已经运用了参数中的大部分表示能力，那么剩下的改进带来效率提高是十分有限的——也许通过各种魔改能让一个7B模型比另一波人训练的10B模型更好，但不可能改出和70B一样的能力。
从这个角度上来说虽然对模型小型化做出了一定程度的悲观限制，但总体上仍是乐观的。我们见证了GPTs和缩放规则的显著的成功。因此，即使大模型在AI层面的技术没有任何突破，仅通过硬件和软件层面的优化，模型的继续扩大，其能力仍然有不小的提升空间。限制这种提升的最终可能因素是数据上的，即整个互联网上的有效的优质的数据量。
效率与工具
纯LLM架构的一个问题效率，我们知道LLM很难准确地完成一些使用工具能非常迅速完成的任务，比如多位数的数学计算。当然和人类似，可以要求它分步骤或列竖式等方式来提高计算的准确率，但这显然不划算。因此出现了一系列tool LLM相关的工作，当然除了效率之外的还有引入一些额外的信息等。考虑一个问题，首先直接给予大模型工具而不去训练，此时是在一个既定的基础上扩展模型的能力外延。那么在训练过程中引入工具训练，乃至形成某种程度上的闭环训练，模型能力的内涵能提高多少呢? 首先在限定资源(参数、计算)的情况下，使用工具会一定程度上退化原来不使用工具时执行同一个任务的能力，这种现象在很多领域微调的工作中有所展现。同时，多余的资源可以用于其他能力，使之整体效率略有提高。另外我们知道，人类与其他生物的区别是会使用大量的工具，那么AI通过工具学习能否达到或超过人类呢? 我认为仅通过监督式地学习即使能掌握很多工具，也很难掌握从工具制造新工具的能力。如果这个学习过程中一旦包含了归纳步骤或闭环反馈，那么产生人类未曾想到的新方法也不是没有可能，因为人类充其量也只是多了这些步骤而已。
自举
23年中旬的时候看到一则有意思的新闻，大意是说GPT生成的训练语料质量高于人工标注的平均水平。尽管这类有标签数据不用于基座模型，但是仍让人遐想把更高质量的模型的输出作为输入会发生什么。在编程语言中，”自举”意味着一个语言编写出自己的编译器而不再借助其他语言。这通常是大的通用型编程语言发展过程中重要的一步(但不是必要的)。做一个类比，如果大语言模型通过图灵测试，其生成的语料与人类的语料不可区分，那么理论上这些数据也可以用于训练。事实上这个过程是不可避免的，自从ChatGPT推出之后，互联网上的数据就不是纯净的由人类生成的语料了。完全不可区分则意味着AGI完全融入人类语言体系，此时网上一个和你聊天的人除了没有肉体以外让人感受不出任何区别，我们见到的数据将由大量的类人AI和少量的人类数据构成。那么一旦到了这个时刻，用AI生成的语料去给自己训练，能否形成所谓的”自举“呢? 这个过程首先要对语料生成的多样性有良好的采样。数据集的质量，正确性是一部分，多样性也是至关重要的另一部分。否则，每次迭代失去一部分信息之后，模型最终将失去所有的能力。那么，假设存在一种理想生成采样方法能非常精巧地保留多样性，那么这个过程会发生什么呢? 首先，对于一个封闭的系统，这个过程不产生任何新的信息，因此我猜测最理想的情况是演化过程中保留所有的语义，但是表述编码会逐渐偏移，直到产生一种人类看不懂的”机器对话语言”。这个过程就像人类历史中一门语言长期因为地理上的分居从而分化出两种语言一样。当然，保留多样性这一假设过于理想了，实际过程中总有损耗，就像热力学第二定律的熵增一样，封闭系统最终会逐渐退化。在一个开放系统下，智能体也许可以自然地保留这些能力，甚至发展出更强的能力，也是以一种分化的语言形式。
思维
大部分人能承认当前的AI能够在一定程度上模仿人的能力，但是对沿着当前的路线走下去能否产生类人的思维与意识仍有不少人表示怀疑。有一些常见的论据不看好AI的能力。比如我们这一代AI，从底层的硅基电路到软件到大规模神经网络，都是一些由一些确定性的逻辑逐层构建的。只要我们固定好输入，并确认整个系统所处的状态，总能得到确定的输出，这似乎限制了系统的主观能动性。同时，模型的监督式训练只是在模仿或者说拟合人类输入-输出行为，不会有超出原本数据的新能力。总而言之，就是认为AI尽管可能很”像”人类，但它就是不会思考。例如说AI可以在围棋上下的很好，但它只是一组更精巧或规模更大的程序，其底层仍然是一些机械的计算而不会”思考”。
在这一点上，我认为不能高估人类思维的特殊性。虽然即使到最后总有人可以辩解或提出一个自己的定义”不像大脑生物神经元那样处理信息的方式都是机械的，不能称为思维”，但是这实在是过于”人类中心主义”了。举个例子，像我小时候发现90%的有关外星人的科幻电影中的外星人都具有拟人的外形，这是一件不太合理的事情。在我想象中，也许有一种超人类智慧的外星生命体，它的一个个体是一个星球本身。构建它的基本形式可以不限，可以像现在地球上的核酸-蛋白质体系，也可能一整个星球就是一块大电路板……如果说这个外星生命非常强大，比如可以轻易地在宇宙间航行，轻易地用不为人知的数学方法算出拉姆齐数remsey(5,5)，但是还是坚持认为它的所有行为不是”思维”，而是一种”机械演化“、”计算”，多少有点说不过去。
其次，我们不能以往的简单思维来对待一个具有千亿参数复杂巨系统。我们可以用穷尽所有状态的方法来确定性地设计或研究一个只有几个参数小型系统，但随着规模扩大之后这些方法迅速不再适用，只能用一套新的理论去研究它上一层次上的特征。例如，我们不能简单地说人本质不过是由10^27个原子构成而已，想要分析一个人的行为动机，不会从他身上的每一个原子的运动开始分析。我们也可以用描述复杂性作为标准来更加定量地度量这些系统。例如，用100个字可以大致描述一个PID控制器各个参数和它的作用，或者大致概括本篇文章的包含哪些内容。但我们无法用100字来概括一整个图书馆的书说了些什么，或者去解释大脑或大模型蕴含了哪些知识。
那么监督式训练是否会产生新的思维呢? 新的思维本身不在于是否监督，而在于泛化。我们可以阅读不同的文章，诗句，然后写出新的文学作品。这个过程可以是自发的，也可以是受教育指导(监督)的。但是我们之所以能产生有效的新输出而不是&*YafUU!(c)fw\w@*y73h!@FHh，其核心在于我们确实学习到了这些数据的不同特征，按照这些特征的分布泛化采样出的数据别人认为也是文学作品。这个时候考验的是外推泛化能力，或者说想象力。这种能力实际上是对人们事务的归纳能力，在机器学习中是模型对数据的特征压缩和提取。这种能力的出现是自然的，因为表征空间(记忆)是有限的，同时编码信息也是不稳固的。想要获得更好的记忆(监督优化)，自然地产生了压缩和不易变的表示。
想象力的外推泛化是思维复杂性的一部分。模型也可以通过自反馈来构成另一维度的复杂性，而且这种复杂性对思维更加重要。一些例子足以说明这种反馈带来的复杂性。大模型中基本单元——门控注意力机制，在自回归生成的过程中至少是线性反馈移位寄存器LFSR的升级版。一个n阶的LFSR电路每一步只对n个二进制位的其中几个异或并作为自身的输入，因此我们能用n个位描述一个LFSR，但它的最大循环周期是指数级的，达到2^n-1。另外，如果对大模型的生成和重写次数不加限制，那么它完全就是一台字面意义上的极巨化的图灵机。在目前的大模型应用研究中，”思维链”使用这种自反馈来增强推理能力。一个足够长程有效的自反馈思维链路就有可能产生深度的思维，它带有记忆状态和自我评价、对外界输入做出响应的能力。显著增加GPT模型上下文长度在理论上就有可能做到这一点，尽管这种方法在实践上可能是低效的，可以有更好的方法完成同样的功能。
超对齐，可解释性的失效
现有的”对齐”目的是让预训练大模型的输出符合人类需求，这里面包含两个阶段的目的，首先是发挥预训练模型内在的能力，然后还要求输出符合人类的价值观约束。这基本上是一个监督的过程，RLHF仍然是从人类获得监督评价信号，但是相比传统监督更加平滑。但是假设范式有所改变，模型能够从自己产生的输出学习，那么它将有可能脱离人类的完全监督，产生独立的思维个体。我猜测这一阶段的”对齐“已经不再局限于人工智能的监督训练范畴，而是一个社会学问题。人类无力检查和监督模型的每一个输出，让AI”超对齐”与人类需求更像是不同个体之间语言的对话或翻译。就像儿童在早期通常接受监督式教育，但是随着年龄的增长这种监督逐渐变弱，最后变成环境、群体、社会之间的交流。然而，人类的自由活动受到诸如法律法规的社会规则的反馈限制，这种限制是否对出现”思维”的AI仍然有效是一个非常大的问题。人们可以轻易地通过法律审判或其他形式来约束一个人的行为边界，即使克隆人的出现可能会使一些约束在一些边界情况上受到挑战(这也是克隆人实验被禁止的原因)，克隆人和”疯狂的科学家”仍然是可控的。但是AI则不同，它的某个思维不依赖于生物个体，一个模型可以被轻易地复制并通过网络迅速送达到任何地方。尽管在现在的弱人工智能阶段，可以通过对AI开发者的约束来间接约束AI的行为。但是在强人工智能阶段，我们大部分熟知的规则都不再适用。
同样地，我们无法去像以往那样解释一个与人脑同样复杂甚至更复杂的系统。”解释”实际上是对某个对象的重新描述，使它更易于被”被解释”的人理解，就像这句话在本文中的作用。我们无法为这样一个复杂的系统构建一个详细的解释，来覆盖模型在各种情况下为什么产生特定的输出。在人类智慧程度高于AI的情况下，为它的系统找到一个不损失信息的更简短解释是可能的。但是在AI就有更高的表示效率之后，我们能找到的最简短解释就是模型本身，所有的重述会增加长度。何况，模型如此之大，人类本身的容量和处理能力无法记忆和阅读全部的解释。此时，唯一的全局可解释做法就是让模型自己去解释行为，这个过程更像是沟通，或是机器思维到人脑思维的扩展式翻译。
超人工智能
几乎完全无法推测强人工智能经过自我迭代能否或者要花费多长时间进化为超人工智能。我们也完全无法想象超人工智能会想什么，因为它的智慧超过全人类总和。不过，我们仍能从一些已知规律的约束中来推测一些可能。首先，人类已有的知识库是有限的，获取更多的知识不得不通过实践探索已知世界的边界，这会带来不可预知的扩张。维持和增长这样的体系需要更多的负熵，而人类现在的地表环境所能提供的总负熵是有限的。因此一个较小可能的预期是现有的环境不足以造就远超人类的智能，AI发展经过一个逻辑斯谛增长曲线后趋于一个上限。另一个可能是人类智能远未达到最大的利用效率，强人工智能经过并不困难的迭代之后迅速飞升为超人工智能，最终产生不可预知的结果。
另一个有趣的问题是超人工智能如何看待一些它自己也解决不了的问题。尽管它的智慧对于我们像神一样，但总会有问题找不到答案。这些问题中有的是需要的资源和能力达不到尚达不到要求而无法解决，而有一类问题更像是哲学上的矛盾而永远没有最终答案。一个足够强大的AI也许能很快以另一种思维方式意识到图灵停机问题或哥德尔不完备性定理，从而意识到自身的局限性。