OpenAI前员工预测：2027年AGI降临！GPT智商飙升4年从幼儿园蹿到高中生最近，OpenAI的一位前员工发表了一篇165页的超长博文，对AI发展的未来做出了一系列预测。文章的核心观点可以概括成一句线年实现AGI。

　　几天前，Anthropic一名25岁的高管在博客上发文，表示自己已经准备好了3年后退休，让AI取代自己的工作。

　　他的论据也很简洁直观——你不需要相信科幻小说，只需要看到图上的这条直线年GPT模型有效计算量的增长曲线年后，就可以得出这个结论。

　　距离GPT-4发布已经过去了一年多的时间，包括Gary Marcus和Yann LeCun在内的很多人都不再对模型的Scaling Law深信不疑，甚至持否定态度。

　　虽然我们看起来正在碰壁，但Aschenbrenner提醒我们：往后退一步，看看AI已经走了多远。

　　直觉上，我们可以将模型能力类比为人类的智能水平，从而衡量AI能力的进步：从2019年学龄前儿童水平的GPT-2，到2023年聪明高中生水平的GPT-4，OpenAI只用了4年。

　　GPT-2只能写出一个半连贯的段落，几乎不能顺利地从1数到5。在文章总结任务中，生成的结果只比随机选3个句子稍微好一点。

　　GPT-3能生成更长、逻辑更一致的段落，具备了少样本学习能力，还可以完成一些基本的算术或代码任务。

　　GPT-4不仅可以思考和推理数学问题，还能编写复杂的代码并迭代调试。语言能力也是飞跃性的提高，不仅能在更长的文本中实现逻辑和内容的一致，也能掌握各种复杂话题。

　　根据Contextual AI去年7月发布的研究结果，AI在语言理解、阅读理解、文字细微差异的解释、图像识别等方面的能力都已经超过了人类表现。

　　2020年，MMLU测试发布，相当于高中和大学的所有最难考试的水平，研究人员希望它可以经得起时间考验。

　　结果仅仅三年后，LLM就几乎解决了这个测试，像GPT-4和Gemini这样的模型可以获得超过90%的评分。

　　当时很多研究者都认为，算法方面的根本性突破才能提升模型的数学能力，未来几年能取得的进展非常微小。

　　然而，又一次超乎所有人的想象。2022年一年的时间内，模型准确率从5%上升到50%，最近的SOTA可以达到90%。3年前公认难度很高的基准测试，很快饱和。

　　为了更严谨地评估深度学习的发展速度和趋势，作者使用了OOM指数，即「计算数量级」（order of magnitude）。

　　不仅要考量模型的算力和算法效率，作者还引入了一种新的概念，「解开收益」（unhobbling gains）。

　　而在微软Build大会上，CTO Kevin Scott更是用海洋动物形象地阐述了，OpenAI模型进阶对算力的吞噬之极。

　　以GPT系列为例，GPT-2到GPT-3实现了设备的过渡，从较小的实验设备变成了数据中心，一年内增长了2个OOM。

　　GPT-4延续了这种戏剧性增长，而且从OpenAI囤积芯片的动作来看，这个增长速度会逐渐演变为长期趋势。

　　曾经，在一个模型上花100万美元是令人发指的想法，没有人会接受；但现在，这只是科技巨头囤芯片、训模型的零头。

　　作者预估，「在这个十年结束之前，将有数万亿美元投入到GPU、数据中心和电力建设中。为支持AI的发展，美国至少将电力生产提高数十个百分点」。

　　随着AI产品收入的快速增长，谷歌、微软等公司在2026年左右的年收入可能达到1000亿美元。

　　而到本世纪末，一个集群就能吞掉1T美元，每年产出上亿个GPU，AI所需电力占美国发电总量的百分比，将从现在的不到5%上升到20%。

　　以MATH基准测试为例，过去两年内，从Minerva到最新发布的Gemini 1.5 Flash，在MATH上取得50%准确率（一个不喜欢数学的计算机博士生可以得到40%）的推理效率提高了将近3个OOM，也就是1000倍的效率提升。

　　从长期趋势来看，算法进展的速度也相当一致，因此很容易根据趋势线年期间ImageNet上的公开算法研究，可以发现，训练相同性能模型的计算成本以近乎一致的速度下降，每年减少约0.5个OOM，而且每种模型架构都是如此。

　　所谓「解开收益」，是指某些情况下模型的原始能力被阻碍了，而通过简单的算法改进可以解锁和释放这些潜在能力。

　　虽然它也是一种算法改进，但不仅仅是在已有范式内提升训练效果，而是跳出训练范式，带来模型能力和实用价值的跃升。

　　比如基础的语言模型经过了RLHF，才变成真正可用的产品。InstructGPT论文的量化结果显示八戒体育官方网站，根据人类评分者的偏好，有RLHF的小模型相当于非RLHF的大100倍的模型。

　　上下文长度的增加也是如此。从GPT-3的2k tokens、GPT-4的32k，到Gemini 1.5 Pro的1M+，更长的上下文可以解锁更多的用例和应用场景。

　　训练后改进（post-training improvment）带来的收益也不容忽视。OpenAI联创John Schulman表示，与GPT-4首次发布时相比，当前的GPT-4有了实质性的改进，这主要归功于释放潜在模型能力的后期训练。

　　Epoch AI进行的一项调查发现，在许多基准测试中，这类技术通常可以带来5-30倍的有效计算收益。

　　METR（一个评估模型的非营利组织）同样发现，基于相同的GPT-4基础模型，「解开收益」非常可观。

　　在各种代理任务中，仅使用基本模型时性能只有5%，经过后期训练可以达到20%，加上工具、代理脚手架和更好的后期训练，可以达到今天的近40%。

　　想象一下，如果AI可以使用电脑，有长期记忆，能针对一个问题进行长期思考和推理，而且具备了入职新公司所需的上下文长度，它会有多么强悍的能力？

　　综合考虑算力、算法效率与解开收益这三个方面的叠加，GPT模型从第2代到第4代，大致经历了4.5-6个OOM的有效计算扩展。

　　而且，由于「解开收益」的存在，我们不能仅仅是想象一个非常聪明的ChatGPT，还需要把它看成一个非常智能的、能独立工作的Agent。

　　但是作者同时也提醒道，这其中有很大的误差范围。如果「解开收益」逐渐停滞，或者算法的进展没能解决数据耗尽的问题，就会推迟AGI的来临时间。

　　他的兴趣相当广泛，从第一修正案法律到德国历史，再到拓扑学，以及人工智能。目前的研究专注于实现从弱到强的AI泛化。