在大模型时代,
如何更新我们的知识储备
接续创刊词 —— 如何让思考留在大分化的上一枝
在创刊号的自由谈中,我们提出了我们正在面临大分化的第二轮,这一轮的体现是通过人类之间思考能力来分化的。因此我们就要思考第二个问题,如何顺应趋势,或者说把握机会,让自己的思考能力停留在大分化的上一枝里,而不是感慨时代变了,现在的军人都不会骑马和射箭了。
我们有哪些习以为常的知识和思考方法,还停留在骑马和射箭上呢?最近在准备搬家,笔者翻出了自己一本很多年前买的书,所谓花书,也就是Ian Goodfellow等写的Deep Learning,重新翻开一看,其中大量的知识和技巧都处在被目前大模型时代淘汰的位置,一本二十章节的前沿教材,其中也就只有四章的内容目前暂且没有过时,其中还有两章是数学基础。技术的变迁是如此日新月异,以至于10年前的教材就已经充满了牛顿物理学的一股气息(甚至还不如,out of date和out of use是两回事)。当前花大量时间学习、理解(最后还没学明白的)优化技术,正则化方法等,都在一力降十慧的时代被打的稀碎。反而是课本上当时不是很注意,也没有认真学的一些部分真正更体现作用。
机器学习的领域里,毕竟真实的从业人员还在关注前沿知识,接收前沿知识的反馈,处于有意识的过时的状态。那么其他领域呢,尤其是已经基本上和现实脱节的经济、金融领域,有哪些知识内容已经完全过时了,当我们离开学校,离开书本之后,我们有没有更新自己的思维和知识结构呢。笔者在工作中,遇到了一些实际上满脑子都是classical toy example的人。正因为见识到这种不更新的大脑的令人同情和悲伤的愚蠢之后,出于对我自己大脑未来状态的担忧,因此我决定耗费一些时间对自己的知识储备和结构需要去做一些更新,尤其是更快速和有效率的更新升级。虽然这种升级就像获得其他类型的知识一样,在中国目前的环境中几乎毫无实际价值,但是我觉得保持健康、稳定和可持续的精神状态和智识水平仍然是一个值得为此花费2-3年时间的重要事业。
为什么更新升级不能直接阅读教材,和其他领域不同,经济和金融大体上处于一个相对尴尬的位置,这一方面是理论和现实之间严重的割裂,另一方面更是因为这个割裂,使得理论界或者学术界对现实世界的反应大幅度减弱了。即使最杰出的经济学家也会在简单的问题上犯下错误,比如某些央行最终会发现并为通货膨胀目标制的可笑假说付出代价。而作为金融、经济世界的参与人员,我们大多数人是需要对现实进行更为及时和高效率的反应的。因此从这个角度看,我们需要的是引入大模型这个工具,去把我们从各类无假设的经典模型的牢笼中解放出来。
既然定下了目标,那么我们用什么原则去更新和迭代呢,下面的是初步思考,随着我个人知识的迭代,也会持续的更新和调整。
首先是思考的基本方法论,放弃尝试解释一切的傲慢,停止挥舞着toy example冲着现实世界耀武扬威,重回耳听为虚,眼见为实的第一性原理。
接着是方法上的,停止解析迷恋与局部极值推导,建立我们自己的高维空间直觉,提升在大模型时代的适应能力。
最后是过程上的,我们反过来利用训练人工智能的方法,更加工程化和规范化的训练自己的大脑。过去,笔者通常把学习理解成知识的积累:因此格外擅长记忆书籍的脚注和有趣的例子。但大模型的发展提醒笔者,所谓的知识数量只是能力的一部分。在新的时代,快速调阅更广度的数据已经没有任何实际意义,讲完全类似的故事的行为和90岁老爷爷相比,除了更没有温情毫无价值,无论你讲的故事主人公是萨缪尔森还是爱因斯坦。真正决定我们大脑这个系统表现的,不只是参数中存储了多少信息,还包括训练数据的质量、训练目标的设计、反馈机制的有效性,以及模型能否在新的任务和环境中迁移已有能力。从这个角度看,我们需要把自己的大脑从信息存储器,转变为一个需要持续训练、评估和更新的认知系统。
当人脑比机器更快时,我们用神经网络方法,将人脑模拟到机器中,当机器已经逼近我们,我们可能需要像它们一样,采用它们的方法对我们现在的思考方式进行升级。这种持续的升级,在一定程度上,至少能够对抗(因其他原因导致的)迷茫。
写到文章的最后,我把文章交给了GPT-6帮我检查,他给我做了非常好的改动,让文字变的严谨,文笔变的流畅,修正了一些写作中的笔误,改写了标点符号,还做了重新分段。这个过程让我看到,人和AI的差别之一就是:
AI只会认真的事情做对,但人会充满激情的把事情做错。