像天使也似魔鬼:关于通用人工智能时代科学研究的71个问题

  chatGPT赢得了AI领域的技术圣杯,点亮了AGI的曙光

  来源:澎湃新闻

  作者:肖仰华 //复旦大学计算机学院教授

  前言:

  “以往的技术突破只是人类智能的产物,只有AGI(通用人工智能)是‘智能’本身的革命。智能本身的技术革命更像是一场元革命,其地位和价值无法与普通技术革命相比。”

  复旦大学计算机学院教授肖扬华为澎湃科技写道,这一变化在科学研究中是前所未有的,就像天使和魔鬼一样。面对这种影响,我们应该从什么角度和思维来审视它?

  肖杨华在文章中提出了71个问题,并指出,合理的AGI问题将是促进其健康有序发展和应对其挑战的关键。”我对一些问题做出了不成熟的初步判断和思考。然而,更多的问题仍然不能给出令人满意的答案。”他说。

  以下为肖仰华写作。

  自2022年12月OpenAI发布ChatGPT(一种面向聊天的生成语言模型)以来,以通用人工智能为基础(Artificial General Intelligence)以人工智能技术为代表的变革进入了加速发展的快车道。3月22日,微软研究院研究员公布了GTP-4评估研究报告。为什么要在这里强调3月22日?过去,人类历史上的重大事件通常以年、月为衡量单位,从来没有像今天这样,我们需要用天为单位记录一个变化事件。这一现象本身意义深远。人类社会可能经历了未来学家预测的奇点时刻,技术更新和迭代迎来了指数增长期。风暴眼中的人工智能技术以雷霆万钧的势头将整个人类社会带入了前所未有的变化。

  我们应该如何应对通用人工智能带来的巨大挑战?或者如何以更乐观的态度拥抱随之而来的重大机遇?整个人类社会需要深入思考,积极回应这些问题。

  回到微软研究员的报告本身,该报告给出了一个非常重要的结论:“Give the breadth and depth of GPT-4scapabolities,we believe that it could reasonably be viewed as an early (yet still incomplete) version of an artificial general intelligence (AGI)system”。

  也就是说,鉴于GPT-4能力的广度和深度,我们有充分的理由相信GPT-4应该被合理地视为通用人工智能(AGI)早期版本的系统(但仍不完整)AGI的智能体最初具有人类的思维和推理能力,但其知识广度和深度可能远远超过人类类。

  毕竟,一个人的寿命几乎超过3万天。他一生都很穷。即使他每天读一本书,他也只能读3万本书。而这个量级只是机器能学到的知识量的万分之一。到目前为止,这篇论文是GPT-4评估报告,比较全面严肃。如果媒体之前还在寻找话题和热点的非专业解读,那么微软研究所作为世界上最专业的人工智能研究机构的严肃论文确实需要引起我们的足够重视。

  为什么我们如此重视通用人工智能,至少有两个原因值得注意:

  第一:发展到今天的人工智能具有非常强大的创造力。在此之前,人工智能只学习了一些具体的事实、知识或人类语言的统计规则,这种程度的智力还不足以让我们担心。然而,报告中对GPT-4的评估证实,大型模型具有人类引以为豪的独特创造力,这让我们不得不关注它。

  例如,AGI可以用文字押韵的风格写出关于“存在无限多素数”的数学定理证明。类似的例子还包括用c++写一个快速排序算法,用李清照诗歌的风格为代码写注释。这些例子充分表明AGI具有综合不同学科的能力(例如,第一个例子是数学和文学的能力,第二个例子是计算机和文学)。无论这种创造力的本质是什么, 至少我个人很惭愧,很难完成上述任务。我认为大多数普通专家完成上述任务并不容易。

  在人工智能绘画方面,人工智能不仅可以创造逼真的图像(如Midjourney的文本和图片生成),还可以创造真实和幻想的绘画,如太空歌剧院,混合科幻元素和欧洲中世纪风格。即使一些科学家认为机器当前的创造力只是一种随机拼接,这种跨学科的拼接能力和综合能力至少在规模上远远超过了当前的人类水平。想象一下,AGI可以创新任何两个学科的内容组合,很多组合可能是我们人类历史上从未想象过的。AGI的随机拼接创造至少可以激发我们对跨学科研究的新想象,大大拓展我们的想象空间,大大提高我们的创造水平。AGI的创造也启发了我们对人类智能本质的进一步认识。更广泛的随机拼接是人类创造的本质吗?人工智能的发展必然会给人类对智能的理解带来新的视角。随着人工智能的发展,我们对自己的理解将达到一个新的水平。

  第二: 随着训练的日益充分,AGI的能力仍在增强。到目前为止,我们还没有看到其能力的上限。这表明,只要增加数据和计算能力,大型模型的能力就可以继续增强。目前,唯一能限制大模型能力的是知识和计算能力的总量。历次人类历史上的技术变革,最终都会进入平台期,遇到天花板。例如,核聚变能级的进一步增加和小型化都遇到了瓶颈,芯片计算能力的摩尔定律失效。令人担忧的是,长时间没有看到天花板的AGI已经成为一匹脱缰的野马(幸运的是,在我整理这篇文章的过程中,一些研究机构呼吁暂停巨型模型的研发)。更令人担忧的是,通用人工智能的技术发展可能不遵循传统的技术发展规律。担心的理由是非常充分的。以往的技术革命与人类智能无关,AGI是一种完全接近甚至超越人类智能的技术。以往的技术突破只是人类智能的产物,只有AGI是“智能”本身的革命。智能本身的技术革命更像是一场元革命,其地位和价值无法与普通技术革命相比。智力本身的革命对人类社会的影响是全面和全面的,它的影响必然会渗透到人类智力的所有角落。

  人类的智力集中在科学研究中。人工智能的影响已经渗透到几乎所有的自然和人文学科。科学研究带来了前所未有的变化。这种变化既是挑战,也是机遇,像天使,也是魔鬼。我们需要从新的角度和极端的思维来重新审视人工智能的影响。

  新的视角首先是跨学科的视角。大规模的语言模型不区分人类的各个学科,而是从人类的所有书籍和数据训练中获得的。这本身就很有启发性。GPT-以其惊人的跨学科创新能力,被视为跨学科全才。GPT-4等AGI的最新成果只能从跨学科的角度来考察。我们需要极端的思维方式。OpenAI的快速发展充分说明了第一思维的重要性。在AGI的快速迭代面前,任何阶段、增量的思维都显得无能为力。为了应对AGI的冲击,必须将某个问题推演到极端情况,想象其极端发展状态,必须直接攻击问题的本质。比如很多人可以从ChatGPT或者GPT-4中挑出一些明显的事实错误,比如把复旦校训的来源弄错。然而,这些问题本质上是细节,通过简单的工程手段修复并不难。思考这些问题是在浪费AGI给我们留下的宝贵时间。

  坚持上述基本原则,我将提出一系列问题。合理提问AGI将是促进其健康有序发展和应对其挑战的关键。AGI短期内无法实现创新和洞察力的问题。问题是否是人类为数不多的难以复制机器的能力,值得深入讨论。就我个人而言,我倾向于认为普通专家的问题机器不难复制,但很少有人类天才提出的问题很难复制。我仍然首先以恢复的方式分析AGI对每个细分学科的挑战。最后,以一种全面的思维方式,提出了AGI的一些常见问题。我对一些问题给出了不成熟的初步判断和思考。然而,更多的问题仍然不能给出令人满意的答案。

  AGI对人工智能的影响是前所未有的。这使我们不得不深入思考以下关键问题:

  为什么AGI能涌现出如此强大的智能?数据、模型、计算能力被认为是AGI智能出现的基本条件,我们也有相应的条件,为什么复制GPT-5的能力如此困难?OpenAI在AGI上获胜的根本原因是什么?正确的技术路线、强大的工程能力、直接攻击问题的基本思维方式、市场驱动的研发生态都值得我们仔细回味。在ChatGPT系列大模型中,OpenAI的成功有太多的内容需要总结和思考。

  为什么生成人工智能获胜?生成人工智能是否适合复杂的认知决策任务?这一波大型模型的发展来自于生成人工智能的获胜,而不是传统的判断人工智能。那么,为什么生成人工智能获胜,人工智能是否有其他形式呢?生成人工智能自然适合聊天和闲聊,所以我们看到了ChatGPT的巨大成功。但它能胜任该领域复杂的认知决策任务吗?

  AGI的日益成熟会颠覆传统的NLP(自然语言处理)和CV(计算机视觉)吗?AGI越来越成熟,会不会有一种自我消灭的困境?NLP、CV等学科还会存在吗?有人说ChatGPT是NLP的新里程碑,但也有人认为它更像是NLP的墓志铭。许多NLP从业者甚至开玩笑说,他们准备转行炒河粉。以大模型为代表的人工智能重工业模式逐渐取代了以小模型为代表的手工作坊模式。重工业模式容易形成垄断。只有少数传统的人工智能研究人员会成为大型玩家。其他研究人员在哪里?

  经过多模态化、具体化、物理交互、虚拟交互的优化,AGI下一阶段会是什么?许多研究机构都在推动AGI学习多模态数据,控制机器身体,与物理世界互动,在虚拟世界中成长。AGI学会这一切后会进入什么阶段?是超智能体吗?随着机器智能的发展,“人类智能”逐渐贬义?只有我们的错误和不确定性是人类智能的基本标签。为了保证人类在机器面前显得不那么“智障”,如何延伸和提高人类的智能已经成为一个非常迫切的问题。事实上,在所有这些问题都得到明确回答之前,放慢AGI发展的步伐是一个明智的策略。

  AGI的发展会是赢家通吃的局面吗?强大的人工智能很容易对弱人工智能的能力造成降维打击。人工智能还有弱小的生存空间吗? AGI的发展速度越来越快,先发者具有明显的优势。它不仅容易收集资源,而且更容易获得人类反馈,走上持续迭代和快速发展的道路。后来者如何赶上它?

  对计算机学科而言, GPT-在Leetcode上的编程题目中,已经达到了人类程序员的水平。Leetcode是专业程序员代码培训平台。我们的许多计算机专业从业人员通过实践他们的编程主题来锻炼他们的编程能力,以提高他们应对企业编程面试的结果。这一事件基本上宣布机器自动化编程水平达到甚至超过普通程序员。AGI达到人类程序员水平意味着什么?培养人类程序员一般需要基础教育和至少四年的本科高等教育,甚至研究生教育。这样一个专业要求如此之高的行业已经变得岌岌可危。这一事件在一定程度上意味着以传授专业知识为主要目的的高等教育受到机器智能的极大挑战。以专业知识的传授为主要内容,我们有太多的高等教育。计算机领域的数据管理、软件工程、网络运维、数据分析等学科将面临巨大影响。相关专业的员工将去哪里?AGI达到普通计算机专家的水平只是时间问题。

  对语言学而言, GPT-大型模型,如翻译、摘要等,几乎可以胜任所有知名的语言处理任务。大型模型是言语专家和语言专家庸置疑。在这里分享一个最近听到的有点黑色幽默的谣言。某出版社编辑收到论文提交,论文观点鲜明,论据充分,文字优雅。但编辑仍然决定拒绝。因为编辑几十年的专业经验告诉他,历史上从来没有人类贡献过语法和语言错误,所以有充分的理由相信提交人自动完成了ChatGPT的论文。如果故事还有升级版,那一定是投稿人进一步提醒ChatGPT在当前完美投稿的基础上随机添加几个语法错误,并成功发布。

  对语言学而言,AGI如此出色地完成了绝大多数的语言任务,能否判断AGI“理解”人类语言?那么,传统语法学、语义学和语言学将如何发展呢?语言学会成为大模型的“奴隶”吗?唯一的任务是大模型的解释和脚注吗?我们应该从更宏大的角度重新解释人类的语言现象吗?毕竟,机器走出了一条完全不同的语言理解之路。从更现实或更具体的层面来看,在我们完全澄清语言学的前景之前,我们应该如何说服学生在未来学习语言学相关学位和语言学?

  对脑科学而言,人们一直期待着类脑智能为人工智能的发展带来新的思路和机遇。虽然AGI最终通过大模型实现,但脑科学的研究仍然给理解AGI带来了新的机会。目前,我们对大型模型的理解非常有限,我们无法准确地理解它的内部运行机制,以及它学到了什么。大型炼制过程与传统炼丹过程过于相似。准备炼丹炉(GPU服务器),喂食合理配方的原材料(大型优质数据),煽风点火(持续供电),炼制几个月(训练几个月),最后发布金丹(大模型)。与炼丹过程非常相似,大模型炼制失败的风险也很大,成功的大模型往往只是少数幸运者。人工智能发展到几乎“炼丹”的地步,不知道是进步还是倒退。为了进一步发展大模型本身,开发安全可控、可解释的人工智能系统,我们需要分析大模型。脑科学为我们揭示的大脑工作机制提供了有益的参考。人脑谱图计划就是这样一个雄心勃勃的计划。借鉴脑神经科学的研发方法和思路,分析大模型的结构和功能对大模型的发展具有重要意义,如大模型是否也有类似于人脑的功能分区。相反,大模型的一些操作机制也能启发人类探索大脑结构吗?超大模型是“超级”大脑吗?如何研究这种“超级”大脑?跨学科交叉研究生物脑和机器脑的机会很多。

  对心理学而言,我们能对ChatGPT等大模型进行心理分析吗?认知功能障碍也存在于大模型中吗?能否利用人类心理学的方法对大模型进行认知评价和诊断?这一系列问题背后的逻辑是将大模型视为具有人类心理能力的智能身体。最近,斯坦福大学的计算机科学家米哈尔·科辛斯基(Michal Kosinski)提交了一篇题为《心理理论可能从大语言模型中自发涌现》的文章(Theory of Mind May Have Spontaneously Emerged in Large Language Models)的论文。他们测试并证实大规模语言模型有九岁儿童的头脑。AGI的发展也给心理学带来了新的机遇。传统心理学主要研究人类心理学,AGI的发展迫使我们尽快进行机器心理学研究。在人机交互过程中,无论是对大模型心理认知规律缺乏了解,还是对人类心理认知缺乏判断,都可能对心理疾病患者产生致命误导。ChatGPT的价值对齐将不可避免地导致盲目迎合用户的问题。因此,对于抑郁症患者来说,ChatGPT的盲目迎合只会产生“灰暗”字样,从而加重患者的病情。我们对大模型的“人格”问题缺乏了解。在什么情况下,大模型会表现出什么样的人格倾向?如何控制其人格表达?这些问题需要进一步研究。

  对医学而言,迎来了前所未有的机遇。GPT-已能书写病历,正确率高。ChatGPT也通过了一些医学考试。然而,医生不同于程序员。医生与人打交道。程序员大部分时间只需要处理电脑和代码。AGI很难取代医生和程序员。这一波AGI技术肯定会让机器掌握医学知识,但取代合格医生实现复杂的医学决策仍面临挑战。医生的职业是特殊的。一个合格的医生不仅需要医学知识,还需要实践经验,还需要同理心、责任感和社会认知能力。AGI能否具备医生的综合能力?未来AGI将以何种形式辅助实现智能医学?仅限于提质提效吗?如何考虑AGI赋权医学过程中的隐私、伦理等社会因素?AGI的医学应用还有很长的路要走。

  对传播学而言,人工智能带来的最大风险在于虚假消息的泛滥。新闻传播行业赖以存在的前提是新闻的真实性。然而,AGI的发展大大提高了机器生成内容的能力和水平,大大降低了该技术的应用门槛。必然是虚假内容的泛滥。许多人希望用人工智能对抗人工智能,用人工智能技术识别内容的真实性。遗憾的是,造假的难度远低于识别的难度。 除法律干预外,技术本身也无法防止虚假内容的泛滥。虚假信息的泛滥是否会颠覆传播行业是一个值得关注的问题。控制AGI的能力已成为一种强大的传播能力。AGI的发展会导致传播革命和生态重构吗?AGI只是传播学能力的提升吗?为了适应AGI的发展,是否应该重写传播理论?新的传播范式和传播问题会出现吗?个人将如何对抗机器强大的传播能力?如何利用AGI提高媒体的竞争力?国家如何应对AGI对舆论传播的新挑战?AGI一旦广泛应用于传播领域,上述问题是不可避免的。

  对教育而言,AGI发展的里程碑往往是通过某一学科的考试。这一事件本身就表明AGI对教育产生了强烈的影响。在不久的将来,还有什么人类的书面考试机器不能通过,可能会越来越少。AGI一次又一次地证明,“死记硬背+简单推理”可以通过大多数考试。我们是否应该反思当前的教育体系。至少我们目前的教育评价可能违背了教育的本质和初衷。以创新为根本目的的教育往往迷失在无意义的评价中。先进的人工智能不断培养机器成人,落后的教育不断培养机器成人。是时候彻底反思人类教育了。在AGI的加持下,教师所承担的“传道、授业、解惑”等功能,只剩下“传道”这一基本功能。教育的教学功能将逐渐退出历史舞台,在机器具有完整的人格之前,教育功能仍将由人类完成。归根结底,教育如何迎接AGI的挑战和机遇?AGI会促进教育变革吗?具体的变化是什么?

  政治方面,AGI已经成为一种先进的生产力,必然需要创新生产关系。如何调整社会结构,适应AGI技术的快速进步?社会转型往往伴随着阵痛,这次AGI引发的阵痛将远远超过以往。若AGI掌握在少数人手中,无法实现民主化,是否会形成新的技术霸权?如何防止或破除这种技术霸权?更进一步, AGI会成为一种新的国家竞争力吗?如何从国家关系的角度看待AGI的发展?在AGI技术的推动下,整个社会有向“少数精英+智能机器”新结构演变的趋势,因为少数社会精英在掌握了智能机器调整技能后,可以控制接近无限的智能机器,从而形成接近无限的生产力。那么,大多数人类如何避免成为“快乐的猪”呢?社会结构的不平衡会带来一系列的连锁反应。新的生产关系必然要求每个社会个体重新审视自己的存在意义,整个社会需要重建新的价值体系和道德体系。我们的社会必须做好应对相应影响的充分准备。

  对公共管理而言,AGI可能会带来新的机会。在公共管理和社会治理中,理想决策需要机器的理性和公平,那么机器对人类公共事务的干预程度如何呢?人类社会的公共管理和社会治理将如何拥抱AGI的发展?哪些决策任务可以交给效率更高的机器?在AGI能力的支持下,机器能否兼顾公共管理追求的公平性和效率?AGI的发展会导致公共管理和决策的变化吗?相信随着实践的增加,很多问题会得到更清晰的答案。

  除了这些学科的问题,还有许多共同的问题需要深入思考。以大模型为代表的AGI发展已经远远超过了我们对它的理解、消化和吸收。人类认知能力有限,难以理解快速发展的通用人工智能,是人类社会发展面临的根本矛盾之一。我们目前所有的恐慌和担忧都来自这种根本矛盾。理解落后于技术实现将带来一系列技术、社会、法律和伦理风险。如何缓解这一根本矛盾?我们真的应该像一些专家说的那样放慢AGI的发展步伐,按下AGI快速发展的暂停键吗?如果我们的智慧是人类的尊严,那么AGI无疑正在严重挑战人类的尊严。我们如何捍卫人类智能的尊严,还是完全投降?跨学科研究是应对AGI对人类智能挑战的唯一途径吗?在全才AGI面前,所有细分学科都显得卑微。在未来,唯一的学科是否被称为综合学科?传统的自然和人文学科是否会被边缘化,然后退化为一种“古老的技能”,只有展览价值供人类后代回忆?

  AGI的成功是否宣布人工智能是该领域的伪命题?中国传统文化倡导经世致用。人工智能是我们在发展领域非常容易接受的战略,远比发展“疯狂”的通用人工智能更合理。然而,这种思维方式是否是思考AGI前所未有的技术革命的错误? AGI会创新科学研究范式吗? AGI for Science、Language Model for Science会成为一种新的研究范式吗?AGI for Science之后的科学研究会是什么样子?AGI for 传统自然与人文科学会结束吗?AGI发展的每一步都在埋葬人类的“传统技能”。在第一思维的帮助下,我们必须考虑AGI发展的最终状态以及AGI的能力是否有上限。

  最后,我认为有必要跳出现有的思维框架来思考一个前提问题。到目前为止,我们对AGI的所有思考仍然借用了传统的认知框架和知识系统。这是错误的吗?我们应该非常警惕这个错误的可能性。毕竟,没有人想看到人类最终实现“人工智能指导程序”的命运。

本文的部分内容来自网络,仅供参考。如有侵权行为,请联系删除。

相关推荐