一点关于 ChatGPT 的思考
注:本文共更新了三节,分别写于 3 月 18 日、4 月 4 日、4 月 9 日,相关信息可能有时效性。 从去年 12 月初开放给大众免费试用至今,ChatGPT 接入大众生活已经三个月时间了。这段时间中文互联网上相关的推文铺天盖地,自己也有一点点零零碎碎的思考,写一篇博客整理一下。 成功现状 AI 作画爆火的时候,对我自己的生活没有产生什么影响;而这次 ChatGPT 的成功,某种意义上是因为它是一种处理语言类工作的工具,而语言是人类社会传输最广泛的数据形式。 ChatGPT 展示了大语言模型的一种商业可行性,它记忆广、速度快,虽然没有安全性/准确性的保障,但是只要在某种特定任务下超过现有工具/人,资源必然会涌入(人、算力、数据)。 正面影响 除了文字处理能力,我觉得大语言模型的另一特点是其参数量带来的记忆能力,最终影响的是知识的“传播”(让我联想到一些知识付费类的职业)。那么往大了说,它对社会的影响力可能会类似于互联网? LLM 大大提高了各种知识的学习效率,上手一个新技术栈的成本更低了,还可以直接给 LLM 提需求绕开正则表达式这种符号工具;另一方面“接需求-查手册-打补丁”这样的劳动密集型岗位可能就危险了。 对于教育界来说,如果通过 LLM 学习知识的效率,超过了传统模式的大学,那么…是否会有一些变革呢? 负面影响 一个需要担忧的点是数据安全,训练数据中有危害性言论(歧视、犯罪)或者是机密数据(商业),可能被有意无意地利用。如何做好 UGC 和 AIGC 的更新/监管/清洗?如果未来大公司为了安全都训一个自己的 LLM,那又丧失了规模效应? 另一个可能产生的问题是它会隐性地加剧社会不平等(就如历史上其他技术变革),如果新的模型只适用于某些特权群体/组织,那么现有的社会鸿沟和不平等自然会放大。 应对方法 有时候会觉得,社会生产效率提高了,那人类是不是就能享福了呢?长大了发现显然不是这样 hh 既然 ChatGPT 只是一种语言处理工具,那么自然不影响知识的“创造”,不能证明未解决的数学猜想,也不能提出没有人发现过的科学发现。同时作为一种工具,它自然也不会“取代人”,可能是善于利用工具的人来取代不会利用工具的人?maybe. 总之,发挥人类特长——利用工具!现阶段它已经是一种很完善的工具类型了(至少目前足够满足我的期待),积极用它优化自己的工作流吧! 更新在读论文 “Sparks of Artificial General Intelligence” 后(微软 154 页报告:与 AGI 的第一次接触) GPT-4 的能力 最近发布的 GPT-4 很强大,除了掌握语言外,它可以解决跨越数学、编码、视觉、医学、法律、心理等领域的任务,而无需任何特殊 prompt。但是它有些问题上又会犯离谱的小错误,例如在一些开放问题下会胡编乱造,让人怀疑它缺乏真正的“理解”。 为了尝试回答“GPT-4 是否达到真的智能”,作者们根据 94 年认知心理学上的定义设计了一系列测试,来评估 GPT-4 的水平。为了避免测试集出现在先前收集的训练集中,作者们设计了很多天马行空的问题(非常好奇他们出题时的精神状态)。一些有意思的题目和结果包括:...