一点关于 ChatGPT 的思考

注:本文共更新了三节,分别写于 3 月 18 日、4 月 4 日、4 月 9 日,相关信息可能有时效性。 从去年 12 月初开放给大众免费试用至今,ChatGPT 接入大众生活已经三个月时间了。这段时间中文互联网上相关的推文铺天盖地,自己也有一点点零零碎碎的思考,写一篇博客整理一下。 成功现状 AI 作画爆火的时候,对我自己的生活没有产生什么影响;而这次 ChatGPT 的成功,某种意义上是因为它是一种处理语言类工作的工具,而语言是人类社会传输最广泛的数据形式。 ChatGPT 展示了大语言模型的一种商业可行性,它记忆广、速度快,虽然没有安全性/准确性的保障,但是只要在某种特定任务下超过现有工具/人,资源必然会涌入(人、算力、数据)。 正面影响 除了文字处理能力,我觉得大语言模型的另一特点是其参数量带来的记忆能力,最终影响的是知识的“传播”(让我联想到一些知识付费类的职业)。那么往大了说,它对社会的影响力可能会类似于互联网? LLM 大大提高了各种知识的学习效率,上手一个新技术栈的成本更低了,还可以直接给 LLM 提需求绕开正则表达式这种符号工具;另一方面“接需求-查手册-打补丁”这样的劳动密集型岗位可能就危险了。 对于教育界来说,如果通过 LLM 学习知识的效率,超过了传统模式的大学,那么…是否会有一些变革呢? 负面影响 一个需要担忧的点是数据安全,训练数据中有危害性言论(歧视、犯罪)或者是机密数据(商业),可能被有意无意地利用。如何做好 UGC 和 AIGC 的更新/监管/清洗?如果未来大公司为了安全都训一个自己的 LLM,那又丧失了规模效应? 另一个可能产生的问题是它会隐性地加剧社会不平等(就如历史上其他技术变革),如果新的模型只适用于某些特权群体/组织,那么现有的社会鸿沟和不平等自然会放大。 应对方法 有时候会觉得,社会生产效率提高了,那人类是不是就能享福了呢?长大了发现显然不是这样 hh 既然 ChatGPT 只是一种语言处理工具,那么自然不影响知识的“创造”,不能证明未解决的数学猜想,也不能提出没有人发现过的科学发现。同时作为一种工具,它自然也不会“取代人”,可能是善于利用工具的人来取代不会利用工具的人?maybe. 总之,发挥人类特长——利用工具!现阶段它已经是一种很完善的工具类型了(至少目前足够满足我的期待),积极用它优化自己的工作流吧! 更新在读论文 “Sparks of Artificial General Intelligence” 后(微软 154 页报告:与 AGI 的第一次接触) GPT-4 的能力 最近发布的 GPT-4 很强大,除了掌握语言外,它可以解决跨越数学、编码、视觉、医学、法律、心理等领域的任务,而无需任何特殊 prompt。但是它有些问题上又会犯离谱的小错误,例如在一些开放问题下会胡编乱造,让人怀疑它缺乏真正的“理解”。 为了尝试回答“GPT-4 是否达到真的智能”,作者们根据 94 年认知心理学上的定义设计了一系列测试,来评估 GPT-4 的水平。为了避免测试集出现在先前收集的训练集中,作者们设计了很多天马行空的问题(非常好奇他们出题时的精神状态)。一些有意思的题目和结果包括:...

March 18, 2023

2022 | 壬寅虎年

疫情与心态 今年算是疫情影响最大的一年,从三月封校开始,全年接近四分之一的日子都在静默中度过。这种或许有些荒诞的生活也让我意识到所谓“个人的命运也与历史的进程息息相关”。不过这两天窗外久违的爆竹声,也预示着疫情真的要变成过去时了。 静默的日子里,面对未来的不确定性和生活的窒息感,迷茫和自闭成为了主要情绪,生活中各种重要的元素仿佛都只存在于屏幕背后。一个人面对电脑缺少社交的这段时间,攒下不少坏毛病,注意力碎片化,依赖一些即时奖励(甚至是短视频)。现在回看那一段时间,我渐渐意识到各种社交带给我的情绪价值,割断一个人的所有线下活动真的是很残忍的一件事。 这一年的博客更得也很少,一方面是压抑的心态变化,不再像以前那样给自己留一些时间探索那些字面意义上“有趣”的技术;另一方面则是学得越多,越觉得自己懂得太少,有点像从愚昧山峰走向绝望之谷的感觉,平时积累的零零碎碎的笔记好像也称不上高质量的博客输出。总之,希望新的一年能尽快走出那些坏毛病,多花些时间主动“走点弯路”! 5 月 1 日,半封控期间的校园,我躺在植物园草坪上 科研与工作 今年三月我投出了人生第一篇科研论文,六月份得到了接收的消息,对于我这个科研新人来说运气真的很好。自己觉得这份工作还有很大的提升空间,十分感谢临截稿前还在帮忙修改论文的几位师兄和老师。而今年十月底又十分幸运地得到了导师的支持,在这个特殊时期亲身前往日本参会(当然也有一些不那么幸运的,比如我们办理完繁琐的商务签手续后不久,日本就开放办理更方便的旅游签了)。 这次参会的经历给我带来的感受是相当多元的。一方面,我得以近距离感受顶尖学术人的科研氛围、深刻理解学术交流的各种细节,从 更 high-level 的层面看待整个机器人领域的进展,结交一些志同道合的科研伙伴。另一方面也是一次体验日本社会与文化的机会。我在高考后的暑假也在日本待过一周,但当时自己对身边的社会都不怎么了解,一周时间仅限于走马观花的旅游。这次日本之行有幸得到一位初中同学、一位高中同学的接待,从不同的切面来感受日本这个国家。 10 月 26 日,日本京都 IROS2022 会场 一些机缘巧合,暑假的时候我在腾讯 Robotics X 实验室实习了三个月。公司里的科研真的和高校有很大的区别,资金更充足的同时会更有一种产品导向的意味。这也是我第一次从内部视角观察大公司的运作,观察大公司职员们的科研工作、薪资福利、社会关系、运动娱乐,也让我对未来的职业选择有了一些思考。 生活体验家 虽然疫情的影响无处不在,自己今年依然稳住了“生活体验家”的 title: 第一次亲眼看火箭发射。SpaceX 的火箭回收、SLS 重返月球计划,太空这一主题对我总是有一种魔力。今年夏天我如愿来到文昌发射基地现场,在沙滩帐篷里睡了一晚之后,亲眼见证了问天实验舱的发射。火箭在人群的欢呼中稳稳升起,几秒后轰鸣声震颤大地,箭体随着重力转向在头顶划出一道优雅的弧线——现在回看当时的视频还是会让我感到无比震撼。 7 月 24 日,海南文昌,属于全人类的终极浪漫 第一次开始独居,开始考虑小到垃圾分类、大到做饭养车各种生活琐事,生活技能++。独居除了自由,也给我一个机会好好认识自己,思考什么样的生活是自己真正想要的。 第一次作为车主接顺风车订单。起初是为了开车回家的时候赚点油钱,后来发现这也是一种很有意思的社交方式,有时候能听到如果不是打车根本不会有交集的人生故事,也让我感受了一下网约车司机与平台之间的关系。 6 月 3 日,西湖边的偶遇 金榜题名 Copilot,GitHub 和 OpenAI 合作开发的“高级代码补全工具”,或者说 AI 助手,这一年大大提高了我的 coding 效率。前段时间公开的 ChatGPT 好像更是潜力无穷。 公路车,骑行是下半年开始的爱好。我发现自己真的非常享受探索城市各个角落、在脑海中重新建图的过程(长大了才发现在大脑里维护一个小地图好像是我的特异功能!)。徒步太慢,限制了探索范围;开车太快,给我一种走马观花的感觉;而骑车刚刚好。再加上对这种简单优雅机械的热爱,很享受完全依靠自己的力量去任何地方的感觉。 《商业就是这样》,下半年开始最爱听的一档播客节目,大部分话题都是自己从未接触过的领域,但信息密度非常高,有效地扩展了知识边界。 《坎巴拉太空计划》,重新学习了引力弹弓、霍曼转移,打上 RSS mod 致敬历史上那些经典事件,可能是第一款让我热衷于边玩边推公式、写代码的游戏。 《Nintendo Switch Sports》,结合了健身环与马里奥派对的优势,网球/足球/羽毛球/高尔夫/保龄球,简单易上手,毫无悬念拿下今年过年期间我家的合家欢游戏大奖。 两部美剧:《This Is Us》,温暖感人,探讨家庭、友情与人生,“每一集都是一部浓缩到 40 分钟的五星电影”;《Breaking Bad》,讲述一个普通人的转变,成功地让观众开始同情一个所谓的毒贩与杀人凶手。 期待一下在交大的最后一年 以前总是期待生活会是线性的、永远积极向好,但事实上它恰恰是螺旋的、迂回曲折的。“人生没有白走的路,每一步都算数。”更何况,生活的评价也不能被完美压缩到一个维度的“好坏”上。过好每一个平凡的日子,学会享受其中的不确定性未尝不是一种优雅的态度。

January 21, 2023

基于 WSL2+Docker 的一种深度学习环境解决方案

目的与方案 进行深度学习相关的开发,使用基于 Linux 的环境是大多数人的首选。然而大多数同学往往没有独立的 Linux 服务器;公用 Linux 服务器常常受限于权限等问题,不适合做个性化的配置,适合做验证后的大模型训练(或许);如果用个人主机装双系统,还得再费精力去维护一个工作用的 Linux 环境(浏览器、文档、网络、笔记软件、通讯软件,想想都已经头大了),而且切换系统还需要重启;如果用虚拟机,性能损耗是没法避免的,想要在虚拟机中支持 CUDA 那更是复杂。 除此之外,深度学习的各种环境配置有多头疼就不必多说了,cuDNN、TF、PyTorch 版本匹配,每一次 install 之前还要检查“换源了吗”,如果想要多版本共存那苦恼又多了一分。 以下,介绍一种 WSL2+Docker 方案,不仅解决以上痛点,还具有以下特性: 用 Windows 平台下的 WSL2 子系统实现环境隔离:Linux 生产环境与 Windows 学习环境隔离 子系统与宿主机的通信可以通过网络端口映射、文件磁盘链接形式进行(所以 Jupyter Notebook、FTP、SSH 之类的都完美支持),不过默认不带图形界面(一些可视化结果考虑离线渲染查看吧) 注意 WSL2 的 CUDA 支持推出时间并不久,但好在目前用下来没有什么大 bug 用 Docker 实现深度学习环境一键配置(是真的一键),同时本次使用的 Deepo 包支持 LEGO 式的自定义模块 Docker 环境的备份、迁移非常方便,复制粘贴就能搭建一套完全一样的环境,适合 teamwork 整体架构(感觉是最近画得最漂亮的图了) 看起来很套娃,但实际配置起来发现相当顺滑,而且层层隔离让人心情舒畅。总之,核心思路就在这张图里了,如果还想看下配置过程中的踩坑记录还可以继续往下滑。 显卡驱动 非常简单,在 NVIDIA 官网 找到对应自己显卡的最新驱动即可。注意这是整个方案唯一需要安装的驱动程序,不要在 WSL 或者 Docker 中再配置驱动了。 NVIDIA 官网 WSL WSL 是一种 Windows 下的 Linux 子系统,新版本 WSL2 主要是提升了文件系统性能。具体安装步骤参考 微软官方文档。首先使用wsl --install安装 WSL 所需的所有组件,重启,然后在 Microsoft Store 中搜索需要的 Linux 发行版(如 Ubuntu 18....

April 11, 2022

FileZilla 外网访问配置指南——FTP Pasv Mode 解析

为了在校园内网下跨平台传输文件,找到了 FileZilla 这一款免费开源的 FTP 工具。 相比于一般的通讯软件或是 U 盘传文件,基于 FTP 等协议的这种分享方式有这么几个优点:接收方无需登录,甚至无需软件,彻底规避大号小号来回切换;可以支持一对多分享;多平台通用,Windows、macOS、Linux 都支持(Server 只有 Windows);速度快,理想情况下能跑满局域网物理上限。 软件本体可以在中文官网或是英文官网上下载,分为 Client 端和 Server 端。折腾的时候对于 Server 端其中一个 passive mode 设置感到非常疑惑,网上很多教程讲得并不明白,本文从 FTP 协议出发整理一下。 FileZilla Server FTP 数据连接 FTP (File Transfer Protocol) 已经有约四十年历史了,协议的制定并没有考虑到现如今的互联网规模,包括 NAT 路由、防火墙等。 FTP 协议的特殊之处在于其建立了两个连接:控制连接 control connection 用于传输命令及其回复,一般是 21 端口;数据连接 data connection 用于传输文件或目录,由特定的控制命令建立,每次端口不一定相同,建立之后可以上传或下载。 数据连接的方式有两种:主动模式 active mode、被动模式 passive mode。 在被动模式下: Client 通过控制连接发送 PASV 命令到 Server Server 回复地址和随机一个端口 Client 发送传输文件或者目录的命令,同时用 Server 的地址建立数据连接 在主动模式下: Client 通过控制连接发送 PORT 命令到 Server,同时附上了本机地址 Client 发送传输文件或者目录的命令 Server 使用 Client 的地址建立数据连接 A common network setup 注意 FTP 协议是建立在 TCP 协议的基础上,所以 Client 和 Server 的每次交互都有三次握手。...

March 11, 2022

2021 | 辛丑牛年

站在年这个尺度上回顾,又一次感受到时间流逝之快。照例,在农历新年到来之际,回顾记录一下这一年来的一些新想法。 去年说的“生活体验派”在今年有了新的解释,增加样本多样性,才能提高泛化能力。闲暇时间多出门走走,主动挑战一些从没做过的事,或大或小,或是单纯地进行一些社会观察实验,说不定刚好能为下一次抉择提供一些新思路。李沐老师发表的一篇文章《用随机梯度下降来优化人生》中也提到了这么一个观点。“做了很多错误的决定,放在全局视野下也不见得是一件坏事。” 四处看看。每一步走的方向是你对世界的认识。如果你探索的世界不怎么变化,那么要么你的目标太简单,要么你困在你的舒适区了。随机梯度下降的第一个词是随机,就是你需要四处走走,看过很多地方,做些错误的决定,这样你可以在前期迈过一些不是很好的舒适区。 学习 六月,是本科的毕业典礼。四年时间转瞬即逝,有很多内容值得眷恋、感激,感觉好些事情还未来得及发生便已结束。在这个校园里的大事小事、大人小人,让我完成了又一次身份的转变。感谢所有朝夕相处的同窗好友,志合者,不以山海为远;希望日后常有相聚时刻,祝彼此间友谊常青。 下半年的生活在一个崭新的环境中展开,有很多欣喜也有一些苦恼,更自由的氛围让我到现在还在适应的过程中,有更多东西需要学习、也对自己提出了更高的要求。 感情 今年的另一个挑战就是和轩开始异地,再加上时差好像把我们的距离拉得更远。更高的沟通成本一开始确实给我们摆出了一个大难题,一点点调整计划、善用各种工具,相信距离不是问题。疫情背景下国际旅行困难重重,不过后来我俩就把这个机会当做一次社会观察任务,提前为未来的生活选择做一些调研体验。 轩搬去德国之后,经常分享一些 culture shock,从街道、校园到工作、疫情。尊重多样性(不仅仅是文化),道理听起来很简单,但自己真正执行起来并不是很容易。很多时候会执着于让别人百分百认同自己的观点和思路,但事实上更应该保持开放心态、辩证思维、求同存异。 运动 运动方面,这一年在学校里抓住各种机会享受作为学生的福利——低价的体育场馆、专业的体育社团,感谢身边小潘几位运动达人拉着我迈出这一步。从去年的长跑、羽毛球、健身到后来游泳、龙舟、骑行、冰壶,渐渐地也把更多运动加入了自己的 TODO 清单——滑雪、水上运动等等。想到高中操场上写着的“文明其精神,野蛮其体魄”,身体健康永远是第一位的。 反思 这一年也有一些值得反思的地方。虽然十分厌恶短视频 APP,但自己仍然有很多时间消耗在这种低价值、碎片化的娱乐上,后果不限于效率低、晚睡。警惕“奶头乐”,和“保持科研品味”一样也要把目光放长远,合理规划。 此外,有时候会对自己说“干完手上这件事我就 blahblah”、“下周开始就要 blahblah”,但事实证明 TODO-list 上总有做不完的事,头号问题解决了又会有新的问题排到第一位。忙碌是常态,想要改变就应该从当下做起,拒绝拖延,就像真正高效的人在哪个阶段都能井井有条。(真正快乐的人在哪个阶段都能找到自己的快乐) 与其临渊羡鱼,不如退而结网。保持活力,也算是对新一年的展望了。 金榜题名 软件 Notion:目前从 OneNote 里把一部分更成体系的笔记归档整理到 Notion 中,同时协作方面的功能也更有优势 Logseq:代替了之前的 Workflowy,用来做每日的零散记录,整理总结真的很有帮助 足迹:iOS 端一个记录轨迹的 APP,数字化生活的又一小步 硬件 MacBook Air M1:向苹果生态又迈进一步,轻重量和长续航完全满足了我对一台“always online”设备的期待,不得不感叹一句太爽了。macOS 的学习成本不是大问题,不过还得忍受一些奇怪的快捷键逻辑、糟糕的键盘手感 DJI Mini 2:如果对身边的景色感到厌倦的话,不如换个上帝视角来寻找一些美 游戏 双人成行:电影般的画面、富有创意的关卡,可能是目前最爱的双人合作游戏 神力科莎:买了罗技 G29 之后开始尝试一些更拟真的模拟赛车游戏,逼真的引擎和丰富的 MOD,可玩性很足

January 31, 2022