当前观点：大语言模型中的涌现现象是不是伪科学？
Datawhale干货
作者：平凡@知乎，诺桑比亚大学，在读博士
(资料图片)
今天晚上，花了一点儿时间看了两篇文章：
《Emergent Abilities of Large Language Models》[1]
《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]
这两篇讲的都是emergent behavior，即涌现现象。
大规模神经网络下的涌现现象在机器学习中使用大规模神经网络时，由于增加了参数数量、训练数据或训练步骤等因素，出现了定性上的新能力和性质，这些能力和性质在小规模神经网络中往往是不存在的。
第一篇文章举了这个例子，每个图都可以理解为一个任务，横轴是神经网络的规模，而纵轴是准确率，可以理解为模型的性能。
我们拿图一来看，在10的22次方前，这些模型基本上的性能基本上都很稳定在0附近，而在10的22以后，突然在10的24次方上获得了很大的性能提升，在其他的几个任务上都表现出类似的特征。
意想不到的效果第二篇文章更是有趣，我直接把推特一位博主的评论引用在这里：
作者发现，当我们训练用网络计算同余加法 a+b = ? (mod c) 时，网络在某个时间突然获得了 100% 准确率。分析发现，神经网络实际上“顿悟”了使用傅立叶变换来计算同余加法！这个算法可以证明是正确的， 反人类直觉的。
从这俩例子里面我的感受是，只要数据量足够且真实，且模型没有硬错误的前提下，不断的训练说不定真的能够产生一些意想不到的效果。
还有就是我觉得人类现在积累的知识并不少，但是系统的少，零星的多，如果类似ChatGPT这样的大模型可以拿所有的人类已有知识进行不断学习的话，我觉得有很大概率会让它涌现出意想不到的能力。
甚至可能把人类的生产力解放提前很多。
参考
1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf标签：
相关文章
当前观点：大语言模型中的涌现现象是不是伪科学？
Datawhale干货作者：平凡@知乎，诺桑比亚大学，在读博士今天晚上，花了一点儿时间看了两篇文章：《Emergent
当前资讯!起亚NIRO成为2023年世界女子年度汽车大奖的最高赢家
2023款起亚尼罗(KiaNiro)被评为2023年世界女性年度汽车。虽然Niro最初在今年早些时候获得了全
今起上海各区开展公办小学验证，明起开展民办学校录取-焦点速讯
5月16日-5月19日为各区公办小学第一批验证日。5月20日起，对已验证通过的适龄儿童，陆续发送公办小学入学告
首都机场：近期将采取更为严格的安检措施，请提早抵达办手续
温馨提示：首都机场近期将采取更为严格的安全检查措施，请广大旅客合理安排时间，提早抵达机场办理乘机、过
神马股份（600810）：5月15日北向资金增持3500股
5月15日北向资金增持3500 0股神马股份。近5个交易日中，获北向资金减持的有3天，累计净减持27 58万股。近20
迪士尼14位公主名字图片（迪士尼14位公主名字）_当前看点
1、爱丽儿公主、白雪公主、贝儿公主、仙蒂公主、爱洛公主、茉莉公主、蒂安娜公主、乐佩公主、花木兰公主、
世界快资讯：北大青鸟环宇(08095)为联营公司青鸟消防提供担保
智通财经APP讯，北大青鸟环宇(08095)发布公告，于2023年5月15日，该公司联营公司青鸟消防(002960)与该银行
【视频】7旬老人冒险穿越8股高速车道，只因孙子说“想吃龙虾”
扬子晚报网5月15日讯（记者郭一鹏通讯员朱德良）一名七旬老人，不顾危险连续横穿8股高速车道，交警发现险情
国网三门峡供电公司：扎实推进“清廉三电”廉洁文化建设 天天快播
今年以来，国网三门峡供电公司纪委深入学习贯彻党的二十大和二十届中央纪委二次全会关于全面从严治党的重要
每日简讯：中国国航：4月旅客周转量同比上升630.5%
金融界5月15日消息中国国航(行情601111,诊股)公告，4月，客运运力投入（按可用座位公里计）同比上升467 1%
环球焦点！交建股份：联合中标6.91亿元投融建一体化建设项目
交建股份(603815)5月15日晚间公告，公司及全资子公司祥源建设有限责任公司联合体中标凤台县前进新村项目投
当前要闻：王者荣耀中很有哲理的台词_王者荣耀富有哲理的台词有哪些
1、一、小乔-缤纷独角兽：所有人都曾是小孩，虽然只有少数人记得。2、“所有人都曾是小孩，但只有少数人记
阿里(BABA)达摩院自动驾驶团队全部并入菜鸟集团？菜鸟回应：消息属实 世界短讯
今早有消息称，阿里(BABA)达摩院自动驾驶团队全部并入菜鸟集团，达摩院本身不再保留业务和团队。这意味着，
桂林三金：5月10日接受机构调研，方正证券、中信保诚基金等多家机构参与
2023年5月15日桂林三金（002275）发布公告称公司于2023年5月10日接受机构调研，方正证券、中信保诚基金、东
