全球微速讯：大语言模型中的涌现现象是不是伪科学？
Datawhale干货
作者：平凡@知乎，诺桑比亚大学，在读博士
(资料图)
今天晚上，花了一点儿时间看了两篇文章：
《Emergent Abilities of Large Language Models》[1]
《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]
这两篇讲的都是emergent behavior，即涌现现象。
大规模神经网络下的涌现现象在机器学习中使用大规模神经网络时，由于增加了参数数量、训练数据或训练步骤等因素，出现了定性上的新能力和性质，这些能力和性质在小规模神经网络中往往是不存在的。
第一篇文章举了这个例子，每个图都可以理解为一个任务，横轴是神经网络的规模，而纵轴是准确率，可以理解为模型的性能。
我们拿图一来看，在10的22次方前，这些模型基本上的性能基本上都很稳定在0附近，而在10的22以后，突然在10的24次方上获得了很大的性能提升，在其他的几个任务上都表现出类似的特征。
意想不到的效果第二篇文章更是有趣，我直接把推特一位博主的评论引用在这里：
作者发现，当我们训练用网络计算同余加法 a+b = ? (mod c) 时，网络在某个时间突然获得了 100% 准确率。分析发现，神经网络实际上“顿悟”了使用傅立叶变换来计算同余加法！这个算法可以证明是正确的， 反人类直觉的。
从这俩例子里面我的感受是，只要数据量足够且真实，且模型没有硬错误的前提下，不断的训练说不定真的能够产生一些意想不到的效果。
还有就是我觉得人类现在积累的知识并不少，但是系统的少，零星的多，如果类似ChatGPT这样的大模型可以拿所有的人类已有知识进行不断学习的话，我觉得有很大概率会让它涌现出意想不到的能力。
甚至可能把人类的生产力解放提前很多。
参考
1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf标签：
相关文章
全球微速讯：大语言模型中的涌现现象是不是伪科学？
Datawhale干货作者：平凡@知乎，诺桑比亚大学，在读博士今天晚上，花了一点儿时间看了两篇文章：《Emergent
word文档数字间隔很大_word文档换行间隔太大 环球微动态
1、回车换行行距很大，无法调整解决方案：我们选择无法调整行距的段落，然后点选菜单格式----选取段落
环球时讯：华为5G手机壳上市，P60获eSIM支持
据介绍，这款5G通信壳搭载主频1350Mhz的UDX710芯片（Cortex-A55），支持三大运营商的FDD-LTE、TD-LTE、5GNR
【全球独家】夜北的绝世神偷:废柴七小姐_夜北的 绝世神偷 废材七小姐 番外
1、不造这个番外2你看过没时光荏苒，光阴似箭。2、天空之城在一片欢天喜地中，迎来了第一个真正的新生命。3
最新：郑州人才公寓免费住宿吗？能免费住多长时间呢？
郑州人才公寓免费住宿吗？能免费住多长时间呢？也不是免费住宿，2023年4月13日召开了《郑州市人才公寓管理
【全球时快讯】“金彩纷呈 悦动湾区”2023金山购物节正式开幕！
今天下午，2023金山购物节正式拉开帷幕。本届购物节以“金彩纷呈悦动湾区”为主题，通过商旅文体农跨界联动
行业风向标｜AI加持供给改善，影视板块五一暑期迎来基本面回暖
时间临近五一假期，2023年五一档的上映影片已基本确定，将有17部影片上映，数量为2017年以来第二高，仅次于
世界即时：荣盛发展一季度营业收入61.21亿元 同比增加60.46%
报告期该公司营业收入61 21亿元，比上年同期数增加60 46%，主要原因是报告期业务收入增加所致。
珠江东西两岸融合发展步入“快车道” 产业“软联通”走深走实
央视网消息：深中通道是粤港澳大湾区的核心枢纽工程，也是连接广东“深圳、东莞、惠州”以及“珠海、中山、
电动车大战，新品密集发布，爱玛、新日、小刀、台铃等都出手了
请您在阅读前，先点击上面的“关注”。感谢您的支持，我们将为您带来更多有价值的内容。随着电动车市场进入
电讯报：阿森纳今夏至少引进一名高水准中场，赖斯是头号目标
直播吧4月28日讯据《每日电讯报》报道，阿森纳今夏至少会引进一名高水准的中场，西汉姆联的赖斯是枪手的头
ST三盛(300282)3月31日股东户数0.94万户，较上期减少1.6%_天天报道
近日ST三盛披露，截至2023年3月31日公司股东户数为9417 0户，较12月31日减少153 0户，减幅为1 6%。户均持股
齐向东出席数字中国建设峰会：以“三个零”举措筑牢数字政法安全防线
齐向东总结了数字政法在人工智能时代面临的三大安全挑战：一是“内鬼”防不胜防，主动或被动造成数据泄露，
世界快看点丨东南大学成贤学院官网成绩就是最终成绩吗 东南大学成贤学院官网
1、两年前我还是比较赞成成贤的，但是现在作为一名大四的学生，我还是建议你慎重考虑。2、成贤历以严出名，
[路演]会畅通讯业绩说明会：6G将会比5G有更低的延迟 公司始终对下一代通信技术保持紧密关注
会畅通讯（300578）2022年度业绩说明会于4月28日在全景路演举办。
世界快资讯：东部战区新闻发言人就美P-8A反潜巡逻机穿航台湾海峡发表谈话
东部战区新闻发言人就美P-8A反潜巡逻机穿航台湾海峡发表谈话,反潜巡逻机,东部战区,台湾海峡,战机,p-8a,舰机
新纶新材(002341.SZ)：公司的客户涵盖众多国内外龙头软包电池龙头企业
格隆汇4月28日丨有投资者在投资者互动平台向新纶新材提问，“恩捷股份的铝塑膜从市场的占有率、产品质量、
《红霞岛》官方PC系统配置需求公布 推荐2070|焦点简讯
《红霞岛》作为Arkane工作室即将推出的FPS游戏，该作已经公布了PC系统的配置要求，目前看起来游戏的优化不
广信区气象台发布雷电黄色预警信号【III级/较重】【2023-04-28】 当前快播
广信区气象台2023年04月28日11时38分发布雷电黄色预警信号：预计未来6小时内，茶亭镇、枫岭头镇、湖村乡、
赶集直招联合58同城信息安全部开展“保薪行动”，助力劳动者辨别“招聘陷阱” 天天即时
就业是民生之本。近日,人社部召开一季度新闻发布会,会上强调,要打击各类违法违规行为,更好维护劳动者合法权
江苏提出航空航天产业发展三年行动计划_天天时快讯
证券时报网讯，中国江苏网消息，省政府办公厅近日印发《江苏省航空航天产业发展三年行动计划（2023—2025年
