世界新动态：大语言模型中的涌现现象是不是伪科学？
Datawhale干货
作者：平凡@知乎，诺桑比亚大学，在读博士
(相关资料图)
今天晚上，花了一点儿时间看了两篇文章：
《Emergent Abilities of Large Language Models》[1]
《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]
这两篇讲的都是emergent behavior，即涌现现象。
大规模神经网络下的涌现现象在机器学习中使用大规模神经网络时，由于增加了参数数量、训练数据或训练步骤等因素，出现了定性上的新能力和性质，这些能力和性质在小规模神经网络中往往是不存在的。
第一篇文章举了这个例子，每个图都可以理解为一个任务，横轴是神经网络的规模，而纵轴是准确率，可以理解为模型的性能。
我们拿图一来看，在10的22次方前，这些模型基本上的性能基本上都很稳定在0附近，而在10的22以后，突然在10的24次方上获得了很大的性能提升，在其他的几个任务上都表现出类似的特征。
意想不到的效果第二篇文章更是有趣，我直接把推特一位博主的评论引用在这里：
作者发现，当我们训练用网络计算同余加法 a+b = ? (mod c) 时，网络在某个时间突然获得了 100% 准确率。分析发现，神经网络实际上“顿悟”了使用傅立叶变换来计算同余加法！这个算法可以证明是正确的， 反人类直觉的。
从这俩例子里面我的感受是，只要数据量足够且真实，且模型没有硬错误的前提下，不断的训练说不定真的能够产生一些意想不到的效果。
还有就是我觉得人类现在积累的知识并不少，但是系统的少，零星的多，如果类似ChatGPT这样的大模型可以拿所有的人类已有知识进行不断学习的话，我觉得有很大概率会让它涌现出意想不到的能力。
甚至可能把人类的生产力解放提前很多。
参考
1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf标签：
相关文章
世界新动态：大语言模型中的涌现现象是不是伪科学？
Datawhale干货作者：平凡@知乎，诺桑比亚大学，在读博士今天晚上，花了一点儿时间看了两篇文章：《Emergent
全球今亮点！郑州经开区税务局：开展“十年春风送暖 税收助力发展”走访调研活动
河南经济报记者史新旗通讯员张楠春风十年，一路送暖。4月中上旬，郑州经开区税务局由主要负责人带队，深入
长远锂科（688779）4月20日主力资金净卖出2826.90万元 观热点
截至2023年4月20日收盘，长远锂科(688779)报收于14 7元，下跌1 67%，换手率0 84%，成交量8 7万手，成交额1 28亿元。
环球微动态丨达川中学五名学子在信息素养提升活动中获奖
近日，四川省达州市电化教育与技术装备中心、达川区电化教育与技术装备中心公布了2023年达州市和达川区学生
广发证券沈明高：天河创新环境在大湾区最具竞争力，要加快打造科创经济服务高地 每日速递
4月18日下午，第九届中国广州国际投资年会暨福布斯中国创投高峰论坛天河平行分会在广州粤海金融中心举办。
业内最新报告：ChatGPT或会暴露企业机密信息-当前最新
驱动中国2023年4月19日消息，据悉，以色列网络安全公司Team8在一份最新报告中表示，使用ChatGPT等生成式人
禾川科技：占公司总股本34.66%的限售股将于4月28日解禁
禾川科技4月19日发布首次公开发行部分限售股上市流通公告，本次解禁限售股数量为52319万股，占公司目前股份
视点！2023福建漳州市考试录用公务员面试成绩公示（4月18日）
点击查看>>>漳州市2023年度考试录用公务员面试成绩公示（4月18日）原标题:漳州市2023年度考试录用公务员面试成绩
成语典故泾渭分明和棋文化有关吗（成语典故泾渭分明和棋文化有关）
1、泾渭分明是一个成语，源自一大自然景观。2、渭河是黄河的最大支流，泾河又是渭河的最大支流，泾河和渭河
传智教育申办全日制统招大专院校获批，首期项目投资 5.1 亿元
图源：Unsplash芥末堆文4月18日，传智教育在其官方微信宣布，由传智教育申办的大同互联网职业技术学院将在
环球热头条丨1921680253登录入口手机版_192 168 0 2
1、这个是内网的地址，如果ADSL上网，是有2个IP的，一个内网，一个外网。2、你是XP系统的话，你可以点开始-
VR探城⑲丨成都大运会倒计时100天 带你空中360°一瞰大运宝藏场馆-世界关注
4月19日，第31届世界大学生夏季运动会进入倒计时100天。四川在线记者走进东安湖体育公园、成都现代五项赛事
新机加盟 川航机队规模升至187架-全球信息
4月18日下午，B-328V A321飞机抵达成都双流国际机场，加盟川航。至此，川航机队规模达187架（含3架货机）。
天天热门:建业地产：交换要约及同意征求已届满 将发行约7.58亿美元票据
建业地产将根据交换要约于结算日期（4月28日前后）发行本金额为237,275,000美元的2025年4月票据、本金额为1
NASA任务连战连捷 超级计算机在幕后做了什么努力？_即时看
无论是开发登陆其他星球的新技术，改善国内的航空旅行，还是更真实地模拟全球天气和气候，超级计算都是NASA
【全球播资讯】如何测量羊奶酪_送女孩子生日礼物什么好20岁
你需要的东西厨房秤玻璃量杯量匙用羊乳酪、黄瓜、西红柿和卡拉马塔橄榄制作传统的希腊沙拉。Feta奶酪传统上
天天微资讯！29人遇难，院长等12人被刑拘！长峰医院停牌，电话无人接听
(董文博王玉玲)4月19日午间，北京市召开长峰医院火灾事故情况通报会，截至19日9时，经转院救治无效，29人遇
全球微动态丨易点天下：第二大股东质押1.16%公司股份
易点天下4月7日公告，公司近日接到第二大股东宁波众点的通知，获悉所持有的本公司的部分股份被质押，本次质
工信部支持湖北（襄阳）、浙江（德清）、广西（柳州）创建国家级车联网先导区|即时看
新华社北京4月19日电（记者王聿昊、张辛欣）记者19日从工信部获悉，工信部近日明确支持湖北（襄阳）、浙江
