你好,欢迎来到川北在线
微信
腾讯微博
新浪微博
阶跃星辰姜大昕:Scaling Law仍处于陡峭区间,万亿参数是基本出发点
时间:2024-07-10 15:19   来源:搜狐   责任编辑:青青

  在2024世界人工智能大会启明创投·创业与投资论坛上,阶跃星辰创始人、CEO姜大昕发表了演讲,分享了对于大模型发展现状与趋势的观察与思考。在演讲中,姜大昕重点阐述了一个核心观点:探索AGI路径,“Scaling Law”和“多模态”是相辅相成、缺一不可的两个方向。两者齐头并进,最终到达AGI。

  近年来,GPT系列模型的演进,客观上验证了Scaling Law的有效性。模型参数量决定模型能力的上限。从模型效果看,参数量增大确实带来了性能上的飞跃。虽然业内围绕“Scaling Law还能走多远”尚未形成共识,但阶跃星辰认为,参数量接下来再提高一个数量级是依然成立的。Scaling Law 目前依然奏效,模型性能仍然在随着参数量、数据量和计算量的增加呈幂次方增长。在此发展过程中,万亿参数量已经成为一个基本的入门门槛。

  正是基于这样的认知,阶跃星辰很早便启动了万亿参数模型的训练。从千亿到万亿,模型的参数规模提升了一个量级,难度也提升了十倍以上。为此,阶跃星辰加大资源投入,尤其在系统和算法上积极探索,最终走通了万亿参数 MoE 大模型训练的道路。在 WAIC 2024 上,阶跃星辰发布了全新的 Step-2 万亿参数语言大模型正式版。根据从逻辑推理、世界知识、数学和编程等多个维度进行的权威测试,Step-2 模型能力都已全面接近国际主流模型,在部分测试集甚至实现了超越。

   投稿邮箱:chuanbeiol@163.com   详情请访问川北在线:http://www.guangyuanol.cn/

川北在线-川北全搜索版权与免责声明
①凡注明"来源:XXX(非在线)"的作品,均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责,本网不承担此类稿件侵权行为的连带责任。
②本站所载之信息仅为网民提供参考之用,不构成任何投资建议,文章观点不代表本站立场,其真实性由作者或稿源方负责,本站信息接受广大网民的监督、投诉、批评。
③本站转载纯粹出于为网民传递更多信息之目的,本站不原创、不存储视频,所有视频均分享自其他视频分享网站,如涉及到您的版权问题,请与本网联系,我站将及时进行删除处理。



合作媒体
金宠物 绿植迷 女邦网 IT人
法律顾问:ITLAW-庄毅雄律师