新闻中心

您当前的位置: 首页 > 新闻中心 > 公司新闻

不朽情缘摩尔线程张建中:正在AI疆场 万卡已成最低标配

发布时间:2024-07-05 05:01:39 浏览:

  跟着Scaling Law(范围越大,机能越好) 成为行业共鸣规律,国内百模大战仍正在挫折更大的方针,摩尔线程CEO张筑中作出了上述剖断。

  而参数目和数据量的接续弥补,意味着对算力的需求也正在弥补。正在此趋向下,国产厂商都正在加紧作战更大范围的AI智能算力数据核心。昨年宣告并落地多个千卡(显卡,即GPU)智算核心集群后,GPU厂商摩尔线程近期又推出了首个万卡集群计划。

  现在磨练AI大模子离不开GPU,各公司具有GPU的数目一经成为权衡算力范围的基础凭据。比拟OpenAI不朽情缘、谷歌盘子、Meta等国际巨头成批采购几十万张英伟达显卡搭筑集群,国内公司大无数还只可采购几千张,惟有字节等少数头部厂商具有上万张卡范围的算力集群。

  卡的数目直接确定了磨练一个大模子所用的时期。张筑中提到,昨年国内“百模大战”开打后,险些每个月都有新的模子宣告。而现正在,一家AI大模子公司磨练迭代一次大模子的时期一经缩短为两周,领先两周就跟不上同业的速率。

  昨年的H100以及后续的高端GPU对华出口遭禁后,国内一度涌现急急的算力紧缺。张筑中告诉界面消息记者,从国际巨头打算采购显卡的订单蜕变来看,本年市集对算力的需求有增无减,万卡,乃至超万卡集群,是这一轮大模子竞赛的入场券。公司的方针是正在国内市集“占位”,勤奋保障磨练大模子时“有卡可用”。

  本年也是行业普遍热议的大模子使用落地之年。除古板的ChatGPT闲扯机械人表,像上半年爆火的Sora、国内对标Sora的疾手“可灵”,以及更多的AI手机、智能驾驶端侧模子等,都正在寻找落地场景。这背后都必要更多的算力支柱。

  正在张筑中看来,当下“Scaling Law”规律正在AI大模子行业依旧收效,即为了寻求更好的机能,范围做大的同时,算力需求也越来越大。

  公然音讯显示,2020年驾御,OpenAI利用约1万块英伟达GPU来磨练GPT-3.5模子,当时的模子参数目惟有1750亿。到了2023年,OpenAI推出1.8万亿参数的GPT-4时,市集调研机构 SemiAnalysis估测其一经具有近3万块英伟达GPU。

  固然GPT-5迟迟未面世,范围照样一个奥密,但表媒曝光了OpenAI与微软正正在互帮的“星际之门”打算。这是一个包罗百万张GPU的超等,打算正在2028年筑成。

  国内的AI算力市集也从昨年起首接续扩容,宇宙各地掀起了智算核心“基筑潮”。北京、上海、深圳、安徽、江苏五地,目前已揭橥来日几年内智能算力核心作战的全体计划,青岛、贵州、南昌等领先30个地方都市正渐次参加。

  据行业自媒体“中国IDC圈”不十足统计,到2024年5月下旬,我国共作战有智算核心283座,此中已投产运营的抵达89座,领先一半处于开工或正在筑形态。

  界面消息此前从多位行业人士处领略到不朽情缘摩尔线程张建中:正在AI疆场 万卡已成最低标配,各地作战智算核心正处于“赛马圈地”的阶段。一方面,国内必要作战更多智算核心,将“盘子”做大,从而保障算力供应;另一方面,因为英伟达显卡遭禁,国产AI芯片的单卡机能与之比拟存正在较大差异,国产厂商一般采用走集群化、范围化道道,将多个幼型单点算力节点通过高速收集互连手艺筑成一总共超大范围的算力集群。也所以,落地的智算核心越筑越大。

  一家头部国产供职器厂商正在一场行径上提到,昨年国内筑智算核心都以万卡为方针,本年团体需求水涨船高,起首以5万卡举动新的方针。眼下也许满意AI公司磨练模子的GPU是市集上的硬通货,基础上是“谁有GPU,谁能筑智算核心”。

  但正在张筑中看来,智算核心从千卡到万卡不朽情缘,不仅是纯洁的“堆卡”。范围变大的同时,难度也呈指数级倍增——既要实行智算核心扩容,也要两全质地。这对厂商而言是一项极其繁复的体例工程。

  算力运用率与安静性是行业权衡智算核心质地的两项要紧目标。目前,摩尔线程的千卡智算核心的算力运用率已抵达50%,来日鞭策万卡集群智算核心落地时不朽情缘,方针是抵达60%的算力运用率,同时保障99%以上的安静性。这与国际巨头已异常靠拢,但要抵达当先仍存正在较大挑衅不朽情缘。

Copyright © 2012-2023 不朽情缘·(中国)集团有限公司-官网 版权所有  备案号:琼ICP备xxxxxxxx号

搜索