新闻中心

您当前的位置: 首页 > 新闻中心 > 行业新闻

不朽情缘解密10万块H100超等AI准备机擎天柱机械人第一性道理:Elon Musk与Lex Fridman深度对话

发布时间:2024-08-05 02:09:14 浏览:

  太炸裂了!太猛了!Lex Fridman与 @elonmusk 和 @neuralink 团队举办一场长达 8.5 幼时的对话。这是一次令人着迷、技能性超强、实质普及的对话,这里咱们只截取马斯克讲近来用10万块英伟达H100构修超等人为智能算计机的少少实质

  对付AI来说,这意味着你必需具有最巨大的锻练算计材干,而且锻练算计材干的擢升速率必需超越其他人,不然你就赢不了。你的AI会更差。

  它奈何能成为天下上最好的大发言模子,最好的AI体系?算计材干占多少比重?数据占多少比重?后锻练呢?以及产物包装的功用等等?

  这些都很紧要不朽情缘。这就像正在说,假设这是一级方程式赛车,车和司机哪个更紧要?两者都紧要。假使车不疾,比方说它的马力惟有逐鹿敌手的一半,那么最好的司机也会输。假使它的马力是两倍,那么纵然是平凡的司机也不妨赢。因此,锻练算计材干就像引擎的马力。你真的要正在这方面做到最好。然后是何如高效地运用这些锻练算计材干,以及何如高效地举办推理,运用AI。因此,这分明涉及到人类的天资。然后,你对数据的怪异探访权限也起到了功用。

  是的。我以为大大都当先的AI公司仍旧抓取了一齐推特数据。不,我不以为不朽情缘解密10万块H100超等AI准备机擎天柱机械人第一性道理:Elon Musk与Lex Fridman深度对话,他们确实抓取了。因此,从现正在起,有效的是它是及时的,由于这很难及时抓取不朽情缘。于是,Grok仍旧有了及时上风。我以为有了特斯拉和来自数百万辆车的及时视频,最终是数万万辆车,再加上Optimus,不妨会罕见亿个Optimus(擎天柱呆板人),也许是数十亿,从实际天下中学到了大宗东西。我以为最终最大的数据显示起原是Optimus。Optimus将会是最大的数据显示起原。

  由于实际的范畴。现实上,看人类现实积攒的数据量是何等少。假使你说人类天生了多少万亿个可用的token,正在不反复的条件下……剔除垃圾邮件和反复的东西,实在数目并不大。你很疾就会用完。

  Optimus呆板人可能去任何地方。并且正在道表再有更多的实际。而且可能越野。

  是的。Optimus呆板人可能拿起杯子,看看它是否以准确的格式拿起了杯子?比方说,倒水进杯子?水是否进了杯子仍是没进杯子?是否溢出水?诸如斯类简陋的事件。但它可能以亿倍的范畴做到这些,于是可能从实际中天生有效的数据,即因果联系的东西。

  和汽车相似。环球车辆的产能约莫是一亿辆一年,不妨更高。只是需求约莫是一亿辆一年。并且,约莫有20亿辆车正在运用,这也合理,由于车辆的运用寿命约莫是20年。因此,正在安稳状况下,你可能每年坐褥一亿辆车,有一个约莫20亿辆车的车队。现正在,对付类人呆板人来说,适用性要大得多。因此,我猜类人呆板人的需求量大要是每年十亿台以上。

  然而直到你崭露并出手修设Optimus,人们以为这是一个极其贫困的题目。

  是的。就像正在公园里散步相似。现实上,Optimus现正在还很难正在公园里散步。我的趣味是,它可能正在公园里散步。公园不太贫困,但它将也许正在各式地形上行走。

  一齐的异物。倒水进杯子不是一件简陋的事件,由于假使你对容器一窍欠亨,它不妨是各式容器。

  是的,会有大宗的工程加入得手上。从机电的角度来看,手大要占到Optimus工程量的一半旁边。

  感想掌管的幼人是你有强盛的手。因此,我的趣味是,你的手,手部肌肉险些全盘正在前臂中。因此,你的前臂有现实掌管你手的肌肉。手自身有少幼年肌肉,但你的手现实上就像是一个骨骼肉木偶,有线缆。因此,掌管你手指的肌肉正在你的前臂中,它们穿过腕管,这是一个幼骨头的调集和一个狭隘的地道,这些线缆,腱,穿过这些腱紧假若搬动你的手。

  是的。因此目前的Optimus,咱们试验把驱动器放正在手自身。然后你会发掘有这些——

  ……是的,强盛的手,看起来很怪僻。并且,它们现实上没有足够的自正在度或气力。因此你认识到,“哦,好吧,这便是为什么你必需把驱动器放正在前臂中。”就像人类相似,你必需通过一个狭隘的地道运转线缆来操作手指。并且,不是一齐的手指长度相仿也是有由来的。从能量或进化的角度来看,一齐手指长度相仿并不会很贵。那么,为什么不相似长?

  由于现实上分歧长度会更好。假使你的手指长度分歧,你的敏捷性会更好不朽情缘。你可能做更多的事件,你的敏捷性会更好。假使你的手指长度分歧。咱们有幼指是有由来的。为什么不把幼指做得更大?

  因此,当你处理这个题目时,你还必需找到一种设施,使其可能大范畴修设,尽不妨简陋。

  现实上会很丰富不朽情缘。尽不妨简陋,这是一条很高的轨范。假使你念具有一个可能做人的事务的类人呆板人,这现实上是一个万分高的轨范。因此,咱们的新手臂有22个自正在度,而不是11个,而且如前所述,驱动器正在前臂中。一齐驱动器都是从物理道理出手计划的。传感器也是重新出手计划的。咱们将一连加入大宗的工程元气心灵来更始手。我所说的手是指扫数前臂,从肘部到前臂,现实上便是手。这现实上利害常贫困的工程。因此,一个可能做人的大大都事务的类人呆板人的最简陋版本现实上照旧万分丰富。它并不简陋。这万分贫困。

  你能讲讲一个卓越的工程团队必要什么吗?正在孟菲斯,我看到超等算计机集群,有一种热烈的驱动力去简化经过,剖判经过,一向更始,一向迭代。

  嗯,说“简化”很容易,但做起来万分贫困。我有一个万分基础的第一性道理算法,我像口头禅相似运转它,最初质疑需求,让需求变得不那么拙笨。需求老是有必然水平上的拙笨。因此,你要从削减需求的数目出手,不管供应这些需求的人多机灵,它们照旧是有点拙笨的。你必需从这里出手,不然你不妨会获得差池题主意完好谜底。于是,尽量使题目尽不妨少失足。这便是质疑需求的趣味。然后,第二件事是试验删除措施,个别或经过措施。这听起来很显而易见,但人们往往忘怀试验全体删除它。假使你删除了起码10%的实质却不被迫复兴,你删除得还不足。分歧逻辑的是,人们通俗感应假使他们没有被迫复兴东西,他们就得胜了。但现实上,他们没有,由于他们过于守旧,留下了不需要的东西。惟有第三件事是试验优化或简化它。同样,当我说这些话时,它们听起来都很显而易见,但我犯这些差池的次数比我记得的还要多。这便是为什么我有这个口头禅。因此现实上,我以为机灵工程师最常见的差池是优化不应当存正在的东西。

  对。因此,就像你说的,你运转这个算法,基础上面临一个题目,面临超等算计机集群,看看经过,然后问,“这可能删除吗?”

  不。现实上,使人们感触担心的是,起码有少少你删除的东西你会从头放回去。但回到咱们的角落体系不妨会教导咱们失足的地方,咱们往往会记住,有时是以恐惧的疾苦水平记住,咱们删除了其后必要的东西。因此,人们会记住三年前他们忘怀放入的某个东西,这给他们带来了费事。于是,他们会太甚修正,然后放入太多东西,使事件变得丰富。因此,你现实上必需说,“看,咱们蓄志要删除超越应当删除的东西。”起码相称之一的东西,咱们会从头放回去。

  绝对的。我提前告诉他们,“是的,咱们删除的少少东西会从头放回去。”人们会有点恐惧,但这是有事理的,由于假使你过于守旧,以致于从未必要放回任何东西,分明你有许多不必要的东西。因此,你必需太甚修正。这便是我所说的,像是对角落本能的皮质超控。

  是的。再有第四步,即任何事件都可能加快。无论你以为它可能落成的速率,或它被落成的速率,它都可能更疾。但你不应当加快,直到你试验删除和优化它不朽情缘。加快不应当存正在的东西是失实的。然后,第五件事是主动化它。我倒退了许多次,我主动化了少少东西,加快了,简化了,然后删除了它。我厌倦了如此做。因此,这便是为什么我有这个万分有用的五步流程的口头禅。它效率很好。

  是的。我的趣味是,你正在孟菲斯的集群上做的事件令人难以置信,只用了几周功夫。

  嗯,是的,它还没有事务,因此我不念致贺。底细上,我正在几幼时后有一个与孟菲斯团队的电话,由于咱们遭遇了少少电力摇动题目。因此,是的,当你举办同步锻练时,当你有一齐这些算计机举办锻练,锻练正在毫秒级同步,就像一个笑团。而笑团可能正在亚秒级急速从高声变为无声,然后电力体系对此感触担心。假使你猛然看到强盛的转移,10到20兆瓦,每秒几次,这是电力体系不盼望看到的。

  因此,这是你必需处理的紧要题目之一,冷却,电力。然后,正在软件上,跟着你向上栈房,何如举办漫衍式算计,一齐这些。一齐这些都必需事务。

  我念大白你是否可能讲讲,当我正在那里时,你所做的一件事是你走过每幼我正正在做的一齐措施,只是为了让你自身剖判它,每幼我都能剖判它,如此他们就能剖判什么时间某些东西是拙笨的,或者某些东西是低效的之类的事件。你能讲讲这个吗?

  是的。因此,无论前列职员正在做什么,我都邑起码自身做几次。因此相联光纤电缆,诊断窒碍相联。这往往是大型锻练集群的局限身分——电缆。有这么多电缆。对付一个类似的锻练体系,你有长途直接内存探访,扫数体系就像一个强盛的大脑。因此,你有任何到任何的相联。任何GPU可能与10万个GPU中的任何一个通讯。那是一个放肆的电缆结构。

  是的。但我的趣味是,人类的大脑也有……大脑构造的很大一个别是电缆。它们获得的是灰质,即算计个别,然后是白质,即电缆。你大脑的很大一个别便是电缆。

  正在超等算计机中央走来走去就像是正在一个大脑内部走动,这个大脑有一天会构修一个超等超等智能体系。你以为xAI有不妨是你构修AGI的吗?

  嗯,我以为,通俗人们会称之为ASI,即人为超等智能。但有这些阈值杯子,你可能说正在某个时间AI比任何单幼我类都机灵。然后,你有80亿人类,现实上,每幼我类都通过他们的算计机举办呆板加强。因此,与80亿呆板加强的人类逐鹿,这是一个更高的门槛。这是好几个数目级的更多。但正在某个时间,是的,AI会比一齐人类的总和更机灵。

  是的,绝对会。我念显着展现,假使不是由于我以为AI确而今途径对群多有危险,我不会这么做。若是我以为OpenAI正朝着一个很好的对象进展,DeepMind也是,我不会正在这方面做任何事。

  你会从很高的视角看事件。这不妨是人类史乘上最紧要的光阴之一。当你是肩负某个东西的人时,你是否会感触万分审慎,万分幼心?

  嗯,是的。我以为一齐有负担感的人都邑感触审慎和幼心。这现实上是我真正出手正在AI规模举办宏大事务的由来之一。这是我的一个别。其他由来是,我是盛开好奇的科学和技能事物。因此,当咱们构修更多的AI时,我会念,“哦,这很酷。”但这利害常告急的。我念,“哦,等等,这不妨会摧毁人类。”

  因此,我只是说,研究到AI正在过去几年的起色速率之疾,假使你回首三年到五年前,你险些无法预测现正在的景况。因此,AI的加快赶过了大大都人的剖判。这便是为什么我以为AI羁系是至闭紧要的。

  你奈何折衷对AI羁系的必要和硅谷某种水平上履行的自正在主义立异文明?你何如将这两个连接起来?

  是的,我也正在竭力。羁系不妨万分反立异。假使一个羁系机构基础上让事件变得更糟,分明这不是一个好主张。因此,我以为咱们必要有万分机灵的羁系职员,拥有技能靠山,而且也许剖判他们正正在收拾的是什么。他们会万分幼心地斟酌一齐不妨的结果。

  嗯,我念他们应当最初剖判现实的技能。正在某种水平上,咱们必需创立新的机构来收拾AI。我曾试验劝告当局机构如此做不朽情缘杯子,但无济于事。因此,我念咱们必要新的机构,这些机构的紧要对象是确保AI的起色是平和的。

  韩媒:韩国伶人因正在节目中“自身一幼我吃三只鸡腿”遭网友恶评,自己发声表明

  中国女排3-1塞尔维亚女排 幼组赛3连胜头名出线瑞典选手 成绩大满贯圆梦巴黎

  听妈妈的话 做难做的事! 难做的事件敌手少,挑难的事件做可能做成大事!

  与中坚气力共生长,2024修信信赖艺术大奖评委会非常奖获奖艺术家凌海鹏

Copyright © 2012-2023 不朽情缘·(中国)集团有限公司-官网 版权所有  备案号:琼ICP备xxxxxxxx号

搜索