IT之家 5 月 29 日新闻,英伟已经用G言模凭证英伟达在 2023 年台北电脑展会上的落伍老本演讲 ,该公司宣称其 GPU 可能大幅飞腾磨炼大型语言模子(LLM)的磨炼老本以及耗能。
英伟达首席实施官黄仁勋在演讲中,狂语可飞向 CPU 行业建议了挑战,英伟已经用G言模他以为天生式家养智能以及减速合计是落伍老本未来合计的倾向。他宣告传统的磨炼摩尔定律已经由时,未来的狂语可飞功能提升将主要来自天生式家养智能以及基于减速合计的措施 。
英伟达在展会上揭示了一份 LLM 的英伟已经用G言模总体具备老本(Total Cost of Ownership,TCO)合成 :首先 ,落伍老本他们合计了磨炼一个 LLM 所需的磨炼 960 个 CPU 组成的效率器集群的残缺老本(搜罗收集、机箱、狂语可飞互连等所有配置装备部署) ,英伟已经用G言模发现这需要破费约 1000 万美元(IT之家备注:之后约 7070 万元国夷易近币),落伍老本并破费 11 千兆瓦时的磨炼电力 。
比照之下,假如坚持老本巩固,置办一个价钱 1000 万美元的 GPU 集群 ,可能在同样的老本以及更少的电力破费(3.2 千兆瓦时)下磨炼 44 个 LLM 。假如转而坚持电力破费巩固,那末可能经由 GPU 集群实现 150 倍的减速 ,以 11 千兆瓦时的电力破费磨炼 150 个 LLM,但这需要破费 3400 万美元 ,此外这个集群的占地面积比 CPU 集群小良多。最后 ,假如只想磨炼一个 LLM,那末惟独要一个价钱 40 万美元、破费 0.13 千兆瓦时电力的 GPU 效率器就能了。
英伟达所要表白的意思是,比照 CPU 效率器,客户可能以 4% 的老本以及 1.2% 的电力破费来磨炼一个 LLM,这是一个重大的老本节约。
顶: 84818踩: 2
英伟达:CPU 已经落伍,用 GPU 磨炼狂语言模子老本可飞腾 96%
人参与 | 时间:2024-11-05 02:11:51
相关文章
- 绿军三巨头77+17太狠:打得猛龙提前投降 布朗多次暴扣点燃球馆追球者2023-11-12 10:18北京追球者2023-11-12 10:18北京
- 短缺发挥结业去向挂号零星的自动熏染
- 落选秀签约汇总:76人双向合同锁定三人
- 媒体人:琼斯并吞吉林队 新赛季加盟新疆男篮
- 原创 争冠!美媒:勇士卷入三方交易,西亚卡姆将离队,猛龙大赚
- 大模子研发最新妨碍,腾讯云MaaS提供一站式效率,打造行业大模子精选商铺
- [瞎话板]2.6抢断+40%三分!湖人以及落选秀迪莫伊
- 阿兰有望回归中超?
- 英超快报:曼联遭遇主场溃败,滕哈格陷入帅位危机《家有儿女》中明目张胆的穿帮镜头,导演是把观众当傻子吗?
- 北控瞄准国内名帅 心仪人选搜罗闵鹿蕾王非等
评论专区