丰色 发自 凹非寺
量子位 | 公众号 qbitai
这一夜,ai科技圈热闹非凡:
谷歌搬出“蓄谋已久”的大杀器gemini,号称直接掀翻gpt-4;
另一边,芯片商amd也按耐不住,正式发布instinct mi300x gpu,直接对标英伟达h100。
instinct mi300x是amd有史以来最大的芯片——
包含1530亿个晶体管,ai任务推理性能比h100快1.6倍,内存容量足足192gb,是h100的两倍以上(2.4x)。
它的出现,无疑为业界提供了颇有竞争力的第二种选择。
消息称,微软、meta、openai和oracle等一众公司已率先承诺将购买amd的这款gpu来替代h100。
ai加速芯片的市场,是否就此开始改变?
推理性能比h100 hgx快1.6倍,最高支持2900亿参数
amd在6月就预告了这款芯片,今天是正式发布,公布参数等细节。
据介绍,instinct mi300x是amd使用有史以来最先进的生产技术打造,是chiplet设计方法的“代表之作”。
它的底层是4个6nm i/o芯片,上面融合了8个hbm3内存(12hi堆栈)和8个5nm cdna 3 gpu小芯片(3d堆栈)。
其中3d堆叠gpu和i/o芯片通过“3.5d”封装技术进行连接。
最终成品功耗750w,包含304个计算单元、5.3tb/s带宽,以及高达192gb的hbm3内存(相比之下,h100仅80gb)。
在实际的生成式ai平台应用中,mi300x被设计为8个一组 ,通过infinity fabri进行互联,各gpu之间的吞吐量为896 gb/s。
同时,这一组合的内存总量达到1.5tb hbm3(h100为640gb),可提供高达10.4 petaflops的计算性能(bf16/fp16)。
与英伟达的h100 hgx平台(bf16/fp16)相比,内存总量增加2.4倍,计算能力提高1.3倍。
与此同时,amd还为mi300x配备了400gbe网络并支持多种网卡,比英伟达的选择更多。
下面是amd分享的官方性能测试结果(理性参考)。
首先,对于hpc工作负载,mi300x的fp64和fp32向量矩阵理论峰值吞吐量是h100的2.4倍;对于ai工作负载,其tf32、fp16、bf16、fp8和int8理论峰值吞吐量是h100的1.3倍。
注意,这些预测都不包含稀疏性(尽管mi300x确实支持)。
其次,ai推理任务中,amd以1760亿参数的flash attention 2为例,声称mi300x在吞吐量(tokens/s)方面比h100高出1.6倍,同时,在700亿参数的llama 2上,聊天延迟更慢,比h100快1.4倍(基于2k序列长度/128token workload)。
不得不说,mi300x的大内存容量和带宽确给它带来了这一不小的优势。
相比之下,在训练任务上,mi300x在300亿参数的mpt上的性能倒是与h100 hgx大致相同。
所以总的来看,mi300x的优势更在于推理。
此外,还需要强调的是,mi300x由于内存容量实在更大,因此可以容纳比h100多两倍的300亿参数训练模型、700亿参数的推理模型。
以及mi300x最多可支持700亿训练和2900亿参数的推理模型,这都比h100 hgx多一倍。
最后,大伙最关心的价格——苏妈没说,但表示“肯定、必须低于英伟达”。
目前,amd已经向hpe、戴尔、联想、supermicro等原始设备制造商发货,正式发售时间定于下季度,也就是明年。
说到2024年,ai加速芯片市场将无比热闹:
除了amd的mi300x,英特尔也将升级其gaudi架构gpu,以及英伟达h200也要在2024年q2问世。
tomshardware表示,h200在内存容量和带宽方面大概率会更上一层楼,计算性能则预计将和mi300x差不多。
最后,在发布会上,苏妈也预测,2027年ai芯片总市场将达到4000亿美元。而她认为,amd有信心从中分走一块还不错的蛋糕(get a nice piece of that)。
全球首款数据中心apu也来了
本场发布会上,和instinct mi300x一共亮相的还有instinct mi300a。
前者专供生成式ai领域,后者则主要用于hpc计算。
据悉,mi300a是全球首个数据中心apu,cpu和gpu结合在同一个封装之中,对标的是英伟达grace hopper superchips ,后者cpu和gpu位于独立的封装中,再串联到一起。
具体而言,mi300a采用和mi300x相同的基本设计和方法,但包含3个5nm核心计算芯片(ccd),每个配备8个zen 4 cpu,所以一共24线程cpu核心,外加228个cdna 3计算单元。
内存容量上,相比mi300x中的8个12hi堆栈,它改为8个8hi堆栈,从而将容量从192gb缩减至128g,内存带宽仍为5.3tb/s。
这样的结果仍然是英伟达nvidia h100 sxm gpu提供的1.6倍。
据悉,mi300a已开始用于美国劳伦斯利弗莫尔实验室,基于该芯片,该实验室的el capitan有望成为世界首台2 exaflop级别的超级计算机。
one more thing
就在同一天,谷歌也发布了最新ai芯片:tpu v5p。
它主要和前代相比:
bfloat16性能提升至1.67倍,内存容量增至95gb,新增int8运算,速度为918 tops等等。
具体到模型上,用它训练一个类似gpt-3的1750亿参数模型的性能将提高2.8倍。
参考链接:
[1]https://www.tomshardware.com/pc-components/cpus/amd-unveils-instinct-mi300x-gpu-and-mi300a-apu-claims-up-to-16x-lead-over-nvidias-competing-gpus
[2]https://www.cnbc.com/2023/12/06/meta-and-microsoft-to-buy-amds-new-ai-chip-as-alternative-to-nvidia.html
[3]https://cloud.google.com/blog/products/ai-machine-learning/introducing-cloud-tpu-v5p-and-ai-hypercomputer
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
notice: the content above (including the pictures and videos if any) is uploaded and posted by a user of netease hao, which is a social media platform and only provides information storage services.