h100最强竞品正式发布！推理快1.6倍，内存高达192gb，来自amd|amd|gpu|英伟达|cpu|h100|nvidia-欧洲杯足彩官网

丰色 发自 凹非寺
量子位 | 公众号 qbitai

这一夜，ai科技圈热闹非凡：

谷歌搬出“蓄谋已久”的大杀器gemini，号称直接掀翻gpt-4；

另一边，芯片商amd也按耐不住，正式发布instinct mi300x gpu，直接对标英伟达h100。

instinct mi300x是amd有史以来最大的芯片——

包含1530亿个晶体管，ai任务推理性能比h100快1.6倍，内存容量足足192gb，是h100的两倍以上（2.4x）。

它的出现，无疑为业界提供了颇有竞争力的第二种选择。

消息称，微软、meta、openai和oracle等一众公司已率先承诺将购买amd的这款gpu来替代h100。

ai加速芯片的市场，是否就此开始改变？

推理性能比h100 hgx快1.6倍，最高支持2900亿参数

amd在6月就预告了这款芯片，今天是正式发布，公布参数等细节。

据介绍，instinct mi300x是amd使用有史以来最先进的生产技术打造，是chiplet设计方法的“代表之作”。

它的底层是4个6nm i/o芯片，上面融合了8个hbm3内存（12hi堆栈）和8个5nm cdna 3 gpu小芯片（3d堆栈）。

其中3d堆叠gpu和i/o芯片通过“3.5d”封装技术进行连接。

最终成品功耗750w，包含304个计算单元、5.3tb/s带宽，以及高达192gb的hbm3内存（相比之下，h100仅80gb）。

在实际的生成式ai平台应用中，mi300x被设计为8个一组 ，通过infinity fabri进行互联，各gpu之间的吞吐量为896 gb/s。

同时，这一组合的内存总量达到1.5tb hbm3（h100为640gb），可提供高达10.4 petaflops的计算性能(bf16/fp16)。

与英伟达的h100 hgx平台(bf16/fp16)相比，内存总量增加2.4倍，计算能力提高1.3倍。

与此同时，amd还为mi300x配备了400gbe网络并支持多种网卡，比英伟达的选择更多。

下面是amd分享的官方性能测试结果（理性参考）。

首先，对于hpc工作负载，mi300x的fp64和fp32向量矩阵理论峰值吞吐量是h100的2.4倍；对于ai工作负载，其tf32、fp16、bf16、fp8和int8理论峰值吞吐量是h100的1.3倍。

注意，这些预测都不包含稀疏性（尽管mi300x确实支持）。

其次，ai推理任务中，amd以1760亿参数的flash attention 2为例，声称mi300x在吞吐量（tokens/s）方面比h100高出1.6倍，同时，在700亿参数的llama 2上，聊天延迟更慢，比h100快1.4倍（基于2k序列长度/128token workload）。

不得不说，mi300x的大内存容量和带宽确给它带来了这一不小的优势。

相比之下，在训练任务上，mi300x在300亿参数的mpt上的性能倒是与h100 hgx大致相同。

所以总的来看，mi300x的优势更在于推理。

此外，还需要强调的是，mi300x由于内存容量实在更大，因此可以容纳比h100多两倍的300亿参数训练模型、700亿参数的推理模型。

以及mi300x最多可支持700亿训练和2900亿参数的推理模型，这都比h100 hgx多一倍。

最后，大伙最关心的价格——苏妈没说，但表示“肯定、必须低于英伟达”。

目前，amd已经向hpe、戴尔、联想、supermicro等原始设备制造商发货，正式发售时间定于下季度，也就是明年。

说到2024年，ai加速芯片市场将无比热闹：

除了amd的mi300x，英特尔也将升级其gaudi架构gpu，以及英伟达h200也要在2024年q2问世。

tomshardware表示，h200在内存容量和带宽方面大概率会更上一层楼，计算性能则预计将和mi300x差不多。

最后，在发布会上，苏妈也预测，2027年ai芯片总市场将达到4000亿美元。而她认为，amd有信心从中分走一块还不错的蛋糕（get a nice piece of that）。

全球首款数据中心apu也来了

本场发布会上，和instinct mi300x一共亮相的还有instinct mi300a。

前者专供生成式ai领域，后者则主要用于hpc计算。

据悉，mi300a是全球首个数据中心apu，cpu和gpu结合在同一个封装之中，对标的是英伟达grace hopper superchips ，后者cpu和gpu位于独立的封装中，再串联到一起。

具体而言，mi300a采用和mi300x相同的基本设计和方法，但包含3个5nm核心计算芯片（ccd），每个配备8个zen 4 cpu，所以一共24线程cpu核心，外加228个cdna 3计算单元。

内存容量上，相比mi300x中的8个12hi堆栈，它改为8个8hi堆栈，从而将容量从192gb缩减至128g，内存带宽仍为5.3tb/s。

这样的结果仍然是英伟达nvidia h100 sxm gpu提供的1.6倍。

据悉，mi300a已开始用于美国劳伦斯利弗莫尔实验室，基于该芯片，该实验室的el capitan有望成为世界首台2 exaflop级别的超级计算机。

one more thing

就在同一天，谷歌也发布了最新ai芯片：tpu v5p。

它主要和前代相比：

bfloat16性能提升至1.67倍，内存容量增至95gb，新增int8运算，速度为918 tops等等。

具体到模型上，用它训练一个类似gpt-3的1750亿参数模型的性能将提高2.8倍。

参考链接：
[1]https://www.tomshardware.com/pc-components/cpus/amd-unveils-instinct-mi300x-gpu-and-mi300a-apu-claims-up-to-16x-lead-over-nvidias-competing-gpus
[2]https://www.cnbc.com/2023/12/06/meta-and-microsoft-to-buy-amds-new-ai-chip-as-alternative-to-nvidia.html
[3]https://cloud.google.com/blog/products/ai-machine-learning/introducing-cloud-tpu-v5p-and-ai-hypercomputer