苹果大模型最大动作：开源m芯专用ml框架，能跑70亿大模型|苹果公司|财务会计|财务报表-欧洲杯足彩官网

萧箫 发自 凹非寺
量子位 | 公众号 qbitai

苹果m系列芯片专属的机器学习框架，开源即爆火！

现在，用上这个框架，你就能直接在苹果gpu上跑70亿参数大模型、训练transformer模型或是搞lora微调。

它由苹果官方发布，风格与pytorch相似，不过并不基于任何已有框架实现。

lecun等大佬纷纷赶来点赞转发。

英伟达高级ai科学家jim fan赞叹称：

这应该是目前苹果在开源ai开源上最大的动作了。

甚至还有网友动起了iphone上a芯的念头（手动狗头）

所以，这个框架究竟长啥样？

参考多个ml框架设计

这个新框架名叫mlx，有探索机器学习（ml-explore）的意思。

从功能来看，mlx主要有以下几点特性：

api熟悉（包括c api、类似numpy的python api以及一些高级功能包近似于pytorch的api）、可组合函数变换、惰性计算、动态图构建、多设备可用、统一内存。

框架作者awni hannun介绍，之所以mlx不直接基于pytorch实现，主要有几个方面的考量。

首先是因为，mlx框架是给苹果芯片设计的。

苹果芯片在采用了一些独特的设计，例如统一内存，这些设计在框架中都可以被利用。

然后，mlx框架也参考了不同机器学习框架的优势，包括numpy、pytorch、jax和arrayfire等。

例如jax中可组合的函数转换，就被加进了mlx的设计中，但graph（计算图）仍然是动态构建的。

除此之外，作者认为mlx也有一些属于自己的特性，如简单、灵活和多样性等。

因此，mlx在功能和设计上与pytorch等经典框架不完全一样，有一些“自己的style”。

如果你手上有苹果m芯电脑的话，现在就可以上手一试跑ai模型了。

苹果电脑m系列芯片才能用

目前，官方给出了5类mlx的使用参考案例：

• transformer架构语言模型的训练
• llamamistral进行长文本生成
• lora进行参数微调
• stable diffusion进行图像生成
• whisper进行语音识别

作者们还在github上放出了基于stable diffusion对比的pytorch和mlx的性能：

要是对这几个ai模型感兴趣，装好mlx之后就可以直接上手试玩了。

作者给出了一系列手把手的教程，教你如何在苹果电脑上运行mlx框架。

首先是pip install mlx，安装一下框架：

我们也在苹果m芯电脑上尝试了一下，可以成功安装：

值得一提的是，安装前记得检查一下你的苹果电脑，各种环境和操作系统是否都搞好了。

而且芯片必须是苹果自研的m系列芯片，可以用这个口令检查一下：

如果是英特尔平台，也是用不了mlx的：

搞定之后，git clone一个副本，就可以在样例里面找到自己想玩的模型，尝试上手运行了：

这里跑一个llama试试：

然后就可以开始问问题了，例如波尔查诺-魏尔斯特拉斯定理是什么等等，llama就能在终端给你解答：

lightningai的sebastian raschka表示，这个框架看起来非常酷，希望能看到更多pytorch与mlx在macos上的性能对比。

除此之外，llama在mlx上的实现细节也非常有意思：

还有不少苹果用户表示高兴：h100稀缺的情况下，终于可以用m3 max来搞事了。

你试用过mlx了吗？感觉如何？

参考链接：
[1]https://github.com/ml-explore/mlx
[2]https://twitter.com/awnihannun/status/1732184443451019431