明敏 发自 凹非寺
量子位 | 公众号 qbitai
大模型训练推理要用多少内存?
打开这个网页一测便知,测量误差小至0.5mb。
比如模型bert-base-case int8估计占用413.18 mb内存,实际占用为413.68mb,相差0.5mb,误差仅有0.1%。
操作也很简单,输入模型名称,选择数据类型即可。
这就是huggingface space上的最新火起来工具——model memory calculator,模型内存测量器,在网页端人人可体验。
要知道,跑大模型最头疼的问题莫过于:gpu内存够吗?
现在能先预估一波、误差很小,让不少人大呼“great”!
实际推理内存建议多加20%
使用第一步,需要输入模型的名称。
目前支持搜索在huggingface transformers库和timm库中的模型。
比如想要看glm-6b的情况,可以输入“thudm/chatglm-6b”。
不过有一些模型会存在限制,需要获取api token后才能开始计算,比如llama-2-7b。
我们找了几个大模型实测,可以看到当模型规模达到百亿参数后,内存要求被直线拉高。
基础版的bert还是对gpu相当友好滴。
而在实际推理过程,eleutherai发现需要在预测数据基础上,预留20%的内存。具体举例如下:
作者小哥热衷开源项目
最后来介绍一下带来这个项目的小哥zach mueller。
他本科毕业于西佛罗里达大学,主修软件设计与开发,热衷开源,在github有1k粉丝。之前做过很多和fast.ai框架有关的开源项目。
传送门:
https://huggingface.co/spaces/hf-accelerate/model-memory-usage
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
notice: the content above (including the pictures and videos if any) is uploaded and posted by a user of netease hao, which is a social media platform and only provides information storage services.