huggingface笔记： accelerate estimate-memory 命令

accelerate estimate-memory {MODEL_NAME} --library_name {LIBRARY_NAME} --dtypes {dtype_1} {dtype_2} ...

MODEL_NAME (str)

模型名称，位于 Hugging Face Hub 上

library_name {timm, transformers} (str)

模型与之集成的库名称，如 transformers

仅在 Hub 上未存储此信息时需要

dtypes

{float32, float16, int8, int4}

([{float32, float16, int8, int4} ...])

用于模型的数据类型，可以是 float32、float16、int8 和 int4 中的一个或多个

举例：

accelerate estimate-memory meta-llama/Meta-Llama-3-8B   --library_name transformers

原文地址：https://blog.csdn.net/qq_40206371/article/details/139126541