-
huggingface笔记： accelerate estimate-memory 命令
- 探索可用于某一机器的潜在模型时，了解模型的大小以及它是否适合当前显卡的内存是一个非常复杂的问题。
- 为了缓解这个问题，Accelerate 提供了一个 命令行命令
accelerate estimate-memory。
accelerate estimate-memory {MODEL_NAME} --library_name {LIBRARY_NAME} --dtypes {dtype_1} {dtype_2} ...MODEL_NAME (str) 模型名称，位于 Hugging Face Hub 上 library_name {timm, transformers} (str) 模型与之集成的库名称，如 transformers
仅在 Hub 上未存储此信息时需要
dtypes
{float32, float16, int8, int4}
([{float32, float16, int8, int4} ...])
用于模型的数据类型，可以是 float32、float16、int8 和 int4 中的一个或多个 举例：
accelerate estimate-memory meta-llama/Meta-Llama-3-8B --library_name transformers
-
相关阅读:
Spring框架系列(13) - SpringMVC实现原理之DispatcherServlet的初始化过程
mapper文件添加@Mapper注解爆红
-骑士巡游-
Unsupervised Medical Image Translation with Adversarial Diffusion Models
改变世界的火花，或许在 Web3 黑客松点燃
详解 Flink CDC 的介绍和入门案例
基于java+SpringBoot+HTML+Mysq在线选课系统设计与实现
409. 最长回文串
Antd按钮点击完返回未点样式
php简单年龄计算器案例
- 原文地址：https://blog.csdn.net/qq_40206371/article/details/139126541