2.6K Star 8.7K Fork 4.9K

GVPMindSpore/mindspore

Create your Gitee Account
Explore and code with more than 12 million developers,Free private repositories !:)
Sign up
文件
Clone or Download
mindspore.safetensors_to_ckpt.rst 1.29 KB
Copy Edit Raw Blame History

mindspore.safetensors_to_ckpt

.. py:function:: mindspore.safetensors_to_ckpt(file_path, save_path=None, name_map=None, file_name_regex=None, processes_num=1)

    将 safetensors 文件转换为 MindSpore 的 checkpoint 格式并保存到 `save_path`。
    safetensors 是 Huggingface 推出的一种可靠、易移植的机器学习模型存储格式,用于安全地存储Tensor,而且存储速度较快(零拷贝)。

    .. note::
        多进程设置数量与主机规模有关,不推荐设置太大,否则容易导致卡死。

    参数:
        - **file_path** (str) - 包含 safetensors 文件的目录路径或单个 safetensors 文件 (.safetensors) 的路径。
        - **save_path** (str, 可选) - 保存 checkpoint 文件的目录路径。默认值:``None``。
        - **name_map** (dict, 可选) - 映射原始参数名到新参数名的字典。默认值:``None``。
        - **file_name_regex** (str, 可选) - 用于匹配需要转换的文件的正则表达式。默认值:``None``。
        - **processes_num** (int, 可选) - 控制并行处理的进程数量。默认值: ``1``。

    异常:
        - **ValueError** - 如果输入路径无效,save_path 不是目录,或 file_path 不以 '.safetensors' 结尾。
Loading...
马建仓 AI 助手
尝试更多
代码解读
代码找茬
代码优化
Python
1
https://gitee.com/mindspore/mindspore.git
git@gitee.com:mindspore/mindspore.git
mindspore
mindspore
mindspore
master

Search