2.3K Star 8.1K Fork 4.3K

GVPMindSpore / mindspore

加入 Gitee
与超过 1200万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)
免费加入
克隆/下载
mindspore.dataset.text.SentencePieceModel.rst 571 Bytes
一键复制 编辑 原始数据 按行查看 历史
luojianing 提交于 2023-11-06 15:21 . fix docs issues

mindspore.dataset.text.SentencePieceModel

.. py:class:: mindspore.dataset.text.SentencePieceModel

    SentencePiece的子词算法。

    可选值如下:

    - ``SentencePieceModel.UNIGRAM`` : `单字符语言模型 <https://arxiv.org/abs/1804.10959>`_ 子词算法。
    - ``SentencePieceModel.BPE`` : `字节对编码 <https://arxiv.org/abs/1508.07909>`_ 子词算法。
    - ``SentencePieceModel.CHAR`` :基于字符的子词算法。
    - ``SentencePieceModel.WORD`` :基于单词的子词算法。

Python
1
https://gitee.com/mindspore/mindspore.git
git@gitee.com:mindspore/mindspore.git
mindspore
mindspore
mindspore
master

搜索帮助