2.6K Star 8.6K Fork 4.8K

GVPMindSpore/mindspore

加入 Gitee
与超过 1200万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)
免费加入
克隆/下载
mindspore.dataset.text.Lookup.rst 1.22 KB
一键复制 编辑 原始数据 按行查看 历史
宦晓玲 提交于 2024-04-18 09:38 . modify the error links

mindspore.dataset.text.Lookup

.. py:class:: mindspore.dataset.text.Lookup(vocab, unknown_token=None, data_type=mstype.int32)

    根据词表,将分词标记(token)映射到其索引值(id)。

    参数:
        - **vocab** (:class:`~.text.Vocab`) - 词表对象,用于存储分词和索引的映射。
        - **unknown_token** (str, 可选) - 备用词汇,用于要查找的单词不在词汇表时进行替换。
          如果单词不在词汇表中,则查找结果将替换为 `unknown_token` 的值。
          如果单词不在词汇表中,且未指定 `unknown_token` ,将抛出运行时错误。默认值: ``None`` ,不指定该参数。
        - **data_type** (mindspore.dtype, 可选) - Lookup输出的数据类型。默认值: ``mstype.int32`` 。

    异常:
        - **TypeError** - 参数 `vocab` 类型不为 :class:`mindspore.dataset.text.Vocab` 。
        - **TypeError** - 参数 `unknown_token` 类型不为str。
        - **TypeError** - 参数 `data_type` 类型不为 :class:`mindspore.dtype` 。

    教程样例:
        - `文本变换样例库
          <https://www.mindspore.cn/docs/zh-CN/master/api_python/samples/dataset/text_gallery.html>`_
马建仓 AI 助手
尝试更多
代码解读
代码找茬
代码优化
Python
1
https://gitee.com/mindspore/mindspore.git
git@gitee.com:mindspore/mindspore.git
mindspore
mindspore
mindspore
master

搜索帮助