Fetch the repository succeeded.
.. py:class:: mindformers.models.ChatGLM4Tokenizer(vocab_file, clean_up_tokenization_spaces=False, encode_special_tokens=False, eos_token='<|endoftext|>', pad_token='<|endoftext|>', **kwargs)
构造一个基于Byte-Pair-Encoding的ChatGLM4模型分词器。
参数：
- **vocab_file** (str) - 对应词表的路径。
- **clean_up_tokenization_spaces** (bool) - 是否清理掉多余的空格。默认值： ``False`` 。
- **encode_special_tokens** (bool) - 是否清理特殊token。默认值： ``False`` 。
- **eos_token** (Union[str, tokenizers.AddedToken], 可选) - 序列结束标记。默认值： `"<|endoftext|>"` 。
- **pad_token** (Union[str, tokenizers.AddedToken], 可选) - 用于使tokens数组大小相同以便进行批处理的特殊标记，然后将被注意力机制或损失计算忽略。默认值： `"<|endoftext|>"` 。
- **kwargs** - 其它传递到Tokenizer基类的参数。
返回：
`ChatGLM4Tokenizer` 实例。
此处可能存在不合适展示的内容，页面不予展示。您可通过相关编辑功能自查并修改。
如您确认内容无涉及 不当用语 / 纯广告导流 / 暴力 / 低俗色情 / 侵权 / 盗版 / 虚假 / 无价值内容或违法国家有关法律法规的内容，可点击提交进行申诉，我们将尽快为您处理。
马建仓 AI 助手