代码拉取完成,页面将自动刷新
class torchtext.datasets.AG_NEWS(
root: str = '.data',
split: Union[List[str], str] = ('train', 'test'))
更多内容详见torchtext.datasets.AG_NEWS。
class mindspore.dataset.AGNewsDataset(
dataset_dir,
usage=None,
num_samples=None,
num_parallel_workers=None,
shuffle=Shuffle.GLOBAL,
num_shards=None,
shard_id=None,
cache=None)
更多内容详见mindspore.dataset.AGNewsDataset。
PyTorch:读取AG News数据集。
MindSpore:读取AG News数据集,不支持下载。
分类 | 子类 | PyTorch | MindSpore | 差异 |
---|---|---|---|---|
参数 | 参数1 | root | dataset_dir | - |
参数2 | split | usage | - | |
参数3 | - | num_samples | 指定从数据集中读取的样本数 | |
参数4 | - | num_parallel_workers | 指定读取数据的工作线程数 | |
参数5 | - | shuffle | 指定是否混洗数据集 | |
参数6 | - | num_shards | 指定分布式训练时将数据集进行划分的分片数 | |
参数7 | - | shard_id | 指定分布式训练时使用的分片ID号 | |
参数8 | - | cache | 指定单节点数据缓存服务 |
# PyTorch
import torchtext.datasets as datasets
from torch.utils.data import DataLoader
root = "/path/to/dataset_directory/"
dataset = datasets.AG_NEWS(root, split=('train', 'test'))
dataloader = DataLoader(dataset)
# MindSpore
import mindspore.dataset as ds
# Download AG News dataset files, unzip into the following structure
# .
# └── /path/to/dataset_directory/
# ├── classes.txt
# ├── train.csv
# ├── test.csv
# ├── readme.txt
root = "/path/to/dataset_directory/"
ms_dataloader = ds.AGNewsDataset(root, usage='all')
此处可能存在不合适展示的内容,页面不予展示。您可通过相关编辑功能自查并修改。
如您确认内容无涉及 不当用语 / 纯广告导流 / 暴力 / 低俗色情 / 侵权 / 盗版 / 虚假 / 无价值内容或违法国家有关法律法规的内容,可点击提交进行申诉,我们将尽快为您处理。