335 Star 1.5K Fork 861

MindSpore / docs

加入 Gitee
与超过 1200万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)
免费加入
克隆/下载
CIFAR10.md 3.46 KB
一键复制 编辑 原始数据 按行查看 历史
TingWang 提交于 2023-09-18 10:08 . update link logo

比较与torchvision.datasets.CIFAR10的差异

查看源文件

torchvision.datasets.CIFAR10

class torchvision.datasets.CIFAR10(
    root: str,
    train: bool = True,
    transform: Optional[Callable] = None,
    target_transform: Optional[Callable] = None,
    download: bool = False)

更多内容详见torchvision.datasets.CIFAR10

mindspore.dataset.Cifar10Dataset

class mindspore.dataset.Cifar10Dataset(
    dataset_dir,
    usage=None,
    num_samples=None,
    num_parallel_workers=None,
    shuffle=None,
    sampler=None,
    num_shards=None,
    shard_id=None,
    cache=None)

更多内容详见mindspore.dataset.Cifar10Dataset

差异对比

PyTorch:读取CIFAR-10数据集(仅支持CIFAR-10 python version版本)。将image和label的变换操作集成在参数中。

MindSpore:读取CIFAR-10数据集(仅支持CIFAR-10 binary version版本),不支持下载,对image和label的变换需要使用mindspore.dataset.map操作。

分类 子类 PyTorch MindSpore 差异
参数 参数1 root dataset_dir -
参数2 train - 指定是否为训练集,MindSpore通过参数usage支持
参数3 transform - MindSpore通过 mindspore.dataset.map 操作支持
参数4 target_transform - MindSpore通过 mindspore.dataset.map 操作支持
参数5 download - MindSpore不支持
参数6 - usage 指定数据集的子集
参数7 - num_samples 指定从数据集中读取的样本数
参数8 - num_parallel_workers 指定读取数据的工作线程数
参数9 - shuffle 指定是否混洗数据集
参数10 - sampler 指定从数据集中选取样本的采样器
参数11 - num_shards 指定分布式训练时将数据集进行划分的分片数
参数12 - shard_id 指定分布式训练时使用的分片ID号
参数13 - cache 指定单节点数据缓存服务

代码示例

# PyTorch
import torchvision.transforms as T
import torchvision.datasets as datasets
from torch.utils.data import DataLoader

root = "/path/to/dataset_directory/"
dataset = datasets.CIFAR10(root, train=True, transform=T.RandomCrop((28, 28)), download=True)
dataloader = DataLoader(dataset)

# MindSpore
import mindspore.dataset as ds
import mindspore.dataset.vision as vision

# Download the dataset files, unzip into the following structure
#  .
#  └── /path/to/dataset_directory/
#       ├── data_batch_1.bin
#       ├── data_batch_2.bin
#       ├── data_batch_3.bin
#       ├── data_batch_4.bin
#       ├── data_batch_5.bin
#       ├── test_batch.bin
#       ├── readme.html
#       └── batches.meta.txt
root = "/path/to/dataset_directory/"
ms_dataloader = ds.Cifar10Dataset(root, usage='train')
ms_dataloader = ms_dataloader.map(vision.RandomCrop((28, 28)), ["image"])
1
https://gitee.com/mindspore/docs.git
git@gitee.com:mindspore/docs.git
mindspore
docs
docs
master

搜索帮助