代码拉取完成,页面将自动刷新
该模块提供了加载和处理各种通用数据集的API,如MNIST、CIFAR-10、CIFAR-100、VOC、COCO、ImageNet、CelebA、CLUE等, 也支持加载业界标准格式的数据集,包括MindRecord、TFRecord、Manifest等。此外,用户还可以使用此模块定义和加载自己的数据集。
该模块还提供了在加载时进行数据采样的API,如SequentialSample、RandomSampler、DistributedSampler等。
大多数数据集可以通过指定参数 cache 启用缓存服务,以提升整体数据处理效率。 请注意Windows平台上还不支持缓存服务,因此在Windows上加载和处理数据时,请勿使用。更多介绍和限制, 请参考 Single-Node Tensor Cache 。
在API示例中,常用的模块导入方法如下:
import mindspore.dataset as ds import mindspore.dataset.transforms as transforms import mindspore.dataset.vision as vision
常用数据集术语说明如下:
如上图所示,MindSpore Dataset模块使得用户很简便地定义数据预处理Pipeline,并以最高效(多进程/多线程)的方式处理 数据集中样本,具体的步骤参考如下:
如何快速使用Dataset Pipeline,可以将 使用数据Pipeline加载 & 处理数据集 下载到本地,按照顺序执行并观察输出结果。
.. mscnautosummary:: :toctree: dataset :nosignatures: :template: classtemplate_inherited.rst mindspore.dataset.Caltech101Dataset mindspore.dataset.Caltech256Dataset mindspore.dataset.CelebADataset mindspore.dataset.Cifar10Dataset mindspore.dataset.Cifar100Dataset mindspore.dataset.CityscapesDataset mindspore.dataset.CocoDataset mindspore.dataset.DIV2KDataset mindspore.dataset.EMnistDataset mindspore.dataset.FakeImageDataset mindspore.dataset.FashionMnistDataset mindspore.dataset.FlickrDataset mindspore.dataset.Flowers102Dataset mindspore.dataset.Food101Dataset mindspore.dataset.ImageFolderDataset mindspore.dataset.KITTIDataset mindspore.dataset.KMnistDataset mindspore.dataset.LFWDataset mindspore.dataset.LSUNDataset mindspore.dataset.ManifestDataset mindspore.dataset.MnistDataset mindspore.dataset.OmniglotDataset mindspore.dataset.PhotoTourDataset mindspore.dataset.Places365Dataset mindspore.dataset.QMnistDataset mindspore.dataset.RenderedSST2Dataset mindspore.dataset.SBDataset mindspore.dataset.SBUDataset mindspore.dataset.SemeionDataset mindspore.dataset.STL10Dataset mindspore.dataset.SUN397Dataset mindspore.dataset.SVHNDataset mindspore.dataset.USPSDataset mindspore.dataset.VOCDataset mindspore.dataset.WIDERFaceDataset
.. mscnautosummary:: :toctree: dataset :nosignatures: :template: classtemplate_inherited.rst mindspore.dataset.AGNewsDataset mindspore.dataset.AmazonReviewDataset mindspore.dataset.CLUEDataset mindspore.dataset.CoNLL2000Dataset mindspore.dataset.DBpediaDataset mindspore.dataset.EnWik9Dataset mindspore.dataset.IMDBDataset mindspore.dataset.IWSLT2016Dataset mindspore.dataset.IWSLT2017Dataset mindspore.dataset.Multi30kDataset mindspore.dataset.PennTreebankDataset mindspore.dataset.SogouNewsDataset mindspore.dataset.SQuADDataset mindspore.dataset.SST2Dataset mindspore.dataset.TextFileDataset mindspore.dataset.UDPOSDataset mindspore.dataset.WikiTextDataset mindspore.dataset.YahooAnswersDataset mindspore.dataset.YelpReviewDataset
.. mscnautosummary:: :toctree: dataset :nosignatures: :template: classtemplate_inherited.rst mindspore.dataset.CMUArcticDataset mindspore.dataset.GTZANDataset mindspore.dataset.LibriTTSDataset mindspore.dataset.LJSpeechDataset mindspore.dataset.SpeechCommandsDataset mindspore.dataset.TedliumDataset mindspore.dataset.YesNoDataset
.. mscnautosummary:: :toctree: dataset :nosignatures: :template: classtemplate_inherited.rst mindspore.dataset.CSVDataset mindspore.dataset.MindDataset mindspore.dataset.OBSMindDataset mindspore.dataset.TFRecordDataset
.. mscnautosummary:: :toctree: dataset :nosignatures: :template: classtemplate_inherited.rst mindspore.dataset.GeneratorDataset mindspore.dataset.NumpySlicesDataset mindspore.dataset.PaddedDataset mindspore.dataset.RandomDataset
.. mscnautosummary:: :toctree: dataset mindspore.dataset.DistributedSampler mindspore.dataset.PKSampler mindspore.dataset.RandomSampler mindspore.dataset.SequentialSampler mindspore.dataset.SubsetRandomSampler mindspore.dataset.SubsetSampler mindspore.dataset.WeightedRandomSampler
config模块能够设置或获取数据处理的全局配置参数。
.. mscnautosummary:: :toctree: dataset mindspore.dataset.config.set_sending_batches mindspore.dataset.config.load mindspore.dataset.config.set_seed mindspore.dataset.config.get_seed mindspore.dataset.config.set_prefetch_size mindspore.dataset.config.get_prefetch_size mindspore.dataset.config.set_num_parallel_workers mindspore.dataset.config.get_num_parallel_workers mindspore.dataset.config.set_numa_enable mindspore.dataset.config.get_numa_enable mindspore.dataset.config.set_monitor_sampling_interval mindspore.dataset.config.get_monitor_sampling_interval mindspore.dataset.config.set_callback_timeout mindspore.dataset.config.get_callback_timeout mindspore.dataset.config.set_auto_num_workers mindspore.dataset.config.get_auto_num_workers mindspore.dataset.config.set_enable_shared_mem mindspore.dataset.config.get_enable_shared_mem mindspore.dataset.config.set_enable_autotune mindspore.dataset.config.get_enable_autotune mindspore.dataset.config.set_autotune_interval mindspore.dataset.config.get_autotune_interval mindspore.dataset.config.set_auto_offload mindspore.dataset.config.get_auto_offload mindspore.dataset.config.set_enable_watchdog mindspore.dataset.config.get_enable_watchdog mindspore.dataset.config.set_fast_recovery mindspore.dataset.config.get_fast_recovery mindspore.dataset.config.set_multiprocessing_timeout_interval mindspore.dataset.config.get_multiprocessing_timeout_interval mindspore.dataset.config.set_error_samples_mode mindspore.dataset.config.get_error_samples_mode mindspore.dataset.config.ErrorSamplesMode mindspore.dataset.config.set_debug_mode mindspore.dataset.config.get_debug_mode
.. mscnautosummary:: :toctree: dataset :nosignatures: :template: classtemplate_inherited.rst mindspore.dataset.BatchInfo mindspore.dataset.DatasetCache mindspore.dataset.DSCallback mindspore.dataset.Schema mindspore.dataset.Shuffle mindspore.dataset.WaitedDSCallback mindspore.dataset.compare mindspore.dataset.debug.DebugHook mindspore.dataset.deserialize mindspore.dataset.serialize mindspore.dataset.show mindspore.dataset.sync_wait_for_dataset mindspore.dataset.utils.imshow_det_bbox mindspore.dataset.utils.LineReader
此处可能存在不合适展示的内容,页面不予展示。您可通过相关编辑功能自查并修改。
如您确认内容无涉及 不当用语 / 纯广告导流 / 暴力 / 低俗色情 / 侵权 / 盗版 / 虚假 / 无价值内容或违法国家有关法律法规的内容,可点击提交进行申诉,我们将尽快为您处理。