机器学习与深度学习常用数据集

末蓝、 2022-04-11 10:55 982阅读 0赞

包括图像分类领域、自然语言处理领域、目标检测定位和COCO数据集。

建议收藏本文，无论是用于下载数据集还是写论文时几句话介绍数据集，都可以用上。

# **图像分类领域** #

## **1）MNIST** ##

经典的小型（28x28 像素）灰度手写数字数据集，开发于 20 世纪 90 年代，主要用于测试当时最复杂的模型；到了今日，MNIST 数据集更多被视作深度学习的基础教材。fast.ai 版本的数据集舍弃了原始的特殊二进制格式，转而采用标准的 PNG 格式，以便在目前大多数代码库中作为正常的工作流使用；如果您只想使用与原始同样的单输入通道，只需在通道轴中选取单个切片即可。

引文：[http://yann.lecun.com/exdb/publis/index.html\#lecun-98][http_yann.lecun.com_exdb_publis_index.html_lecun-98]

下载地址：[https://s3.amazonaws.com/fast-ai-imageclas/mnist\_png.tgz][https_s3.amazonaws.com_fast-ai-imageclas_mnist_png.tgz]

## **2）CIFAR10** ##

10 个类别，多达 60000 张的 32x32 像素彩色图像（50000 张训练图像和 10000 张测试图像），平均每种类别拥有 6000 张图像。广泛用于测试新算法的性能。fast.ai 版本的数据集舍弃了原始的特殊二进制格式，转而采用标准的 PNG 格式，以便在目前大多数代码库中作为正常的工作流使用。

引文：[https://www.cs.toronto.edu/~kriz/learning-features-2009-TR.pdf][https_www.cs.toronto.edu_kriz_learning-features-2009-TR.pdf]

下载地址：[https://s3.amazonaws.com/fast-ai-imageclas/cifar10.tgz][https_s3.amazonaws.com_fast-ai-imageclas_cifar10.tgz]

## **3）CIFAR100** ##

与 CIFAR-10 类似，区别在于 CIFAR-100 拥有 100 种类别，每个类别包含 600 张图像（500 张训练图像和 100 张测试图像），然后这 100 个类别又被划分为 20 个超类。因此，数据集里的每张图像自带一个「精细」标签（所属的类）和一个「粗略」标签（所属的超类）。

引文：[https://www.cs.toronto.edu/~kriz/learning-features-2009-TR.pdf][https_www.cs.toronto.edu_kriz_learning-features-2009-TR.pdf]

下载地址：[https://s3.amazonaws.com/fast-ai-imageclas/cifar100.tgz][https_s3.amazonaws.com_fast-ai-imageclas_cifar100.tgz]

## **4）Caltech-UCSD Birds-200-2011** ##

包含 200 种鸟类（主要为北美洲鸟类）照片的图像数据集，可用于图像识别工作。分类数量：200；图片数量：11,788；平均每张图片含有的标注数量：15 个局部位置，312 个二进制属性，1 个边框框。

引文：[http://vis-www.cs.umass.edu/bcnn/][http_vis-www.cs.umass.edu_bcnn]

下载地址：[https://s3.amazonaws.com/fast-ai-imageclas/CUB\_200\_2011.tgz][https_s3.amazonaws.com_fast-ai-imageclas_CUB_200_2011.tgz]

## **5）Caltech 101** ##

包含 101 种物品类别的图像数据集，平均每个类别拥有 40—800 张图像，其中很大一部分类别的图像数量固为 50 张左右。每张图像的大小约为 300 x 200 像素。本数据集也可以用于目标检测定位。

引文：[http://www.vision.caltech.edu/feifeili/Fei-Fei\_GMBV04.pdf][http_www.vision.caltech.edu_feifeili_Fei-Fei_GMBV04.pdf]

下载地址：[https://s3.amazonaws.com/fast-ai-imageclas/caltech\_101.tar.gz][https_s3.amazonaws.com_fast-ai-imageclas_caltech_101.tar.gz]

## **6）Oxford-IIIT Pet** ##

包含 37 种宠物类别的图像数据集，每个类别约有 200 张图像。这些图像在比例、姿势以及光照方面有着丰富的变化。本数据集也可以用于目标检测定位。

引文：[http://www.robots.ox.ac.uk/~vgg/publications/2012/parkhi12a/parkhi12a.pdf][http_www.robots.ox.ac.uk_vgg_publications_2012_parkhi12a_parkhi12a.pdf]

下载地址：[https://s3.amazonaws.com/fast-ai-imageclas/oxford-iiit-pet.tgz][https_s3.amazonaws.com_fast-ai-imageclas_oxford-iiit-pet.tgz]

## **7）Oxford 102 Flowers** ##

包含 102 种花类的图像数据集（主要是一些英国常见的花类），每个类别包含 40—258 张图像。这些图像在比例、姿势以及光照方面有着丰富的变化。

引文：[http://www.robots.ox.ac.uk/~vgg/publications/papers/nilsback08.pdf][http_www.robots.ox.ac.uk_vgg_publications_papers_nilsback08.pdf]

下载地址：[https://s3.amazonaws.com/fast-ai-imageclas/oxford-102-flowers.tgz][https_s3.amazonaws.com_fast-ai-imageclas_oxford-102-flowers.tgz]

## **8）Food-101** ##

包含 101 种食品类别的图像数据集，共有 101,000 张图像，平均每个类别拥有 250 张测试图像和 750 张训练图像。训练图像未经过数据清洗。所有图像都已经重新进行了尺寸缩放，最大边长达到了 512 像素。

引文：[https://pdfs.semanticscholar.org/8e3f/12804882b60ad5f59aad92755c5edb34860e.pdf][https_pdfs.semanticscholar.org_8e3f_12804882b60ad5f59aad92755c5edb34860e.pdf]

下载地址：[https://s3.amazonaws.com/fast-ai-imageclas/food-101.tgz][https_s3.amazonaws.com_fast-ai-imageclas_food-101.tgz]

## **9）Stanford cars** ##

包含 196 种汽车类别的图像数据集，共有 16,185 张图像，分别为 8,144 张训练图像和 8,041 张测试图像，每个类别的图像类型比例基本上都是五五开。本数据集的类别主要基于汽车的牌子、车型以及年份进行划分。

引文：[https://ai.stanford.edu/~jkrause/papers/3drr13.pdf][https_ai.stanford.edu_jkrause_papers_3drr13.pdf]

下载地址：[https://s3.amazonaws.com/fast-ai-imageclas/stanford-cars.tgz][https_s3.amazonaws.com_fast-ai-imageclas_stanford-cars.tgz]

# **自然语言处理领域** #

## **1）IMDb Large Movie Review Dataset** ##

用于情感二元分类的数据集，其中包含 25,000 条用于训练的电影评论和 25,000 条用于测试的电影评论，这些电影评论的特点是两极分化特别明显。另外数据集里也包含未标记的数据可供使用。

引文：[http://ai.stanford.edu/~amaas/papers/wvSent\_acl2011.pdf][http_ai.stanford.edu_amaas_papers_wvSent_acl2011.pdf]

下载地址：[https://s3.amazonaws.com/fast-ai-nlp/imdb.tgz][https_s3.amazonaws.com_fast-ai-nlp_imdb.tgz]

## **2）Wikitext-103** ##

超过 1 亿个语句的数据合集，全部从维基百科的 Good 与 Featured 文章中提炼出来。广泛用于语言建模，当中包括 fastai 库和 ULMFiT 算法中经常用到的预训练模型。

引文：[https://arxiv.org/abs/1609.07843][https_arxiv.org_abs_1609.07843]

下载地址：[https://s3.amazonaws.com/fast-ai-nlp/wikitext-103.tgz][https_s3.amazonaws.com_fast-ai-nlp_wikitext-103.tgz]

## **3）Wikitext-2** ##

Wikitext-103 的子集，主要用于测试小型数据集的语言模型训练效果。

引文：[https://arxiv.org/abs/1609.07843][https_arxiv.org_abs_1609.07843]

下载地址：[https://s3.amazonaws.com/fast-ai-nlp/wikitext-2.tgz][https_s3.amazonaws.com_fast-ai-nlp_wikitext-2.tgz]

## **4）WMT 2015 French/English parallel texts** ##

用于训练翻译模型的法语/英语平行文本，拥有超过 2000 万句法语与英语句子。本数据集由 Chris Callison-Burch 创建，他抓取了上百万个网页，然后通过一组简单的启发式算法将法语网址转换为英文网址，并默认这些文档之间互为译文。

引文：[https://www.cis.upenn.edu/~ccb/publications/findings-of-the-wmt09-shared-tasks.pdf][https_www.cis.upenn.edu_ccb_publications_findings-of-the-wmt09-shared-tasks.pdf]

下载地址：[https://s3.amazonaws.com/fast-ai-nlp/giga-fren.tgz][https_s3.amazonaws.com_fast-ai-nlp_giga-fren.tgz]

## **5）AG News** ##

496,835 条来自 AG 新闻语料库 4 大类别超过 2000 个新闻源的新闻文章，数据集仅仅援用了标题和描述字段。每个类别分别拥有 30,000 个训练样本及 1900 个测试样本。