Cityscapes数据集（智能驾驶场景的语义分割）

今天药忘吃喽~ 2022-08-28 03:59 1101阅读 0赞

## 前言 ##

面向智能驾驶（辅助驾驶、自动驾驶）场景下的语义分割任务，由于非结构化场景的复杂性，是一个非常具有挑战性的任务，所以有许多研究者和研究机构公开了很多相关的数据集推动语义分割领域的发展。本文主要介绍Cityscapes数据集。

**目录**

一、简介

二、5000张精准标注

三、20000 张粗略标注

四、类别定义

五、模型评估服务

5.1 像素级语义标注

5.2 实例级语义标注

5.3 全景语义标注

5.4 3D车辆检测

六、下载数据集

--------------------

## 一、简介 ##

Cityscapes 数据集上专门针对城市街道场景的数据集，整个数据集由 50 个不同 城市的街景组成，数据集包括了 5000 张精准标注的图片和 20000 张粗略标注的图片。

其中精准标注的图片主要用于强监督学习，可分为训练集、验证集和测试集，而粗略标 注的图片主要用于弱监督语义分割算法的训练与测试。在 Cityscapes 数据集中通常使用 19 种常用的类别用于类别分割精度的评估。

官网地址：[Cityscapes Dataset – Semantic Understanding of Urban Street Scenes][Cityscapes Dataset _ Semantic Understanding of Urban Street Scenes]

## 二、5000张精准标注 ##

示例1：

![4715fac721b84efe8ed5c8ce45d3eec6.png][]

示例2:

![317b2719daa0452f865b1f7bcb67728f.png][]

示例3：

![edd8cde246964f849b31c0d5aed93e43.png][]

详细的示例图片可以去官网看看：[Examples – Cityscapes Dataset][Examples _ Cityscapes Dataset]

## 三、20000 张粗略标注 ##

示例1：

![ac30df554608417791ce4cd19b093ef1.png][]

示例2：

![7c1494132ce24757a17ede3c4a5e2e37.png][]

详细的示例图片可以去官网看看：[Examples – Cityscapes Dataset][Examples _ Cityscapes Dataset]

## 四、类别定义 ##

<table> 
 <thead> 
  <tr> 
   <th>Group</th> 
   <th>Classes</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>flat</td> 
   <td>road&nbsp;·&nbsp;sidewalk&nbsp;·&nbsp;parking+&nbsp;·&nbsp;rail track+</td> 
  </tr> 
  <tr> 
   <td>human</td> 
   <td>person*&nbsp;·&nbsp;rider*</td> 
  </tr> 
  <tr> 
   <td>vehicle</td> 
   <td>car*&nbsp;·&nbsp;truck*&nbsp;·&nbsp;bus*&nbsp;·&nbsp;on rails*&nbsp;·&nbsp;motorcycle*&nbsp;·&nbsp;bicycle*&nbsp;·&nbsp;caravan*+&nbsp;·&nbsp;trailer*+</td> 
  </tr> 
  <tr> 
   <td>construction</td> 
   <td>building&nbsp;·&nbsp;wall&nbsp;·&nbsp;fence&nbsp;·&nbsp;guard rail+&nbsp;·&nbsp;bridge+&nbsp;·&nbsp;tunnel+</td> 
  </tr> 
  <tr> 
   <td>object</td> 
   <td>pole&nbsp;·&nbsp;pole group+&nbsp;·&nbsp;traffic sign&nbsp;·&nbsp;traffic light</td> 
  </tr> 
  <tr> 
   <td>nature</td> 
   <td>vegetation&nbsp;·&nbsp;terrain</td> 
  </tr> 
  <tr> 
   <td>sky</td> 
   <td>sky</td> 
  </tr> 
  <tr> 
   <td>void</td> 
   <td>ground+&nbsp;·&nbsp;dynamic+&nbsp;·&nbsp;static+</td> 
  </tr> 
 </tbody> 
</table>

## 五、模型评估服务 ##

官网提供了一个基准套件和一个评估服务器，这样开发者就可以上传模型结果，并获得关于不同任务（像素级、 实例级和全景语义标记以及3d 车辆检测）的排名。

### 5.1 像素级语义标注 ###

这个是在不考虑更高级别的对象实例或边界信息的情况下，预测图像的每像素语义标签。

截至2021/10/24号，前几位的模型效果排名如下。

![b5dcc0f74a05450493c8a46cf3e1e01b.png][]

### 5.2 实例级语义标注 ###

这个专注于同时检测对象并对其进行分割。这是对传统对象检测和像素级语义标记（因为每个实例都被视为单独的标签）的扩展。因此，需要算法来提供一组场景中交通参与者的检测，每个检测都与置信度分数和每个实例的分割掩码相关联。

截至2021/10/24号，前几位的模型效果排名如下。

![25e6ea6aa7df4a0abee74a4c2d38cdf9.png][]

### 5.3 全景语义标注 ###

它将像素级和实例级语义标记结合在一个称为“全景分割”的任务中。截至2021/10/24号，前几位的模型效果排名如下。

![75b8c7708cbe4c5bb4e7d3a7be282aa1.png][]

### 5.4 3D车辆检测 ###

这个重点是车辆的 3D 对象检测，以估计其 3D 参数，如方向和位置。评估类汽车、卡车、公共汽车、火车、摩托车和自行车的对象。每个对象都由一个非模态 2D 边界框以及一个 9 自由度 3D 边界框描述：中心位置、尺寸和方向。

截至2021/10/24号，前几位的模型效果排名如下。

![4e3918af44d947c4a241fe83749c55d5.png][]

大家可以看看那个排名靠前的模型，是否有公开论文，或是否代码开源，进行参考学习；当然自己搭建的模型也可以上传评估一下，看看效果和排名。

## 六、下载数据集 ##

官网下载地址：[Login – Cityscapes Dataset][Login _ Cityscapes Dataset] 注意：这是要注册一个账号，才能下载的；然后来到如下页面：

![6fe1c0fc55704288bda552e44fcf0406.png][]

查找相关的数据集下载就可以了

![23df56f3b16f459ab4deb7d2b3358584.png][]

比如下载[gtFine\_trainvaltest.zip (241MB)][gtFine_trainvaltest.zip _241MB] [\[md5\]][md5] 训练集和验证集的精细注释（3475 个带注释的图像）和测试集（1525 个图像）的虚拟注释。

![db38012e3c4e4522a71a2cce9592bd1a.png][]

官方的处理脚本地址：https://github.com/mcordts/cityscapesScripts

如果我们使用此数据集，请引用此出版物

M. Cordts, M. Omran, S. Ramos, T. Rehfeld, M. Enzweiler, R. Benenson, U. Franke, S. Roth, and B. Schiele, “The Cityscapes Dataset for Semantic Urban Scene Understanding,” in Proc. of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016. \[Bibtex\]

[main paper][] · [supplemental][] · [arxiv][] · [CVF][]

本文直供大家参考和学习，谢谢。

[Cityscapes Dataset _ Semantic Understanding of Urban Street Scenes]: https://www.cityscapes-dataset.com/
[4715fac721b84efe8ed5c8ce45d3eec6.png]: /images/20220828/abba9d6562e845a4a2ec5dce2736d670.png
[317b2719daa0452f865b1f7bcb67728f.png]: /images/20220828/7f8ee93eedc0414290e8882a1e4c5162.png
[edd8cde246964f849b31c0d5aed93e43.png]: /images/20220828/3979c0af89204ed4bf19d38fab68b0d9.png
[Examples _ Cityscapes Dataset]: https://www.cityscapes-dataset.com/examples/#fine-annotations
[ac30df554608417791ce4cd19b093ef1.png]: /images/20220828/5e9a14a8b7434e97937035c6bd84c344.png
[7c1494132ce24757a17ede3c4a5e2e37.png]: /images/20220828/c64695ae2d9b47c486c9627a5fb83dd4.png
[b5dcc0f74a05450493c8a46cf3e1e01b.png]: /images/20220828/fe95a28115664446bc9cd20fb908e7ca.png
[25e6ea6aa7df4a0abee74a4c2d38cdf9.png]: /images/20220828/7e0598c04ade424d95069fcb2ca6516d.png
[75b8c7708cbe4c5bb4e7d3a7be282aa1.png]: /images/20220828/cc32616595b24181a4a6aa699081c91e.png
[4e3918af44d947c4a241fe83749c55d5.png]: /images/20220828/b65ccb5db4554bdc8d20667c3aeaa1ac.png
[Login _ Cityscapes Dataset]: https://www.cityscapes-dataset.com/downloads/
[6fe1c0fc55704288bda552e44fcf0406.png]: /images/20220828/d0d957295fc3494e9b79d64973cfab67.png
[23df56f3b16f459ab4deb7d2b3358584.png]: /images/20220828/a5d2c713e09346308ab6ca1a944a7e25.png
[gtFine_trainvaltest.zip _241MB]: https://www.cityscapes-dataset.com/file-handling/?packageID=1
[md5]: https://www.cityscapes-dataset.com/md5-sum/?packageID=1
[db38012e3c4e4522a71a2cce9592bd1a.png]: /images/20220828/9a4a7bdf5bca43f18a9244b94ac68090.png
[main paper]: https://www.cityscapes-dataset.com/wordpress/wp-content/papercite-data/pdf/cordts2016cityscapes.pdf
[supplemental]: https://www.cityscapes-dataset.com/wordpress/wp-content/papercite-data/pdf/cordts2016cityscapes-supplemental.pdf
[arxiv]: http://arxiv.org/abs/1604.01685
[CVF]: http://www.cv-foundation.org/openaccess/content_cvpr_2016/html/Cordts_The_Cityscapes_Dataset_CVPR_2016_paper.html