Detectron2训练自己的数据集（较详细）

叁歲伎倆 2023-02-18 01:58 20阅读 0赞

##### 上篇文章讲了如何在Centos7上配置Detectron2的环境[查看][Link 1]，这里讲下如何训练自己的数据集，主要是针对目标检测。 #####

> 在GETTING\_STARTED.md官方文档里写了，官方提供了一个教程去将如何训练自己的数据集，但是网址[进入][Link 2]，我这边没有访问成功，所以只能自行百度了，好在有好心的博主。  
> ![在这里插入图片描述][20200615141244105.png]

##### 如何训练自己的数据集呢？ #####

**1 需要将自己的数据集转为COCO格式**，具体的转换代码，可以参考这个[github][]很详细，足够让您的数据集进行转换了。  
**2 将数据集注册到Detectron2中**，说起来很高大上，其实就是将自己的数据集通过一种途径加载到项目中。  
这里需要关注几个文件：在**detectron2/tools/中，有README.md**，打开该文件，则看到了该文件夹下几个py文件的作用，所以可以详细看下，我们训练时主要是关注 train\_net.py 和 plain\_train\_net.py 。其实只要关注 train\_net.py 就行了，我们可以将这个 train\_net.py 这个文件复制为 train.py 【直接复制即可，先不要改动内容】，即以下的情况：  
该文件里面包含了Trainer这个类，继承了DefaultTrainer，这里重写了build\_evaluator 和 test\_with\_TTA这两个方法，根据英文注释，可以明显看出这两个方法，一个是创建对应数据集的评价器，一个是对应于RCNN系列的评价。这个目前只需要知道就行。以下直接复制后的 train.py

#!/usr/bin/env python
    # Copyright (c) Facebook, Inc. and its affiliates. All Rights Reserved
    """ Detection Training Script. This scripts reads a given config file and runs the training or evaluation. It is an entry point that is made to train standard models in detectron2. In order to let one script support training of many models, this script contains logic that are specific to these built-in models and therefore may not be suitable for your own project. For example, your research project perhaps only needs a single "evaluator". Therefore, we recommend you to use detectron2 as an library and take this file as an example of how to use the library. You may want to write your own script with your datasets and other customizations. """
    
    import logging
    import os
    from collections import OrderedDict
    import torch
    
    import detectron2.utils.comm as comm
    from detectron2.checkpoint import DetectionCheckpointer
    from detectron2.config import get_cfg
    from detectron2.data import MetadataCatalog
    from detectron2.engine import DefaultTrainer, default_argument_parser, default_setup, hooks, launch
    from detectron2.evaluation import (
        CityscapesInstanceEvaluator,
        CityscapesSemSegEvaluator,
        COCOEvaluator,
        COCOPanopticEvaluator,
        DatasetEvaluators,
        LVISEvaluator,
        PascalVOCDetectionEvaluator,
        SemSegEvaluator,
        verify_results,
    )
    from detectron2.modeling import GeneralizedRCNNWithTTA
    
    
    class Trainer(DefaultTrainer):
        """ We use the "DefaultTrainer" which contains pre-defined default logic for standard training workflow. They may not work for you, especially if you are working on a new research project. In that case you can write your own training loop. You can use "tools/plain_train_net.py" as an example. """
    
        @classmethod
        def build_evaluator(cls, cfg, dataset_name, output_folder=None):
            """ Create evaluator(s) for a given dataset. This uses the special metadata "evaluator_type" associated with each builtin dataset. For your own dataset, you can simply create an evaluator manually in your script and do not have to worry about the hacky if-else logic here. """
            if output_folder is None:
                output_folder = os.path.join(cfg.OUTPUT_DIR, "inference")
            evaluator_list = []
            evaluator_type = MetadataCatalog.get(dataset_name).evaluator_type
            if evaluator_type in ["sem_seg", "coco_panoptic_seg"]:
                evaluator_list.append(
                    SemSegEvaluator(
                        dataset_name,
                        distributed=True,
                        num_classes=cfg.MODEL.SEM_SEG_HEAD.NUM_CLASSES,
                        ignore_label=cfg.MODEL.SEM_SEG_HEAD.IGNORE_VALUE,
                        output_dir=output_folder,
                    )
                )
            if evaluator_type in ["coco", "coco_panoptic_seg"]:
                evaluator_list.append(COCOEvaluator(dataset_name, cfg, True, output_folder))
            if evaluator_type == "coco_panoptic_seg":
                evaluator_list.append(COCOPanopticEvaluator(dataset_name, output_folder))
            if evaluator_type == "cityscapes_instance":
                assert (
                    torch.cuda.device_count() >= comm.get_rank()
                ), "CityscapesEvaluator currently do not work with multiple machines."
                return CityscapesInstanceEvaluator(dataset_name)
            if evaluator_type == "cityscapes_sem_seg":
                assert (
                    torch.cuda.device_count() >= comm.get_rank()
                ), "CityscapesEvaluator currently do not work with multiple machines."
                return CityscapesSemSegEvaluator(dataset_name)
            elif evaluator_type == "pascal_voc":
                return PascalVOCDetectionEvaluator(dataset_name)
            elif evaluator_type == "lvis":
                return LVISEvaluator(dataset_name, cfg, True, output_folder)
            if len(evaluator_list) == 0:
                raise NotImplementedError(
                    "no Evaluator for the dataset {} with the type {}".format(
                        dataset_name, evaluator_type
                    )
                )
            elif len(evaluator_list) == 1:
                return evaluator_list[0]
            return DatasetEvaluators(evaluator_list)
    
        @classmethod
        def test_with_TTA(cls, cfg, model):
            logger = logging.getLogger("detectron2.trainer")
            # In the end of training, run an evaluation with TTA
            # Only support some R-CNN models.
            logger.info("Running inference with test-time augmentation ...")
            model = GeneralizedRCNNWithTTA(cfg, model)
            evaluators = [
                cls.build_evaluator(
                    cfg, name, output_folder=os.path.join(cfg.OUTPUT_DIR, "inference_TTA")
                )
                for name in cfg.DATASETS.TEST
            ]
            res = cls.test(cfg, model, evaluators)
            res = OrderedDict({ k + "_TTA": v for k, v in res.items()})
            return res
    
    
    def setup(args):
        """ Create configs and perform basic setups. """
        cfg = get_cfg()
        cfg.merge_from_file(args.config_file)
        cfg.merge_from_list(args.opts)
        cfg.freeze()
        default_setup(cfg, args)
        return cfg
    
    
    def main(args):
        cfg = setup(args)
        plain_register_dataset()
        if args.eval_only:
            model = Trainer.build_model(cfg)
            DetectionCheckpointer(model, save_dir=cfg.OUTPUT_DIR).resume_or_load(
                cfg.MODEL.WEIGHTS, resume=args.resume
            )
            res = Trainer.test(cfg, model)
            if cfg.TEST.AUG.ENABLED:
                res.update(Trainer.test_with_TTA(cfg, model))
            if comm.is_main_process():
                verify_results(cfg, res)
            return res
    
        """ If you'd like to do anything fancier than the standard training logic, consider writing your own training loop (see plain_train_net.py) or subclassing the trainer. """
        trainer = Trainer(cfg)
        trainer.resume_or_load(resume=args.resume)
        if cfg.TEST.AUG.ENABLED:
            trainer.register_hooks(
                [hooks.EvalHook(0, lambda: trainer.test_with_TTA(cfg, trainer.model))]
            )
        return trainer.train()
    
    
    if __name__ == "__main__":
        args = default_argument_parser().parse_args()
        print("Command Line Args:", args)
        launch(
            main,
            args.num_gpus,
            num_machines=args.num_machines,
            machine_rank=args.machine_rank,
            dist_url=args.dist_url,
            args=(args,),
        )

##### 更改以上的 train.py #####

1 注册自己的数据集

> 注意这个CLASS\_NAMES列表，这里面一定要与你的COCO格式的文件种类的ID顺序保持一致 程序中会将CLASS\_NAMES这个列表映射为\[0,len(CLASS\_NAMES))的形式，如果您的COCO格式的数据集，category\_id是从1开始的，最好在你的 json文件中加上 category\_id:0 name:**background**,可以不含该背景类的标注 Annotations信息，比如背景所在的区域/宽/高等但是一定要有这个category\_id:0的这个类，不然等到训练后测试时，你就傻眼了！！！！！但是算上背景类会有个问题，一方面会让你的分类和回归头部的特征图数目增加，另一方面可能导致计算的mAP值变小，因为多计算了一个背景类！！！！ 所以推荐你的json文件中的 category\_id直接就是从0开始，那样就不用加 cate\_id:0 background 那个类了，非COCO数据集最好采用下标为 0-n-1（n为数据集的类数），比如，category\_id:0,name:name1,category\_id:1,name:name2 …类名尽量用英文！！！！中文会乱码

以下信息直接放在 复制后的 train.py 里面即可  
数据存放路径为以下格式：

\----- yourdataDir  
\--------- JPEGImages  
\-------------\*\*\*.jpg  
\-------------…jpg  
\--------- COCOformat  
\--------------train.json  
\--------------test.json  
\--------------val.json

#引入以下注释
    from detectron2.data import DatasetCatalog, MetadataCatalog
    from detectron2.data.datasets.coco import load_coco_json
    import pycocotools
    #声明类别，尽量保持
    CLASS_NAMES =["__background__","name_1","name_2"...]
    # 数据集路径
    DATASET_ROOT = '/home/Yourdatadir'
    ANN_ROOT = os.path.join(DATASET_ROOT, 'COCOformat')
    
    TRAIN_PATH = os.path.join(DATASET_ROOT, 'JPEGImages')
    VAL_PATH = os.path.join(DATASET_ROOT, 'JPEGImages')
    
    TRAIN_JSON = os.path.join(ANN_ROOT, 'train.json')
    #VAL_JSON = os.path.join(ANN_ROOT, 'val.json')
    VAL_JSON = os.path.join(ANN_ROOT, 'test.json')
    
    # 声明数据集的子集
    PREDEFINED_SPLITS_DATASET = { 
        "coco_my_train": (TRAIN_PATH, TRAIN_JSON),
        "coco_my_val": (VAL_PATH, VAL_JSON),
    }
    #===========以下有两种注册数据集的方法，本人直接用的第二个plain_register_dataset的方式 也可以用register_dataset的形式==================
    #注册数据集（这一步就是将自定义数据集注册进Detectron2）
    def register_dataset():
        """ purpose: register all splits of dataset with PREDEFINED_SPLITS_DATASET """
        for key, (image_root, json_file) in PREDEFINED_SPLITS_DATASET.items():
            register_dataset_instances(name=key,
                                       json_file=json_file,
                                       image_root=image_root)
    
    
    #注册数据集实例，加载数据集中的对象实例
    def register_dataset_instances(name, json_file, image_root):
        """ purpose: register dataset to DatasetCatalog, register metadata to MetadataCatalog and set attribute """
        DatasetCatalog.register(name, lambda: load_coco_json(json_file, image_root, name))
        MetadataCatalog.get(name).set(json_file=json_file,
                                      image_root=image_root,
                                      evaluator_type="coco")
    
    #=============================
    # 注册数据集和元数据
    def plain_register_dataset():
        #训练集
        DatasetCatalog.register("coco_my_train", lambda: load_coco_json(TRAIN_JSON, TRAIN_PATH))
        MetadataCatalog.get("coco_my_train").set(thing_classes=CLASS_NAMES,  # 可以选择开启，但是不能显示中文，这里需要注意，中文的话最好关闭
                                                        evaluator_type='coco', # 指定评估方式
                                                        json_file=TRAIN_JSON,
                                                        image_root=TRAIN_PATH)
    
        #DatasetCatalog.register("coco_my_val", lambda: load_coco_json(VAL_JSON, VAL_PATH, "coco_2017_val"))
        #验证/测试集
        DatasetCatalog.register("coco_my_val", lambda: load_coco_json(VAL_JSON, VAL_PATH))
        MetadataCatalog.get("coco_my_val").set(thing_classes=CLASS_NAMES, # 可以选择开启，但是不能显示中文，这里需要注意，中文的话最好关闭
                                                    evaluator_type='coco', # 指定评估方式
                                                    json_file=VAL_JSON,
                                                    image_root=VAL_PATH)
    # 查看数据集标注，可视化检查数据集标注是否正确，
    #这个也可以自己写脚本判断，其实就是判断标注框是否超越图像边界
    #可选择使用此方法
    def checkout_dataset_annotation(name="coco_my_val"):
        #dataset_dicts = load_coco_json(TRAIN_JSON, TRAIN_PATH, name)
        dataset_dicts = load_coco_json(TRAIN_JSON, TRAIN_PATH)
        print(len(dataset_dicts))
        for i, d in enumerate(dataset_dicts,0):
            #print(d)
            img = cv2.imread(d["file_name"])
            visualizer = Visualizer(img[:, :, ::-1], metadata=MetadataCatalog.get(name), scale=1.5)
            vis = visualizer.draw_dataset_dict(d)
            #cv2.imshow('show', vis.get_image()[:, :, ::-1])
            cv2.imwrite('out/'+str(i) + '.jpg',vis.get_image()[:, :, ::-1])
            #cv2.waitKey(0)
            if i == 200:
                break

以上就是数据集的注册了，下面我们针对具体的任务，可以设置一些超参数，主要是在setup方法里设置：  
以RetinaNet\_R\_50为例：

def setup(args):
        """ Create configs and perform basic setups. """
        cfg = get_cfg()
        args.config_file = "../configs/COCO-Detection/retinanet_R_50_FPN_3x.yaml"
        cfg.merge_from_file(args.config_file)   # 从config file 覆盖配置
        cfg.merge_from_list(args.opts)          # 从CLI参数 覆盖配置
    
        # 更改配置参数
        cfg.DATASETS.TRAIN = ("coco_my_train",) # 训练数据集名称
        cfg.DATASETS.TEST = ("coco_my_val",)
        cfg.DATALOADER.NUM_WORKERS = 4  # 单线程
    
        cfg.INPUT.CROP.ENABLED = True
        cfg.INPUT.MAX_SIZE_TRAIN = 640 # 训练图片输入的最大尺寸
        cfg.INPUT.MAX_SIZE_TEST = 640 # 测试数据输入的最大尺寸
        cfg.INPUT.MIN_SIZE_TRAIN = (512, 768) # 训练图片输入的最小尺寸，可以设定为多尺度训练
        cfg.INPUT.MIN_SIZE_TEST = 640
        #cfg.INPUT.MIN_SIZE_TRAIN_SAMPLING，其存在两种配置，分别为 choice 与 range ：
        # range 让图像的短边从 512-768随机选择
        #choice ： 把输入图像转化为指定的，有限的几种图片大小进行训练，即短边只能为 512或者768
        cfg.INPUT.MIN_SIZE_TRAIN_SAMPLING = 'range'
    # 本句一定要看下注释！！！！！！！！
        cfg.MODEL.RETINANET.NUM_CLASSES = 81  # 类别数+1（因为有background，也就是你的 cate id 从 1 开始，如果您的数据集Json下标从 0 开始，这个改为您对应的类别就行，不用再加背景类！！！！！）
        #cfg.MODEL.WEIGHTS="/home/yourstorePath/.pth"
        cfg.MODEL.WEIGHTS = "/home/yourstorePath/model_final_5bd44e.pkl"    # 预训练模型权重
        cfg.SOLVER.IMS_PER_BATCH = 4  # batch_size=2; iters_in_one_epoch = dataset_imgs/batch_size
    
        # 根据训练数据总数目以及batch_size，计算出每个epoch需要的迭代次数
        #9000为你的训练数据的总数目，可自定义
        ITERS_IN_ONE_EPOCH = int(9000 / cfg.SOLVER.IMS_PER_BATCH)
    
        # 指定最大迭代次数
        cfg.SOLVER.MAX_ITER = (ITERS_IN_ONE_EPOCH * 12) - 1 # 12 epochs，
        # 初始学习率
        cfg.SOLVER.BASE_LR = 0.002
        # 优化器动能
        cfg.SOLVER.MOMENTUM = 0.9
        #权重衰减
        cfg.SOLVER.WEIGHT_DECAY = 0.0001
        cfg.SOLVER.WEIGHT_DECAY_NORM = 0.0
        # 学习率衰减倍数
        cfg.SOLVER.GAMMA = 0.1
        # 迭代到指定次数，学习率进行衰减
        cfg.SOLVER.STEPS = (7000,)
        # 在训练之前，会做一个热身运动，学习率慢慢增加初始学习率
        cfg.SOLVER.WARMUP_FACTOR = 1.0 / 1000
        # 热身迭代次数
        cfg.SOLVER.WARMUP_ITERS = 1000
    
        cfg.SOLVER.WARMUP_METHOD = "linear"
        # 保存模型文件的命名数据减1
        cfg.SOLVER.CHECKPOINT_PERIOD = ITERS_IN_ONE_EPOCH - 1
    
        # 迭代到指定次数，进行一次评估
        cfg.TEST.EVAL_PERIOD = ITERS_IN_ONE_EPOCH
        #cfg.TEST.EVAL_PERIOD = 100
    
        #cfg.merge_from_file(args.config_file)
        #cfg.merge_from_list(args.opts)
        cfg.freeze()
        default_setup(cfg, args)
        return cfg

以上的注册数据集和配置文件设置好后，其实就可以开始训练了！输入命令  
训练过程中，log日志，保存模型等均在在tools/output下，log会保存全部的训练过程，其实很方便，在测试过程中，log日志会自动追加

训练：
    python train.py --num-gpus 1 # 训练命令，预训练权重、学习率和batch_size已经放在了 setup里面，所以不用手动加载
    断点续训：
    python train.py --resume # 可加 --num-gpus 1 也可不加，因为这个命令默认是从last_checkpoint进行训练，如果想从特定的pth训练，把他当作预训练模型即可，这个时候就需要加上--num-gpus 1。
    测试：
    将coco_my_val，指代的 val.json,变为test.json，即可，然后运行
    python train.py --eval-only

训练过程：  
![在这里插入图片描述][20200615165752275.png]  
验证集：  
![在这里插入图片描述][20200615165830821.png]  
测试集：  
![在这里插入图片描述][20200615165910231.png]

预祝大家测试成功！！！！

【参考：\[很详细的博文\][进入][Link 3]】

[Link 1]: https://blog.csdn.net/qq_29750461/article/details/106741693
[Link 2]: https://colab.research.google.com/drive/16jcaJoc6bCFAQ96jDe2HwtXj7BMD_-m5
[20200615141244105.png]: https://img-blog.csdnimg.cn/20200615141244105.png
[github]: https://github.com/spytensor/prepare_detection_dataset
[20200615165752275.png]: https://img-blog.csdnimg.cn/20200615165752275.png
[20200615165830821.png]: https://img-blog.csdnimg.cn/20200615165830821.png
[20200615165910231.png]: https://img-blog.csdnimg.cn/20200615165910231.png
[Link 3]: https://blog.csdn.net/weixin_43013761/article/details/104006026