YOLOv3新增1个分类，但EVAL出现nan的异常：EVAL: Class 10: Recall: nan, Precision: 0.0000, AP: nan

野性酷女 2024-04-17 23:25 33阅读 0赞

Recall值, AP值，是从val文件（验证集文件）读取验证数据，所以在训练的是时候，不仅要把“新增的1个分类”验证数据添加到验证集文件，另外要确保 “训练集的数据” 不包含在“验证集的数据中”，否则会出现如下大多数的Class的AP为1的情况。

======> Epoch: 40, global_step: 37227.0, lr: 3e-05 <======
    EVAL: Class 0: Recall: 1.0000, Precision: 0.0785, AP: 0.9992
    EVAL: Class 1: Recall: 1.0000, Precision: 0.0419, AP: 1.0000
    EVAL: Class 2: Recall: 1.0000, Precision: 0.1106, AP: 1.0000
    EVAL: Class 3: Recall: 1.0000, Precision: 0.0095, AP: 1.0000
    EVAL: Class 4: Recall: 1.0000, Precision: 0.0397, AP: 1.0000
    EVAL: Class 5: Recall: 1.0000, Precision: 0.0043, AP: 1.0000
    EVAL: Class 6: Recall: 1.0000, Precision: 0.0293, AP: 1.0000
    EVAL: Class 7: Recall: 1.0000, Precision: 0.0626, AP: 1.0000
    EVAL: Class 8: Recall: 0.9952, Precision: 0.0554, AP: 0.9950
    EVAL: Class 9: Recall: 0.9865, Precision: 0.0084, AP: 0.9802
    EVAL: Class 10: Recall: nan, Precision: 0.0000, AP: nan
    EVAL: Recall: nan, Precison: 0.0347, mAP: nan
    EVAL: loss: total: 0.32, xy: 0.04, wh: 0.02, conf: 0.02, class: 0.24
    
      8%|#########5                                                                                                              | 72/908 [00:12<02:18,  6.02it/s]Epoch: 41, global_step: 37300 | loss: total: 0.33, xy: 0.05, wh: 0.03, conf: 0.03, class: 0.23 | Last batch: rec: 1.000, prec: 0.043 | lr: 3e-05
     19%|######################5                                                                                                | 172/908 [00:28<02:03,  5.94it/s]Epoch: 41, global_step: 37400 | loss: total: 0.33, xy: 0.05, wh: 0.02, conf: 0.03, class: 0.23 | Last batch: rec: 1.000, prec: 0.035 | lr: 3e-05
     30%|###################################6                                                                                   | 272/908 [00:45<01:45,  6.01it/s]Epoch: 41, global_step: 37500 | loss: total: 0.34, xy: 0.05, wh: 0.03, conf: 0.03, class: 0.24 | Last batch: rec: 1.000, prec: 0.030 | lr: 3e-05
     41%|################################################7                                                                      | 372/908 [01:02<01:29,  5.96it/s]Epoch: 41, global_step: 37600 | loss: total: 0.34, xy: 0.05, wh: 0.03, conf: 0.03, class: 0.24 | Last batch: rec: 1.000, prec: 0.022 | lr: 3e-05
     52%|#############################################################8                                                         | 472/908 [01:18<01:12,  6.04it/s]Epoch: 41, global_step: 37700 | loss: total: 0.34, xy: 0.05, wh: 0.03, conf: 0.03, class: 0.24 | Last batch: rec: 1.000, prec: 0.036 | lr: 3e-05
     63%|##########################################################################9                                            | 572/908 [01:35<00:55,  6.01it/s]Epoch: 41, global_step: 37800 | loss: total: 0.34, xy: 0.05, wh: 0.03, conf: 0.03, class: 0.24 | Last batch: rec: 1.000, prec: 0.030 | lr: 3e-05
     74%|########################################################################################                               | 672/908 [01:52<00:39,  6.03it/s]Epoch: 41, global_step: 37900 | loss: total: 0.33, xy: 0.05, wh: 0.03, conf: 0.03, class: 0.23 | Last batch: rec: 1.000, prec: 0.057 | lr: 3e-05
     85%|#####################################################################################################1                 | 772/908 [02:08<00:22,  5.92it/s]Epoch: 41, global_step: 38000 | loss: total: 0.33, xy: 0.05, wh: 0.03, conf: 0.03, class: 0.23 | Last batch: rec: 1.000, prec: 0.047 | lr: 3e-05
     96%|##################################################################################################################2    | 872/908 [02:25<00:05,  6.02it/s]Epoch: 41, global_step: 38100 | loss: total: 0.33, xy: 0.05, wh: 0.03, conf: 0.03, class: 0.23 | Last batch: rec: 1.000, prec: 0.037 | lr: 3e-05
    100%|#######################################################################################################################| 908/908 [02:31<00:00,  6.27it/s]
      7%|########4                                                                                                               | 64/908 [00:10<02:21,  5.97it/s]Epoch: 42, global_step: 38200 | loss: total: 0.34, xy: 0.05, wh: 0.03, conf: 0.03, class: 0.24 | Last batch: rec: 1.000, prec: 0.029 | lr: 3e-05
     18%|#####################4                                                                                                 | 164/908 [00:27<02:04,  5.96it/s]Epoch: 42, global_step: 38300 | loss: total: 0.34, xy: 0.05, wh: 0.03, conf: 0.03, class: 0.24 | Last batch: rec: 1.000, prec: 0.034 | lr: 3e-05
     29%|##################################5                                                                                    | 264/908 [00:44<01:47,  5.98it/s]Epoch: 42, global_step: 38400 | loss: total: 0.34, xy: 0.05, wh: 0.03, conf: 0.03, class: 0.24 | Last batch: rec: 1.000, prec: 0.016 | lr: 3e-05
     40%|###############################################7                                                                       | 364/908 [01:00<01:30,  5.99it/s]Epoch: 42, global_step: 38500 | loss: total: 0.34, xy: 0.05, wh: 0.03, conf: 0.03, class: 0.24 | Last batch: rec: 1.000, prec: 0.032 | lr: 3e-05
     51%|############################################################8                                                          | 464/908 [01:17<01:13,  6.05it/s]Epoch: 42, global_step: 38600 | loss: total: 0.34, xy: 0.05, wh: 0.03, conf: 0.03, class: 0.24 | Last batch: rec: 1.000, prec: 0.037 | lr: 3e-05
     62%|#########################################################################9                                             | 564/908 [01:34<00:57,  6.00it/s]Epoch: 42, global_step: 38700 | loss: total: 0.34, xy: 0.05, wh: 0.03, conf: 0.03, class: 0.24 | Last batch: rec: 1.000, prec: 0.038 | lr: 3e-05
     73%|#######################################################################################                                | 664/908 [01:50<00:40,  5.95it/s]Epoch: 42, global_step: 38800 | loss: total: 0.33, xy: 0.05, wh: 0.03, conf: 0.03, class: 0.23 | Last batch: rec: 1.000, prec: 0.037 | lr: 3e-05
     84%|####################################################################################################1                  | 764/908 [02:07<00:24,  6.00it/s]Epoch: 42, global_step: 38900 | loss: total: 0.33, xy: 0.05, wh: 0.03, conf: 0.03, class: 0.23 | Last batch: rec: 1.000, prec: 0.035 | lr: 3e-05
     95%|#################################################################################################################2     | 864/908 [02:24<00:07,  6.02it/s]Epoch: 42, global_step: 39000 | loss: total: 0.33, xy: 0.05, wh: 0.03, conf: 0.03, class: 0.23 | Last batch: rec: 1.000, prec: 0.033 | lr: 3e-05
    100%|#######################################################################################################################| 908/908 [02:31<00:00,  6.22it/s]
    100%|#######################################################################################################################| 870/870 [00:28<00:00, 30.84it/s]
    ======> Epoch: 42, global_step: 39043.0, lr: 3e-05 <======
    EVAL: Class 0: Recall: 1.0000, Precision: 0.0847, AP: 0.9989
    EVAL: Class 1: Recall: 1.0000, Precision: 0.0432, AP: 1.0000
    EVAL: Class 2: Recall: 1.0000, Precision: 0.1223, AP: 1.0000
    EVAL: Class 3: Recall: 1.0000, Precision: 0.0101, AP: 1.0000
    EVAL: Class 4: Recall: 1.0000, Precision: 0.0410, AP: 1.0000
    EVAL: Class 5: Recall: 1.0000, Precision: 0.0049, AP: 1.0000
    EVAL: Class 6: Recall: 1.0000, Precision: 0.0296, AP: 1.0000
    EVAL: Class 7: Recall: 1.0000, Precision: 0.0644, AP: 1.0000
    EVAL: Class 8: Recall: 0.9952, Precision: 0.0585, AP: 0.9950
    EVAL: Class 9: Recall: 1.0000, Precision: 0.0091, AP: 0.9870
    EVAL: Class 10: Recall: nan, Precision: 0.0000, AP: nan
    EVAL: Recall: nan, Precison: 0.0368, mAP: nan
    EVAL: loss: total: 0.31, xy: 0.04, wh: 0.02, conf: 0.02, class: 0.24
    
      6%|#######4                                                                                                                | 56/908 [00:09<02:20,  6.06it/s]Epoch: 43, global_step: 39100 | loss: total: 0.32, xy: 0.05, wh: 0.02, conf: 0.02, class: 0.22 | Last batch: rec: 1.000, prec: 0.028 | lr: 3e-05
     17%|####################4                                                                                                  | 156/908 [00:26<02:04,  6.06it/s]Epoch: 43, global_step: 39200 | loss: total: 0.31, xy: 0.05, wh: 0.02, conf: 0.02, class: 0.22 | Last batch: rec: 1.000, prec: 0.024 | lr: 3e-05
     28%|#################################5                                                                                     | 256/908 [00:42<01:50,  5.88it/s]Epoch: 43, global_step: 39300 | loss: total: 0.32, xy: 0.05, wh: 0.02, conf: 0.02, class: 0.22 | Last batch: rec: 1.000, prec: 0.051 | lr: 3e-05
     39%|##############################################6                                                                        | 356/908 [00:59<01:31,  6.00it/s]Epoch: 43, global_step: 39400 | loss: total: 0.32, xy: 0.05, wh: 0.02, conf: 0.02, class: 0.22 | Last batch: rec: 1.000, prec: 0.064 | lr: 3e-05
     50%|###########################################################7                                                           | 456/908 [01:16<01:14,  6.04it/s]Epoch: 43, global_step: 39500 | loss: total: 0.32, xy: 0.05, wh: 0.02, conf: 0.02, class: 0.23 | Last batch: rec: 1.000, prec: 0.030 | lr: 3e-05
     61%|########################################################################8                                              | 556/908 [01:32<00:58,  6.06it/s]Epoch: 43, global_step: 39600 | loss: total: 0.32, xy: 0.05, wh: 0.02, conf: 0.02, class: 0.23 | Last batch: rec: 1.000, prec: 0.036 | lr: 3e-05
     72%|#####################################################################################9                                 | 656/908 [01:49<00:41,  6.01it/s]Epoch: 43, global_step: 39700 | loss: total: 0.32, xy: 0.05, wh: 0.02, conf: 0.02, class: 0.23 | Last batch: rec: 1.000, prec: 0.042 | lr: 3e-05
     83%|###################################################################################################                    | 756/908 [02:06<00:25,  5.98it/s]Epoch: 43, global_step: 39800 | loss: total: 0.32, xy: 0.05, wh: 0.02, conf: 0.02, class: 0.23 | Last batch: rec: 1.000, prec: 0.026 | lr: 3e-05
     94%|################################################################################################################1      | 856/908 [02:22<00:08,  5.93it/s]Epoch: 43, global_step: 39900 | loss: total: 0.33, xy: 0.05, wh: 0.02, conf: 0.02, class: 0.23 | Last batch: rec: 1.000, prec: 0.043 | lr: 3e-05
    100%|#######################################################################################################################| 908/908 [02:31<00:00,  6.16it/s]
      5%|######3                                                                                                                 | 48/908 [00:08<02:24,  5.97it/s]Epoch: 44, global_step: 40000 | loss: total: 0.32, xy: 0.05, wh: 0.02, conf: 0.02, class: 0.22 | Last batch: rec: 1.000, prec: 0.045 | lr: 3e-05
     16%|###################3                                                                                                   | 148/908 [00:24<02:05,  6.03it/s]Epoch: 44, global_step: 40100 | loss: total: 0.33, xy: 0.05, wh: 0.03, conf: 0.02, class: 0.23 | Last batch: rec: 1.000, prec: 0.036 | lr: 3e-05
     27%|################################5                                                                                      | 248/908 [00:41<01:50,  5.99it/s]Epoch: 44, global_step: 40200 | loss: total: 0.32, xy: 0.05, wh: 0.02, conf: 0.02, class: 0.23 | Last batch: rec: 1.000, prec: 0.029 | lr: 3e-05
     38%|#############################################6                                                                         | 348/908 [00:58<01:32,  6.04it/s]Epoch: 44, global_step: 40300 | loss: total: 0.33, xy: 0.05, wh: 0.02, conf: 0.02, class: 0.23 | Last batch: rec: 1.000, prec: 0.026 | lr: 3e-05
     49%|##########################################################7                                                            | 448/908 [01:14<01:16,  6.03it/s]Epoch: 44, global_step: 40400 | loss: total: 0.32, xy: 0.05, wh: 0.02, conf: 0.02, class: 0.23 | Last batch: rec: 1.000, prec: 0.026 | lr: 3e-05
     60%|#######################################################################8                                               | 548/908 [01:31<01:00,  5.94it/s]Epoch: 44, global_step: 40500 | loss: total: 0.33, xy: 0.05, wh: 0.02, conf: 0.02, class: 0.23 | Last batch: rec: 1.000, prec: 0.030 | lr: 3e-05
     71%|####################################################################################9                                  | 648/908 [01:48<00:43,  6.00it/s]Epoch: 44, global_step: 40600 | loss: total: 0.33, xy: 0.05, wh: 0.02, conf: 0.02, class: 0.23 | Last batch: rec: 1.000, prec: 0.023 | lr: 3e-05
     82%|##################################################################################################                     | 748/908 [02:04<00:26,  6.05it/s]Epoch: 44, global_step: 40700 | loss: total: 0.33, xy: 0.05, wh: 0.02, conf: 0.02, class: 0.23 | Last batch: rec: 1.000, prec: 0.023 | lr: 3e-05
     93%|###############################################################################################################1       | 848/908 [02:21<00:09,  6.06it/s]Epoch: 44, global_step: 40800 | loss: total: 0.32, xy: 0.05, wh: 0.02, conf: 0.02, class: 0.23 | Last batch: rec: 1.000, prec: 0.041 | lr: 3e-05
    100%|#######################################################################################################################| 908/908 [02:31<00:00,  6.33it/s]
    100%|#######################################################################################################################| 870/870 [00:28<00:00, 30.90it/s]
    ======> Epoch: 44, global_step: 40859.0, lr: 3e-05 <======
    EVAL: Class 0: Recall: 1.0000, Precision: 0.0828, AP: 0.9993
    EVAL: Class 1: Recall: 1.0000, Precision: 0.0418, AP: 1.0000
    EVAL: Class 2: Recall: 1.0000, Precision: 0.1227, AP: 1.0000
    EVAL: Class 3: Recall: 1.0000, Precision: 0.0101, AP: 1.0000
    EVAL: Class 4: Recall: 1.0000, Precision: 0.0414, AP: 1.0000
    EVAL: Class 5: Recall: 1.0000, Precision: 0.0049, AP: 1.0000
    EVAL: Class 6: Recall: 1.0000, Precision: 0.0293, AP: 1.0000
    EVAL: Class 7: Recall: 1.0000, Precision: 0.0656, AP: 1.0000
    EVAL: Class 8: Recall: 0.9952, Precision: 0.0594, AP: 0.9951
    EVAL: Class 9: Recall: 1.0000, Precision: 0.0092, AP: 0.9876
    EVAL: Class 10: Recall: nan, Precision: 0.0000, AP: nan
    EVAL: Recall: nan, Precison: 0.0368, mAP: nan
    EVAL: loss: total: 0.31, xy: 0.04, wh: 0.02, conf: 0.02, class: 0.23
    
      4%|#####2                                                                                                                  | 40/908 [00:06<02:24,  5.99it/s]Epoch: 45, global_step: 40900 | loss: total: 0.33, xy: 0.05, wh: 0.03, conf: 0.02, class: 0.24 | Last batch: rec: 1.000, prec: 0.057 | lr: 3e-05
     15%|##################3                                                                                                    | 140/908 [00:23<02:07,  6.01it/s]Epoch: 45, global_step: 41000 | loss: total: 0.33, xy: 0.05, wh: 0.02, conf: 0.02, class: 0.23 | Last batch: rec: 1.000, prec: 0.070 | lr: 3e-05
     26%|###############################4                                                                                       | 240/908 [00:40<01:50,  6.03it/s]Epoch: 45, global_step: 41100 | loss: total: 0.33, xy: 0.05, wh: 0.02, conf: 0.02, class: 0.23 | Last batch: rec: 1.000, prec: 0.036 | lr: 3e-05
     37%|############################################5                                                                          | 340/908 [00:56<01:34,  6.01it/s]Epoch: 45, global_step: 41200 | loss: total: 0.32, xy: 0.05, wh: 0.02, conf: 0.02, class: 0.23 | Last batch: rec: 1.000, prec: 0.031 | lr: 3e-05
     48%|#########################################################6                                                             | 440/908 [01:13<01:17,  6.05it/s]Epoch: 45, global_step: 41300 | loss: total: 0.32, xy: 0.05, wh: 0.02, conf: 0.02, class: 0.23 | Last batch: rec: 1.000, prec: 0.038 | lr: 3e-05
     59%|######################################################################7                                                | 540/908 [01:30<01:00,  6.04it/s]Epoch: 45, global_step: 41400 | loss: total: 0.32, xy: 0.05, wh: 0.02, conf: 0.02, class: 0.23 | Last batch: rec: 0.944, prec: 0.034 | lr: 3e-05
     70%|###################################################################################8                                   | 640/908 [01:46<00:44,  6.01it/s]Epoch: 45, global_step: 41500 | loss: total: 0.32, xy: 0.05, wh: 0.02, conf: 0.02, class: 0.23 | Last batch: rec: 1.000, prec: 0.073 | lr: 3e-05
     81%|################################################################################################9                      | 740/908 [02:03<00:27,  6.01it/s]Epoch: 45, global_step: 41600 | loss: total: 0.32, xy: 0.05, wh: 0.02, conf: 0.02, class: 0.23 | Last batch: rec: 1.000, prec: 0.026 | lr: 3e-05
     93%|##############################################################################################################         | 840/908 [02:20<00:11,  6.01it/s]Epoch: 45, global_step: 41700 | loss: total: 0.32, xy: 0.05, wh: 0.02, conf: 0.02, class: 0.23 | Last batch: rec: 0.923, prec: 0.039 | lr: 3e-05
    100%|#######################################################################################################################| 908/908 [02:31<00:00,  6.22it/s]
      4%|####2                                                                                                                   | 32/908 [00:05<02:25,  6.02it/s]Epoch: 46, global_step: 41800 | loss: total: 0.33, xy: 0.05, wh: 0.02, conf: 0.02, class: 0.24 | Last batch: rec: 1.000, prec: 0.046 | lr: 3e-05
     15%|#################2                                                                                                     | 132/908 [00:22<02:08,  6.02it/s]Epoch: 46, global_step: 41900 | loss: total: 0.32, xy: 0.04, wh: 0.02, conf: 0.02, class: 0.23 | Last batch: rec: 1.000, prec: 0.029 | lr: 3e-05
     26%|##############################4                                                                                        | 232/908 [00:38<01:52,  6.01it/s]Epoch: 46, global_step: 42000 | loss: total: 0.32, xy: 0.05, wh: 0.02, conf: 0.02, class: 0.23 | Last batch: rec: 1.000, prec: 0.043 | lr: 3e-05
     37%|###########################################5                                                                           | 332/908 [00:55<01:36,  5.98it/s]Epoch: 46, global_step: 42100 | loss: total: 0.32, xy: 0.05, wh: 0.02, conf: 0.02, class: 0.23 | Last batch: rec: 1.000, prec: 0.034 | lr: 3e-05
     48%|########################################################6                                                              | 432/908 [01:12<01:19,  6.02it/s]Epoch: 46, global_step: 42200 | loss: total: 0.32, xy: 0.05, wh: 0.02, conf: 0.02, class: 0.23 | Last batch: rec: 1.000, prec: 0.022 | lr: 3e-05
     59%|#####################################################################7                                                 | 532/908 [01:28<01:03,  5.95it/s]Epoch: 46, global_step: 42300 | loss: total: 0.32, xy: 0.05, wh: 0.02, conf: 0.02, class: 0.23 | Last batch: rec: 1.000, prec: 0.049 | lr: 3e-05
     70%|##################################################################################8                                    | 632/908 [01:45<00:45,  6.02it/s]Epoch: 46, global_step: 42400 | loss: total: 0.32, xy: 0.05, wh: 0.02, conf: 0.02, class: 0.23 | Last batch: rec: 1.000, prec: 0.046 | lr: 3e-05
     81%|###############################################################################################9                       | 732/908 [02:02<00:29,  6.01it/s]Epoch: 46, global_step: 42500 | loss: total: 0.32, xy: 0.05, wh: 0.02, conf: 0.02, class: 0.23 | Last batch: rec: 1.000, prec: 0.033 | lr: 3e-05
     92%|#############################################################################################################          | 832/908 [02:18<00:12,  5.98it/s]Epoch: 46, global_step: 42600 | loss: total: 0.32, xy: 0.05, wh: 0.02, conf: 0.02, class: 0.23 | Last batch: rec: 1.000, prec: 0.033 | lr: 3e-05
    100%|#######################################################################################################################| 908/908 [02:31<00:00,  6.21it/s]
    100%|#######################################################################################################################| 870/870 [00:28<00:00, 30.98it/s]
    ======> Epoch: 46, global_step: 42675.0, lr: 3e-05 <======
    EVAL: Class 0: Recall: 1.0000, Precision: 0.0850, AP: 0.9992
    EVAL: Class 1: Recall: 1.0000, Precision: 0.0448, AP: 1.0000
    EVAL: Class 2: Recall: 1.0000, Precision: 0.1267, AP: 1.0000
    EVAL: Class 3: Recall: 1.0000, Precision: 0.0109, AP: 1.0000
    EVAL: Class 4: Recall: 1.0000, Precision: 0.0421, AP: 1.0000
    EVAL: Class 5: Recall: 1.0000, Precision: 0.0048, AP: 1.0000
    EVAL: Class 6: Recall: 1.0000, Precision: 0.0322, AP: 1.0000
    EVAL: Class 7: Recall: 1.0000, Precision: 0.0662, AP: 1.0000
    EVAL: Class 8: Recall: 0.9952, Precision: 0.0601, AP: 0.9951
    EVAL: Class 9: Recall: 1.0000, Precision: 0.0097, AP: 0.9883
    EVAL: Class 10: Recall: nan, Precision: 0.0000, AP: nan
    EVAL: Recall: nan, Precison: 0.0383, mAP: nan
    EVAL: loss: total: 0.31, xy: 0.04, wh: 0.02, conf: 0.02, class: 0.23
    
      3%|###1                                                                                                                    | 24/908 [00:04<02:25,  6.06it/s]Epoch: 47, global_step: 42700 | loss: total: 0.31, xy: 0.04, wh: 0.02, conf: 0.01, class: 0.23 | Last batch: rec: 1.000, prec: 0.046 | lr: 3e-05
     14%|################2                                                                                                      | 124/908 [00:20<02:10,  6.02it/s]Epoch: 47, global_step: 42800 | loss: total: 0.32, xy: 0.04, wh: 0.02, conf: 0.02, class: 0.23 | Last batch: rec: 1.000, prec: 0.050 | lr: 3e-05
     25%|#############################3                                                                                         | 224/908 [00:37<01:54,  5.99it/s]Epoch: 47, global_step: 42900 | loss: total: 0.33, xy: 0.04, wh: 0.02, conf: 0.03, class: 0.24 | Last batch: rec: 1.000, prec: 0.032 | lr: 3e-05
     36%|##########################################4                                                                            | 324/908 [00:54<01:37,  5.97it/s]Epoch: 47, global_step: 43000 | loss: total: 0.32, xy: 0.04, wh: 0.02, conf: 0.02, class: 0.23 | Last batch: rec: 1.000, prec: 0.045 | lr: 3e-05
     47%|#######################################################5                                                               | 424/908 [01:10<01:20,  6.02it/s]Epoch: 47, global_step: 43100 | loss: total: 0.32, xy: 0.04, wh: 0.02, conf: 0.02, class: 0.23 | Last batch: rec: 1.000, prec: 0.031 | lr: 3e-05
     58%|####################################################################6                                                  | 524/908 [01:27<01:04,  5.99it/s]Epoch: 47, global_step: 43200 | loss: total: 0.32, xy: 0.04, wh: 0.02, conf: 0.02, class: 0.23 | Last batch: rec: 1.000, prec: 0.030 | lr: 3e-05
     69%|#################################################################################7                                     | 624/908 [01:44<00:47,  6.02it/s]Epoch: 47, global_step: 43300 | loss: total: 0.32, xy: 0.04, wh: 0.02, conf: 0.02, class: 0.23 | Last batch: rec: 1.000, prec: 0.034 | lr: 3e-05
     80%|##############################################################################################8                        | 724/908 [02:00<00:30,  6.03it/s]Epoch: 47, global_step: 43400 | loss: total: 0.32, xy: 0.04, wh: 0.02, conf: 0.02, class: 0.23 | Last batch: rec: 1.000, prec: 0.034 | lr: 3e-05
     91%|###########################################################################################################9           | 824/908 [02:17<00:13,  6.01it/s]Epoch: 47, global_step: 43500 | loss: total: 0.32, xy: 0.04, wh: 0.02, conf: 0.02, class: 0.23 | Last batch: rec: 1.000, prec: 0.050 | lr: 3e-05
    100%|#######################################################################################################################| 908/908 [02:31<00:00,  6.31it/s]
      2%|##1                                                                                                                     | 16/908 [00:02<02:28,  6.01it/s]Epoch: 48, global_step: 43600 | loss: total: 0.36, xy: 0.05, wh: 0.03, conf: 0.03, class: 0.25 | Last batch: rec: 1.000, prec: 0.045 | lr: 3e-05
     13%|###############2                                                                                                       | 116/908 [00:19<02:12,  5.98it/s]Epoch: 48, global_step: 43700 | loss: total: 0.32, xy: 0.04, wh: 0.02, conf: 0.02, class: 0.23 | Last batch: rec: 1.000, prec: 0.022 | lr: 3e-05
     24%|############################3                                                                                          | 216/908 [00:36<01:55,  6.01it/s]Epoch: 48, global_step: 43800 | loss: total: 0.31, xy: 0.04, wh: 0.02, conf: 0.02, class: 0.23 | Last batch: rec: 1.000, prec: 0.040 | lr: 3e-05
     35%|#########################################4                                                                             | 316/908 [00:52<01:37,  6.06it/s]Epoch: 48, global_step: 43900 | loss: total: 0.31, xy: 0.04, wh: 0.02, conf: 0.02, class: 0.23 | Last batch: rec: 1.000, prec: 0.033 | lr: 3e-05
     46%|######################################################5                                                                | 416/908 [01:09<01:20,  6.08it/s]Epoch: 48, global_step: 44000 | loss: total: 0.32, xy: 0.04, wh: 0.02, conf: 0.02, class: 0.23 | Last batch: rec: 1.000, prec: 0.022 | lr: 3e-05
     57%|###################################################################6                                                   | 516/908 [01:26<01:05,  5.99it/s]Epoch: 48, global_step: 44100 | loss: total: 0.32, xy: 0.04, wh: 0.02, conf: 0.02, class: 0.23 | Last batch: rec: 1.000, prec: 0.026 | lr: 3e-05
     68%|################################################################################7                                      | 616/908 [01:42<00:48,  5.99it/s]Epoch: 48, global_step: 44200 | loss: total: 0.32, xy: 0.04, wh: 0.02, conf: 0.02, class: 0.23 | Last batch: rec: 1.000, prec: 0.024 | lr: 3e-05
     79%|#############################################################################################8                         | 716/908 [01:59<00:32,  5.96it/s]Epoch: 48, global_step: 44300 | loss: total: 0.32, xy: 0.04, wh: 0.02, conf: 0.02, class: 0.23 | Last batch: rec: 1.000, prec: 0.025 | lr: 3e-05
     90%|##########################################################################################################9            | 816/908 [02:16<00:15,  6.02it/s]Epoch: 48, global_step: 44400 | loss: total: 0.32, xy: 0.04, wh: 0.02, conf: 0.02, class: 0.23 | Last batch: rec: 1.000, prec: 0.035 | lr: 3e-05
    100%|#######################################################################################################################| 908/908 [02:31<00:00,  6.23it/s]
    100%|#######################################################################################################################| 870/870 [00:28<00:00, 30.95it/s]
    ======> Epoch: 48, global_step: 44491.0, lr: 3e-05 <======
    EVAL: Class 0: Recall: 1.0000, Precision: 0.0930, AP: 0.9993
    EVAL: Class 1: Recall: 1.0000, Precision: 0.0508, AP: 1.0000
    EVAL: Class 2: Recall: 1.0000, Precision: 0.1350, AP: 1.0000
    EVAL: Class 3: Recall: 1.0000, Precision: 0.0115, AP: 1.0000
    EVAL: Class 4: Recall: 1.0000, Precision: 0.0471, AP: 1.0000
    EVAL: Class 5: Recall: 1.0000, Precision: 0.0054, AP: 1.0000
    EVAL: Class 6: Recall: 1.0000, Precision: 0.0339, AP: 1.0000
    EVAL: Class 7: Recall: 1.0000, Precision: 0.0744, AP: 1.0000
    EVAL: Class 8: Recall: 0.9952, Precision: 0.0622, AP: 0.9951
    EVAL: Class 9: Recall: 0.9865, Precision: 0.0100, AP: 0.9787
    EVAL: Class 10: Recall: nan, Precision: 0.0000, AP: nan
    EVAL: Recall: nan, Precison: 0.0413, mAP: nan
    EVAL: loss: total: 0.31, xy: 0.04, wh: 0.02, conf: 0.02, class: 0.23
    
      1%|#                                                                                                                        | 8/908 [00:01<02:37,  5.72it/s]Epoch: 49, global_step: 44500 | loss: total: 0.31, xy: 0.05, wh: 0.02, conf: 0.01, class: 0.23 | Last batch: rec: 1.000, prec: 0.038 | lr: 3e-05
     12%|##############1                                                                                                        | 108/908 [00:18<02:13,  5.98it/s]Epoch: 49, global_step: 44600 | loss: total: 0.34, xy: 0.05, wh: 0.02, conf: 0.03, class: 0.24 | Last batch: rec: 1.000, prec: 0.037 | lr: 3e-05
     23%|###########################2                                                                                           | 208/908 [00:34<01:57,  5.97it/s]Epoch: 49, global_step: 44700 | loss: total: 0.34, xy: 0.05, wh: 0.02, conf: 0.03, class: 0.24 | Last batch: rec: 0.875, prec: 0.031 | lr: 3e-05
     34%|########################################3                                                                              | 308/908 [00:51<01:40,  5.99it/s]Epoch: 49, global_step: 44800 | loss: total: 0.34, xy: 0.05, wh: 0.02, conf: 0.03, class: 0.24 | Last batch: rec: 1.000, prec: 0.045 | lr: 3e-05
     45%|#####################################################4                                                                 | 408/908 [01:08<01:23,  6.01it/s]Epoch: 49, global_step: 44900 | loss: total: 0.33, xy: 0.04, wh: 0.02, conf: 0.03, class: 0.23 | Last batch: rec: 1.000, prec: 0.024 | lr: 3e-05
     56%|##################################################################5                                                    | 508/908 [01:24<01:06,  6.01it/s]Epoch: 49, global_step: 45000 | loss: total: 0.33, xy: 0.04, wh: 0.02, conf: 0.02, class: 0.23 | Last batch: rec: 1.000, prec: 0.032 | lr: 3e-05
     67%|###############################################################################6                                       | 608/908 [01:41<00:49,  6.05it/s]Epoch: 49, global_step: 45100 | loss: total: 0.33, xy: 0.04, wh: 0.02, conf: 0.02, class: 0.23 | Last batch: rec: 1.000, prec: 0.030 | lr: 3e-05
     78%|############################################################################################7                          | 708/908 [01:57<00:33,  6.03it/s]Epoch: 49, global_step: 45200 | loss: total: 0.32, xy: 0.04, wh: 0.02, conf: 0.02, class: 0.23 | Last batch: rec: 1.000, prec: 0.034 | lr: 3e-05
     89%|#########################################################################################################8             | 808/908 [02:14<00:16,  6.04it/s]Epoch: 49, global_step: 45300 | loss: total: 0.32, xy: 0.04, wh: 0.02, conf: 0.02, class: 0.23 | Last batch: rec: 1.000, prec: 0.041 | lr: 3e-05
    100%|#######################################################################################################################| 908/908 [02:31<00:00,  6.30it/s]
      0%|                                                                                                                                 | 0/908 [00:00<?, ?it/s]Epoch: 50, global_step: 45400 | loss: total: 0.41, xy: 0.05, wh: 0.04, conf: 0.03, class: 0.29 | Last batch: rec: 1.000, prec: 0.066 | lr: 3e-05
     11%|#############1                                                                                                         | 100/908 [00:16<02:15,  5.95it/s]Epoch: 50, global_step: 45500 | loss: total: 0.32, xy: 0.04, wh: 0.02, conf: 0.02, class: 0.23 | Last batch: rec: 1.000, prec: 0.025 | lr: 3e-05
     22%|##########################2                                                                                            | 200/908 [00:33<01:57,  6.03it/s]Epoch: 50, global_step: 45600 | loss: total: 0.32, xy: 0.04, wh: 0.02, conf: 0.02, class: 0.23 | Last batch: rec: 1.000, prec: 0.036 | lr: 3e-05
     33%|#######################################3                                                                               | 300/908 [00:50<01:39,  6.09it/s]Epoch: 50, global_step: 45700 | loss: total: 0.32, xy: 0.04, wh: 0.02, conf: 0.02, class: 0.23 | Last batch: rec: 1.000, prec: 0.035 | lr: 3e-05
     44%|####################################################4                                                                  | 400/908 [01:06<01:24,  6.02it/s]Epoch: 50, global_step: 45800 | loss: total: 0.32, xy: 0.04, wh: 0.02, conf: 0.02, class: 0.23 | Last batch: rec: 1.000, prec: 0.040 | lr: 3e-05
     55%|#################################################################5                                                     | 500/908 [01:23<01:08,  6.00it/s]Epoch: 50, global_step: 45900 | loss: total: 0.32, xy: 0.04, wh: 0.02, conf: 0.02, class: 0.23 | Last batch: rec: 1.000, prec: 0.046 | lr: 3e-05
     66%|##############################################################################6                                        | 600/908 [01:40<00:51,  6.03it/s]Epoch: 50, global_step: 46000 | loss: total: 0.32, xy: 0.04, wh: 0.02, conf: 0.02, class: 0.23 | Last batch: rec: 1.000, prec: 0.032 | lr: 3e-05
     77%|###########################################################################################7                           | 700/908 [01:56<00:34,  6.00it/s]Epoch: 50, global_step: 46100 | loss: total: 0.32, xy: 0.04, wh: 0.02, conf: 0.02, class: 0.23 | Last batch: rec: 1.000, prec: 0.034 | lr: 3e-05
     88%|########################################################################################################8              | 800/908 [02:13<00:18,  5.93it/s]Epoch: 50, global_step: 46200 | loss: total: 0.32, xy: 0.04, wh: 0.02, conf: 0.02, class: 0.23 | Last batch: rec: 1.000, prec: 0.048 | lr: 3e-05
     99%|#####################################################################################################################9 | 900/908 [02:30<00:01,  6.08it/s]Epoch: 50, global_step: 46300 | loss: total: 0.32, xy: 0.04, wh: 0.02, conf: 0.02, class: 0.23 | Last batch: rec: 1.000, prec: 0.040 | lr: 3e-05
    100%|#######################################################################################################################| 908/908 [02:31<00:00,  6.20it/s]
    100%|#######################################################################################################################| 870/870 [00:28<00:00, 30.91it/s]
    ======> Epoch: 50, global_step: 46307.0, lr: 3e-05 <======
    EVAL: Class 0: Recall: 1.0000, Precision: 0.0955, AP: 0.9993
    EVAL: Class 1: Recall: 1.0000, Precision: 0.0521, AP: 1.0000
    EVAL: Class 2: Recall: 1.0000, Precision: 0.1393, AP: 1.0000
    EVAL: Class 3: Recall: 1.0000, Precision: 0.0112, AP: 1.0000
    EVAL: Class 4: Recall: 1.0000, Precision: 0.0474, AP: 1.0000
    EVAL: Class 5: Recall: 1.0000, Precision: 0.0054, AP: 1.0000
    EVAL: Class 6: Recall: 1.0000, Precision: 0.0337, AP: 0.9999
    EVAL: Class 7: Recall: 1.0000, Precision: 0.0773, AP: 1.0000
    EVAL: Class 8: Recall: 0.9952, Precision: 0.0665, AP: 0.9950
    EVAL: Class 9: Recall: 1.0000, Precision: 0.0104, AP: 0.9893
    EVAL: Class 10: Recall: nan, Precision: 0.0000, AP: nan
    EVAL: Recall: nan, Precison: 0.0422, mAP: nan
    EVAL: loss: total: 0.30, xy: 0.04, wh: 0.02, conf: 0.02, class: 0.23