[ArcGIS批处理] MOD04 | 影像分类（Arcpy）+抽取子集+投影+融合

一时失言乱红尘 2021-11-05 03:44 778阅读 0赞

> 【内容介绍】
> 
> 1.  将一个文件夹下的文件按照【一定的规则】分流到不同文件夹下
> 2.  对一组数据进行批量抽取子集
> 3.  对文件夹下的所有数据进行定义投影
> 4.  对文件夹下的所有数据投影到指定坐标（UTM50N）
> 5.  对文件夹下的所有栅格数据进行拼接

### 文章目录 ###

*  批处理
 *   *  【第一步】按规则分流数据
     *  【第二步】抽取子集并定义坐标系
     *  【第三步】批量投影
     *  【第四步】拼接（即ArcGIS中的镶嵌）
 *  【附录】工具详情
 *   *  \[1\] ClassfiyAndCreateProject
     *  \[2\] SubsetAndDefineProject
     *  \[3\] Project
     *  \[4\] Mosaic
 *  【附录】MOD04产品介绍

【工具箱】附录中有下载链接

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N1bW1lcl9kZXc_size_16_color_FFFFFF_t_70]

# 批处理 #

## 【第一步】按规则分流数据 ##

【数据】MOD04\_L2数据气溶胶日产品（介绍请看附录）

【需求】该文件夹下有3天的日产品，按照名字中的A2001001、A2001003、A2001006进行分流数据

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N1bW1lcl9kZXc_size_16_color_FFFFFF_t_70 1]

【工具】`[1]ClassifyAndCreateProject`

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N1bW1lcl9kZXc_size_16_color_FFFFFF_t_70 2]

【结果】

![在这里插入图片描述][20190807100303600.gif]

【工程目录介绍】

*  project 创建的输出文件夹（即工程文件夹）
    
     *  A2001001 产品日期
        
         *  Data 原始数据文件夹
         *  Subset 子集输出文件夹
         *  DefineSRS 定义投影输出文件夹
         *  Projection 投影输出文件夹
     *  A2001003
        
         *  … 下同

## 【第二步】抽取子集并定义坐标系 ##

【打开一个MOD04数据】发现其具有219个波段，ID号从0开始；并且没有定义投影（在头文件中可知其投影为WGS84）

【需求】按照指定的波段进行抽取（举例：抽取ID=11的波段），并且定义投影为WGS84

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N1bW1lcl9kZXc_size_16_color_FFFFFF_t_70 3]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N1bW1lcl9kZXc_size_16_color_FFFFFF_t_70 4]

【工具】`[2]SubsetAndDefineProject`

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N1bW1lcl9kZXc_size_16_color_FFFFFF_t_70 5]

【结果】

*  抽取子数据集输出在该产品集的Subset目录中![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N1bW1lcl9kZXc_size_16_color_FFFFFF_t_70 6]
 *  定义投影的结果输出在该产品集的DefineSRS中
    
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N1bW1lcl9kZXc_size_16_color_FFFFFF_t_70 7]

## 【第三步】批量投影 ##

【需求】将产品集中的DefineSRS进行批量投影至WGS84\_UTM\_Zone\_50N

【工具】`[3]Project`

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N1bW1lcl9kZXc_size_16_color_FFFFFF_t_70 8]

【结果】投影的结果输出在该产品集的Projection中

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N1bW1lcl9kZXc_size_16_color_FFFFFF_t_70 9]

## 【第四步】拼接（即ArcGIS中的镶嵌） ##

【需求】将Projection中的数据集进行拼接

【工具】`[4]Mosaic`

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N1bW1lcl9kZXc_size_16_color_FFFFFF_t_70 10]

【结果】输出在A2001001文件夹下

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N1bW1lcl9kZXc_size_16_color_FFFFFF_t_70 11]

# 【附录】工具详情 #

【工具箱】

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N1bW1lcl9kZXc_size_16_color_FFFFFF_t_70]

【数据与工具】

*  [查看][Link 1]
 *  [下载链接][Link 2]

## \[1\] ClassfiyAndCreateProject ##

【说明】

1.  基于Python实现业务逻辑
2.  利用Arcpy模块，让ArcGIS充当UI界面
3.  将.py文件做成ArcGIS的Toolbox，实现UI操作
    
    1.  制作成自定义工具：https://blog.csdn.net/summer\_dew/article/details/98634003\#\_68

【Python代码】

# -*- coding: utf-8 -*-
    # @Time : 2019/8/6 16:38
    # @Author : PasserQi
    # @Email : passerqi@gmail.com
    # @File : ClassifyAndCreateProject
    # @Software: PyCharm
    # @Version :
    # @Desc :
    # 1. classify multiple batches of data in same folder
    # 2. create MOD04-L2 project in output folder
    
    import sys
    import os
    import arcpy
    
    # arcpy param
    # input_dir = r"D:\mycode\GISandPython\2Arcpy\ArcGISTools\MOD04-L2\MOD04-L2_data"
    # project_dir = r"D:\mycode\GISandPython\2Arcpy\ArcGISTools\MOD04-L2\project"
    input_dir = sys.argv[1]
    project_dir = sys.argv[2]
    
    # project param
    categorys = { 
    }
    
    def classify(input_dir):
        fns = os.listdir(input_dir)
        if len(fns)==0:
            arcpy.AddMessage("[ERROR]\tCan't fine files in {}.".format(input_dir) )
        else:
            arcpy.AddMessage("[OK]\tFine {} files.".format( len(fns) ) )
    
        for fn in fns:
            category_name = fn.split('.')[1]
            # create dir
            if category_name not in categorys:
                categorys[category_name] = create_dir(category_name)
            # copy files
            data_dir = categorys[category_name]["Data"]
            srcfp = os.path.join(input_dir, fn)
            dstfp = os.path.join(data_dir, fn)
            copyfile(srcfp, dstfp)
    
        arcpy.AddMessage("[OK]\t" + project_dir)
        pass
    
    def create_dir(category_name):
        ret = { 
            "Data" : None,
            "Subset" : None,
            "DefineSRS" : None,
            "Projection" : None,
        }
        # category dir
        category_dir = os.path.join(project_dir, category_name)
        mkdir(category_dir)
        # create dir in category dir
        for dirname in ret.keys():
            if ret[dirname]==None:
                ret[dirname] = os.path.join(category_dir, dirname)
                mkdir( ret[dirname] )
        return ret
    
    def mkdir(path):
        path = path.strip()
        path = path.rstrip("\\")
        if not os.path.exists(path):
            os.mkdir(path)
            arcpy.AddMessage("[OK] Create Dir:{}".format(path) )
            return True
    
    
    def copyfile(srcfile,dstfile):
        import shutil
        if not os.path.isfile(srcfile):
            arcpy.AddMessage("[ERROR]\t%s not exist!"%(srcfile) )
        else:
            fpath,fname=os.path.split(dstfile)
            if not os.path.exists(fpath):
                os.makedirs(fpath)
            shutil.copyfile(srcfile,dstfile)
            arcpy.AddMessage("[OK] copy %s -> %s"%(srcfile, dstfile) )
    
    if __name__ == '__main__':
        classify(input_dir)
    
        pass

## \[2\] SubsetAndDefineProject ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N1bW1lcl9kZXc_size_16_color_FFFFFF_t_70 12]

【重点】怎么引用模型中的变量，将变量名用%标识

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N1bW1lcl9kZXc_size_16_color_FFFFFF_t_70 13]

## \[3\] Project ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N1bW1lcl9kZXc_size_16_color_FFFFFF_t_70 14]

## \[4\] Mosaic ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N1bW1lcl9kZXc_size_16_color_FFFFFF_t_70 15]

# 【附录】MOD04产品介绍 #

【MOD/MYD04】MODIS Terra/Aqua Aerosol 5-Min L2，是NASA发布的Level 2级气溶胶产品，可用来获取全球海洋和陆地环境的大气气溶胶光学特性（如：光学厚度和大小分布）和质量浓度，通过查找表（LUT）反演得到反射和传输通量，以及其他质量控制和辅助参数，其空间分辨率为3km、10km，以HDF4格式提供

*  【C5版本】10km分辨率的气溶胶产品
 *  【C6版本（MOD/MYD04\_3K）】3km分辨率的气溶胶产品，全称MODIS Terra/Aqua Aerosol 5-Min L2 Swath 3km

【命名规则】官方例子

![在这里插入图片描述][20190807092605254.png]

【举例】MOD04\_L2.A2001001.0110.061.2017220225602.hdf

*  【MOD04\_L2】产品类型（Earth Science Data Type Name），MOD04\_L2是气溶胶的日产品
 *  【A2001001】卫星扫过这片区域的时间（年份、月份、天数）
    
     *  【A】Acquisition，因为modsi卫星分上午卫星和下午卫星就分别用A和T来表示的
     *  【2001】年
     *  【001】Julian Date是一种历法计数的方法，实际上也就是代表2001年的第1天
 *  【0110】卫星扫过这片区域的时间（小时和分钟），其中这个时间是UTC时间
 *  【061】Collection Version，是其数据的版本号，像其前一个版本好像就是051的，也看过不少论文是做这种版本之间差异的
 *  【2017220225602】数据制作的时间（包括年份、月份、天数、小时、分钟、秒）
    
     *  2017年，第220天，22时56分2秒制作

【相关链接】

*  [MODSI气溶胶产品MOD04\_L2命名规则][MODSI_MOD04_L2]
 *  [NASA官方解释][NASA]
 *  [MOD04\_3K 产品使用方の法学习][MOD04_3K]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N1bW1lcl9kZXc_size_16_color_FFFFFF_t_70]: /images/20211104/db76f4ccb9954326b69d791b0ab2fdd2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N1bW1lcl9kZXc_size_16_color_FFFFFF_t_70 1]: /images/20211104/1c338ce3044549c5a692a4162c781de9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N1bW1lcl9kZXc_size_16_color_FFFFFF_t_70 2]: /images/20211104/75e5d30c76bd4be9b40bc6892af09e2e.png
[20190807100303600.gif]: /images/20211104/8467705d3fe541bcad49575fd34a7b93.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N1bW1lcl9kZXc_size_16_color_FFFFFF_t_70 3]: /images/20211104/3ad2e84ca55b4dd6bf9669f07f586304.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N1bW1lcl9kZXc_size_16_color_FFFFFF_t_70 4]: /images/20211104/87593193108a4d188d41fefb9e6a8ca4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N1bW1lcl9kZXc_size_16_color_FFFFFF_t_70 5]: /images/20211104/e6cde78753874d7fa3dd95ecba17c69b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N1bW1lcl9kZXc_size_16_color_FFFFFF_t_70 6]: /images/20211104/104e071289e64087a73ca6fab4275fdb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N1bW1lcl9kZXc_size_16_color_FFFFFF_t_70 7]: /images/20211104/4d7e2d11cf384fec9fad007788e3a391.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N1bW1lcl9kZXc_size_16_color_FFFFFF_t_70 8]: /images/20211104/9a4182bfe39e44e68bbbb6e089ccdfe0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N1bW1lcl9kZXc_size_16_color_FFFFFF_t_70 9]: /images/20211104/4656d9411f7448f2bc84160f660cbbd5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N1bW1lcl9kZXc_size_16_color_FFFFFF_t_70 10]: /images/20211104/98c76a3ce7c04aa5b4b166110ecd41af.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N1bW1lcl9kZXc_size_16_color_FFFFFF_t_70 11]: /images/20211104/11c5d3e8f6d64234a84fb6e2a993e7dd.png
[Link 1]: https://github.com/PasserQi/GISandPython/tree/master/2Arcpy/ArcGISTools/MOD04-L2
[Link 2]: https://github.com/PasserQi/GISandPython/archive/master.zip
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N1bW1lcl9kZXc_size_16_color_FFFFFF_t_70 12]: /images/20211104/8a2fc800c9c149408dc52b9ffb760425.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N1bW1lcl9kZXc_size_16_color_FFFFFF_t_70 13]: /images/20211104/91e9cf3c22e74637b10eec96fe91ab12.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N1bW1lcl9kZXc_size_16_color_FFFFFF_t_70 14]: /images/20211104/3e505582974a4be1bd5edb432e86cfa4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N1bW1lcl9kZXc_size_16_color_FFFFFF_t_70 15]: /images/20211104/bc395058193f47228dd3a9709cc247de.png
[20190807092605254.png]: /images/20211104/8899ca25231746988d15d59b205b7f32.png
[MODSI_MOD04_L2]: http://blog.sina.com.cn/s/blog_b8e25eb20102xe5p.html
[NASA]: http://modis-atmos.gsfc.nasa.gov/MOD04_L2/index.html
[MOD04_3K]: https://blog.csdn.net/u013930678/article/details/78552183