MXNet之gluonCV中关于路径的操作

àì夳堔傛蜴生んèń 2023-02-17 13:28 25阅读 0赞

GluonCV下载模型的源码地址（test.py）：

[https://gluon-cv.mxnet.io/model\_zoo/segmentation.html][https_gluon-cv.mxnet.io_model_zoo_segmentation.html]

### 说明 ###

记录这个，是因为每次使用gluoncv的模型，系统 总是默认地址为  
C:\\Users\\Administrator/.mxnet  
而C盘使用时间一长，就不堪重负，所以我把模型地址设为MXNET\_HOME。

### 首先：建立一个MXNET\_HOME的环境变量 ###

比如：MXNET\_HOME的环境变量的内容设置为地址 D:\\MXNet\_HOME，这个地址将是要下载的模型所放置的地方。不建的话，就要看有没有‘HOME’‘USERPROFILE’‘HOMEPATH’'HOMEDRIVE'等环境变量来确定最后的地址了。

### gluon-cv 是如何寻找路径的：OS和SYS中的路径操作 ###

gluonCV是通过gluoncv\\model\_zoo\\model\_store.py中的get\_model\_file函数来确认模型地址的。看一下其源码，不难理解其路径设置的方式了，  
例如，主程序是这样获取路径的，  
if prog is None:  
            prog = \_os.path.basename(\_sys.argv\[0\])

这里，\_sys.argv\[0\]就是你运行的主程序（假设名字叫test.py吧）的路径，如 ‘d:\\\\mxNet\\\\gluon\_cv\_tests\\\\ADE20K\\\\test.py'  
prog就是得到的文字名称，这里是'test.py'

os.environ 表示计算机当前的全部路径，例如下面这句，表示如果环境变量中有MXNET\_HOME这个地址的话，root就选用该地址

if 'MXNET\_HOME' in os.environ:  
        root = os.path.join(os.environ\['MXNET\_HOME'\], 'models')

如果没有MXNET\_HOME这个环境变量的话，就会通过os.path.expanduser寻找用户的默认目录，

root = os.path.expanduser(root)

其中，包括‘HOME’‘USERPROFILE’‘HOMEPATH’'HOMEDRIVE'等常见指定目录的参数。函数具体实现可参考expanduser函数源码。例如，假设用户的默认文档上当是：'c:\\\\documents\\\\user'，那么root的路径就是'c:\\\\documents\\\\user/.mxnet/models'。

函数expanduser源码如下，

def expanduser(path):
        """Expand ~ and ~user constructs.
    
        If user or $HOME is unknown, do nothing."""
        path = os.fspath(path)
        if isinstance(path, bytes):
            tilde = b'~'
        else:
            tilde = '~'
        if not path.startswith(tilde):
            return path
        i, n = 1, len(path)
        while i < n and path[i] not in _get_bothseps(path):
            i += 1
    
        if 'HOME' in os.environ:
            userhome = os.environ['HOME']
        elif 'USERPROFILE' in os.environ:
            userhome = os.environ['USERPROFILE']
        elif not 'HOMEPATH' in os.environ:
            return path
        else:
            try:
                drive = os.environ['HOMEDRIVE']
            except KeyError:
                drive = ''
            userhome = join(drive, os.environ['HOMEPATH'])
    
        if isinstance(path, bytes):
            userhome = os.fsencode(userhome)
    
        if i != 1: #~user
            userhome = join(dirname(userhome), path[1:i])
    
        return userhome + path[i:]

最后，  
    params\_path = os.path.join(root, file\_name + '.params')

设定最终模型参数的存放位置。例如，如果已经根据前面的设定建立了MXNET\_HOME的位置，那这个文件的位置就是，

'D:\\\\MXNet\_HOME\\\\models\\\\resnet101\_v1s-bd93a83c.params'

下面是一些路径操作的基本函数，贴到这里备查吧。

## 1. os.path模块 ##

> 3.4版本之前使用os.path模块，3.4版本之后建议使用pathlib模块

<table> 
 <thead> 
  <tr> 
   <th>方法</th> 
   <th>解释</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>path.join</td> 
   <td>拼接一个路径出来</td> 
  </tr> 
  <tr> 
   <td>path.exists</td> 
   <td>判断该路径是否存在</td> 
  </tr> 
  <tr> 
   <td>path.split</td> 
   <td>将路径切割成头和尾的一个元组</td> 
  </tr> 
  <tr> 
   <td>path.abspath</td> 
   <td>返回一个绝对路径</td> 
  </tr> 
  <tr> 
   <td>path.dirname</td> 
   <td>返回‘目录’</td> 
  </tr> 
  <tr> 
   <td>path.basename</td> 
   <td>返回路径的最后一部分</td> 
  </tr> 
 </tbody> 
</table>

## 2. pathlib模块 ##

from pathlib import Path  
Path中返回的是一个Path对象，而os.path中返回的是一个字符串。

### 2.1 目录操作 ###

初始化：

<table> 
 <thead> 
  <tr> 
   <th>属性</th> 
   <th>解释</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>parts</td> 
   <td>返回路径中的每一个部分</td> 
  </tr> 
  <tr> 
   <td>joinpath</td> 
   <td>连接多个字符串到Path对象中</td> 
  </tr> 
  <tr> 
   <td>parent</td> 
   <td>目录的逻辑父目录</td> 
  </tr> 
  <tr> 
   <td>parents</td> 
   <td>父目录序列，索引0是直接的父</td> 
  </tr> 
  <tr> 
   <td>name</td> 
   <td>目录中的最后一部分</td> 
  </tr> 
  <tr> 
   <td>suffix</td> 
   <td>目录中的最后一部分的扩展名</td> 
  </tr> 
  <tr> 
   <td>stem</td> 
   <td>目录的最后一个部分，没有后缀</td> 
  </tr> 
  <tr> 
   <td>suffixes</td> 
   <td>返回多个扩展名列表</td> 
  </tr> 
  <tr> 
   <td>with_suffix(suffix)</td> 
   <td>补充扩展名到路径的尾部，返回新的路径，扩展名存在则无效</td> 
  </tr> 
  <tr> 
   <td>with_name(name)</td> 
   <td>替换目录最后一个部分并返回一个新的路径</td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <thead> 
  <tr> 
   <th>属性</th> 
   <th>解释</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>cwd()</td> 
   <td>返回当前工作目录</td> 
  </tr> 
  <tr> 
   <td>home()</td> 
   <td>返回当前家目录</td> 
  </tr> 
  <tr> 
   <td>is_dir()</td> 
   <td>是否是目录</td> 
  </tr> 
  <tr> 
   <td>is_file()</td> 
   <td>是否是普通文件</td> 
  </tr> 
  <tr> 
   <td>is_symlink()</td> 
   <td>是否是软链接</td> 
  </tr> 
  <tr> 
   <td>is_socket()</td> 
   <td>是否是socket文件</td> 
  </tr> 
  <tr> 
   <td>is_block_device()</td> 
   <td>是否是块设备</td> 
  </tr> 
  <tr> 
   <td>is_absolute()</td> 
   <td>是否是绝对路径</td> 
  </tr> 
  <tr> 
   <td>resolve()</td> 
   <td>返回一个新的路径，该路径是当前Path的绝对路径，如果是软连接则被解析</td> 
  </tr> 
  <tr> 
   <td>absolute()</td> 
   <td>获取绝对路径，推荐使用resolve()</td> 
  </tr> 
  <tr> 
   <td>exists()</td> 
   <td>目录或者文件是否存在</td> 
  </tr> 
  <tr> 
   <td>rmdir()</td> 
   <td>删除空目录，没有提供判断目录为空的方法</td> 
  </tr> 
  <tr> 
   <td>touch()</td> 
   <td>创建一个文件</td> 
  </tr> 
  <tr> 
   <td>as_uri()</td> 
   <td>将路径解析成url</td> 
  </tr> 
  <tr> 
   <td>mkdir()</td> 
   <td>创建目录</td> 
  </tr> 
 </tbody> 
</table>

通配符匹配：

*  glob(pattern) 匹配给定的模式
 *  rglob(pattern) 匹配给定的模式，递归目录，返回一个生成器
 *  match(pattern) 模式匹配，成功返回True

查看文件或者目录属性信息

*  stat() 如同linux里面的stat命令
 *  lstst() 同stat()，但是如果是符号链接，就显示链接本身的信息

### 2.2 文件操作 ###

*  `open(mode='r', buffering=-1, encoding=None, errors=None, newline=None`如何内建的open，返回一个文件对象。
 *  read\_bytes() 以'rb'读取路径中对应的文件，并返回二进制流。
 *  read\_text() 以'rt'读取路径中对应的文件，并返回文本。
 *  write\_bytes(date) 以‘wb’方式写入数据到路径对应文件。
 *  write\_text(data) 以‘wt’方式写入数据到路径对应的文件。

## 3. shutil模块 ##

### 3.1 os模块 ###

*  os.name 返回操作系统
 *  os.uname() 显示当前操作系统的详细信息
 *  sys.platform 返回当前操作系统
 *  os.listdir() 返回目录内容的列表
 *  os.stat() 如何stat
 *  os.chmod() 修改文件的权限
 *  os.chown() 改变文件的属主，属组

### 3.2 shutil模块 ###

> shutil模块提供了对文件的高级操作，特别是针对文件的复制和移动。

*  copyfileobj(fsrc, fdst\[, length\]) 文件对象的复制，复制内容。
 *  copyfile(src, dst, \*, follow\_symlinks=True) 复制文件内容，不含元数据
 *  copymode() 仅仅复制权限
 *  copystat() 复制元数据，stat包含权限
 *  copy() 复制文件内容、权限和部分元数据，不包括创建时间和修改时间
 *  rmtree() 递归删除，同`rm -rf`一样
 *  move(src,dst,copy\_function=copy2) 递归移动文件，目录到目录路径。

[https_gluon-cv.mxnet.io_model_zoo_segmentation.html]: https://gluon-cv.mxnet.io/model_zoo/segmentation.html