PyTorch 1.0 中文官方教程：使用PyTorch编写分布式应用程序

àì夳堔傛蜴生んèń 2022-03-11 11:07 262阅读 0赞

> 译者：[firdameng][]

**作者**：[Soumith Chintala][]

在这个简短的教程中，我们将讨论PyTorch的分布式软件包。 我们将看到如何设置分布式设置，使用不同的通信策略，并查看包的内部部分。

## 开始 ##

PyTorch中包含的分布式软件包（即torch.distributed）使研究人员和从业人员能够轻松地跨进程和计算机集群并行化他们的计算。 为此，它利用消息传递语义，允许每个进程将数据传递给任何其他进程。 与多处理（torch.multiprocessing）包相反，进程可以使用不同的通信后端，并且不限于在同一台机器上执行。

开始我们需要能够同时运行多个进程。 如果您有权访问计算群集，则应使用本地sysadmin进行检查，或使用您喜欢的协调工具。 （例如，pdsh，clustershell或其他）为了本教程的目的，我们将使用单个机器并使用以下模板建立多个进程。

"""run.py:"""
    #!/usr/bin/env python
    import os
    import torch
    import torch.distributed as dist
    from torch.multiprocessing import Process
    
    def run(rank, size):
        """ Distributed function to be implemented later. """
        pass
    
    def init_processes(rank, size, fn, backend='tcp'):
        """ Initialize the distributed environment. """
        os.environ['MASTER_ADDR'] = '127.0.0.1'
        os.environ['MASTER_PORT'] = '29500'
        dist.init_process_group(backend, rank=rank, world_size=size)
        fn(rank, size)
    
    if __name__ == "__main__":
        size = 2
        processes = []
        for rank in range(size):

> [**阅读全文／改进本文**][Link 1]

[firdameng]: https://github.com/firdameng
[Soumith Chintala]: http://soumith.ch
[Link 1]: https://github.com/apachecn/pytorch-doc-zh/blob/master/docs/1.0/dist_tuto.md