Windows Azure Storage (21) 使用AzCopy工具，加快Azure Storage传输速度

朴灿烈づ我的快乐病毒、 2021-11-01 23:30 547阅读 0赞

**　　《[Windows Azure Platform 系列文章目录][Windows Azure Platform]》**

**　　Update 2016-09-28**

**　　想要在Azure云端，使用AzCopy工具，从Azure China 上海数据中心存储账户，把文件拷贝到另一个数据中心的存储账户里，速度达到600MB/S**

**　　请按照以下方法：**

**　　1.在微软云端，创建1台至少8Core的虚拟机。注意AzCopy在执行时是多线程的，Azure云端的虚拟机配置越高，则AzCopy性能越好**

**　　2.安装AzCopy**

**　　3.在执行AzCopy的时候，加参数 /SyncCopy**

**　　请注意：使用/SyncCopy的时候，会把Azure Storage 源地址的存储账号的数据，保存到AzCopy运行的虚拟机的内存里**

**　　所以千万不能在本地PC机上，运行AzCopy的时候执行 /SyncCopy，否则拷贝的性能很差**

**[http://azure.microsoft.com/en-us/documentation/articles/storage-use-azcopy/][http_azure.microsoft.com_en-us_documentation_articles_storage-use-azcopy]**

**　　Update 2015-11-13**

应要求，发一下关于Data Movement Library (DML) 的信息。

这个library 包含了AzCopy 核心逻辑，并且已经开源，用户可以比较轻易的集成它到已有的系统中来取得和AzCopy相同的性能，现在你可以从Nuget （[http://nuget.org/packages/Microsoft.Azure.Storage.DataMovement][http_nuget.org_packages_Microsoft.Azure.Storage.DataMovement] 安装，

或是到Github ([https://github.com/Azure/azure-storage-net-data-movement][https_github.com_Azure_azure-storage-net-data-movement] )下载源代码，请通过博客查看更多细节ACOM ([https://azure.microsoft.com/en-us/blog/introducing-azure-storage-data-movement-library-preview-2][https_azure.microsoft.com_en-us_blog_introducing-azure-storage-data-movement-library-preview-2]/)。

**　　Update 2015-05-26**

**　　如果在公司内部，使用代理服务器上网的话，需要修改AzCopy的配置，在AzCopy.exe的相同目录下，新增文件azcopy.exe.config**

**　　如果不需要Proxy，config文件配置如下：**

**　　****如果需要Proxy，config文件配置如下(在proxyaddress中，输入相应的代理服务器地址)**

参考资料：**[https://msdn.microsoft.com/en-us/library/aa903360(v=vs.71).aspx][https_msdn.microsoft.com_en-us_library_aa903360_v_vs.71_.aspx]**

**　　**在笔者之前的文档中，已经介绍了管理Azure Storage的常用工具，具体内容请参考：**[Windows Azure Storage (7) 使用工具管理Windows Azure Storage][Windows Azure Storage _7_ _Windows Azure Storage]**

文章内容主要分为3大内容：

**　　一.AzCopy命令行工具**

**　　二.Azure Blob Browser**

**　　三.结合AzCopy，加快Azure Cloud Service部署速度**

**　一.AzCopy命令行工具**

**　　**这里笔者强烈推荐另外一个工具AzCopy，不同于之前文章中介绍的工具。**AzCopy命令行工具，是经过优化的、高性能Azure Storage管理工具**，可以管理Azure Blob, File和Table。**笔者强烈使用这个工具，因为性能真的非常好。**

**　　AzCopy可同时管理Global Azure(windowsazure.com)和国内由世纪互联运维的Azure China。**

**　　**最新的下载地址是：**[http://aka.ms/downloadazcopy][http_aka.ms_downloadazcopy]。**我们下载后，直接安装运行。

**　　**如果你的操作系统是64位的话，安装路径在**%ProgramFiles(x86)%\\Microsoft SDKs\\Azure\\AzCopy**。如果你的操作系统是32位的话，安装路径在**%ProgramFiles%\\Microsoft SDKs\\Azure\\**

我们以管理员身份，运行cmd命令行。通过cd命令，进入到AzCopy.exe所在的目录。简单来说AzCopy的语法如下：

AzCopy /Source:<source> /Dest:<destination> /Pattern:<filepattern> [Options]

**　　感谢QQ群的网友提供信息，如果您的Azure文件名包含空格的话，文件名请用双括号引用。如下：**

AzCopy /Source:"<source>" /Dest:"<destination>" /Pattern:<filepattern> [Options]

**　　如果你用国内由世纪互联运维的Azure China：**

**　　Storage DNS:  https://\[yourstorageaccountname\].blob.core.windows.net/**

接下来，我举几个简单的例子。

**　　1.将本地计算某一文件，拷贝至Azure Storage中**

把本地的计算机C盘根目录下的helloworld.txt文件，复制到Azure Blob Storage：https://leizhangstorage.blob.core.windows.net\\files这个Container下。

该命令具体如下：

AzCopy /Source:C:\ /Dest:https://leizhangstorage.blob.core.windows.net/files /DestKey:[存储账号的Key] /Pattern:helloworld.txt

注意，如果上面的存储账号没有files这个container，则执行该命令的时候，**AzCopy会自动创建该container，但是创建的新的Container的访问属性为Off，即不允许匿名访问**

**　　2.将本地计算机某个目录下的所有文件和子目录，递归复制到Azure Storage中**

该命令如下：

AzCopy /Source:C:\myfolder /Dest:https://leizhangstorage.blob.core.windows.net/files /DestKey:[存储账号的Key] /S

**注意上面的命令行中，最后的参数是 /S**

假设C:\\myfolder下有以下目录：

C:\\myfolder\\abc.txt  
　　C:\\myfolder\\abc1.txt  
　　C:\\myfolder\\abc2.txt  
　　C:\\myfolder\\subfolder\\a.txt  
　　C:\\myfolder\\subfolder\\abcd.txt

则执行上述AzCopy命令后，上面所有5个文件都会被复制到Azure Storage中。

**3.将本地计算机某个目录下的所有文件，复制到Azure Storage中**

假设C:\\myfolder下有以下目录：

C:\\myfolder\\abc.txt  
　　C:\\myfolder\\abc1.txt  
　　C:\\myfolder\\abc2.txt  
　　C:\\myfolder\\subfolder\\a.txt  
　　C:\\myfolder\\subfolder\\abcd.txt

则执行以下命令：

AzCopy /Source:C:\myfolder /Dest:https://leizhangstorage.blob.core.windows.net/files /DestKey:[存储账号的Key]

**　注意上面的命令不同于命令3，最后是没有/S的**

这样，只有在C:\\myfolder根目录下的文件

C:\\myfolder\\abc.txt  
　　C:\\myfolder\\abc1.txt  
　　C:\\myfolder\\abc2.txt

才会被复制到Azure Storage Account下

**　　4.将文件从一个storage account保存至另外一个storage account**

假设我将storagefrom中container name为files的文件helloworld.txt，复制到storageto的同样的container name中去，则具体命令如下：

AzCopy /Source:https://storagefrom.blob.core.windows.net/files /Dest:https://storageto.blob.core.windows.net/files /SourceKey:[storagefrom的密钥] /DestKey:[storageto的密钥] /Pattern:helloworld.txt

**　　5.将一个Storage Account某个Container下的所有文件，复制到另外一个Storage Account下。**

假设我有一个Storage Account : storagefrom，里面有一个Container Name： public

我需要把上面的Container内容，复制到另外一个Storage Account里：storageto

**这里我用的是Azure China的Endpoint:**

AzCopy /Source:https://storagefrom.blob.core.chinacloudapi.cn/files /Dest:https://storageto.blob.core.chinacloudapi.cn/files /SourceKey:[storagefrom的密钥] /DestKey:[storageto的密钥] /S

其他命令，请参考Azure MSDN文档：**[http://azure.microsoft.com/en-us/documentation/articles/storage-use-azcopy/][http_azure.microsoft.com_en-us_documentation_articles_storage-use-azcopy]**

**Update 2015-10-18**

测试一下，在Azure China创建一台至少8Core的VM，**然后在Azure VM运行AzCopy**，从上海的Storage Account将VHD拷贝到北京的Storage Account，速度感人

**　　想要在Azure云端，使用AzCopy工具，从Azure China 上海数据中心存储账户，把文件拷贝到另一个数据中心的存储账户里，速度达到600MB/S**

**　　请按照以下方法：**

**　　1.在微软云端，创建1台至少8Core的虚拟机。注意AzCopy在执行时是多线程的，Azure云端的虚拟机配置越高，则AzCopy性能越好**

**　　2.安装AzCopy**

**　　3.在执行AzCopy的时候，加参数 /SyncCopy**

**　　请注意：使用/SyncCopy的时候，会把Azure Storage 源地址的存储账号的数据，保存到AzCopy运行的虚拟机的内存里(和Azure VM的硬盘无关)**

**　　所以千万不能在本地PC机上，运行AzCopy的时候执行 /SyncCopy，否则拷贝的性能很差**

**[http://azure.microsoft.com/en-us/documentation/articles/storage-use-azcopy/][http_azure.microsoft.com_en-us_documentation_articles_storage-use-azcopy]**

![127213-20151018165554913-1667750030.png][]

**　610.84 MB/S**

**　　二.Azure Blob Browser**

上面介绍的AzCopy毕竟是命令行工具，如果对命令行工具不熟悉的话，可以使用**[BlobBrowser][]**。

**　BlobBrowser是GUI图形界面的工具，背后其实是利用AzCopy命令行工具。**

我们安装完BlobBrowser之后，可以在界面上进行配置。如下图：

![081252184543623.png][]

上图中，我们点击Add，增加新的存储账号信息：

在弹出窗口中，输入以下信息:

![081258144701559.png][]

上图中，

-　　Name输入显示名称

-　　Storage Account Name，输入存储账号名称

-　　Storage Account Key，输入存储账号的密钥

**　　注意，如果使用国内由世纪互联运维的Azure，需要在上图中，勾选Use China Endpoint。**

登录完毕后，UI结构如下，左侧为本地文件目录，右侧为Azure Storage Container

![127213-20151015152902819-579767512.png][]

我们点击上图中的Upload就可以上传一个文件或者文件夹了

**　　注意：文件夹默认是递归复制的，也就是把文件夹下的多级目录都上传到Azure Storage中**

上传完毕后，点击右侧列表中的文件。右键属性。如下图：

![127213-20151015153221210-260374097.png][]

就可以看到这个文件的URL

![127213-20151015153235991-1389846683.png][]

**三.结合AzCopy，加快Azure Cloud Service部署速度**

**　　另外还要强烈推荐使用AzCopy，更新Windows Azure Cloud Service。**

笔者在之前的项目中，遇到某个合作伙伴的Cloud Service Package文件超过200M。开发团队抱怨使用Visual Studio 2013 Publish Project的时候速度非常慢，经过笔者仔细排查后发现，主要的原因是Visual Studio上传CSPKG和CSDEF的过程是单线程的，上传效率不高。

1.我们首先在Azure Management Portal，创建一个空的Cloud Service，如下图:

![072252027984290.png][]

2.然后使用上面介绍的AzCopy，将CSPKG和CSDEF文件，复制到Azure Blob中。步骤略

3.然后我们回到Management Portal，找到步骤1中创建LeiPaaS项目，选择Configure，并点击Upload A New Production Deployment。如下图:

![072255261885052.png][]

4.在弹出的窗口中，PACKAGE和CONFIGURATION都选择From Storage，浏览到我们在步骤2中上传的CSPKG和CSDEF文件。

![072257230481652.png][]

这样就会极大的加快部署Cloud Service的速度。

本博-三石Blog(下文简称本博)，在本博客文章结尾处右下脚未注明转载、来源、出处的作品(内容)均为本博原创，本站对于原创作品内容对其保留版权，请勿随意转载，如若真有需要的朋友可以发Mail联系我；转载本博原创作品(内容)也必须遵循“署名-非商业用途-保持一致”的创作共用协议，请务必以文字链接的形式标明或保留文章原始出处和博客作者(Lei Zhang)的信息，关于本博摄影作品请务必注意保留(www.cnblog.com/threestone)等相关水印版权信息，否则视为侵犯原创版权行为；本博谢绝商业网站转载。版权所有，禁止一切有违中华人民共和国著作权保护法及相关法律和本博(法律)声明的非法及恶意抄袭。

转载于:https://www.cnblogs.com/threestone/p/4486392.html

[Windows Azure Platform]: http://www.cnblogs.com/threestone/archive/2012/01/06/2382322.html
[http_azure.microsoft.com_en-us_documentation_articles_storage-use-azcopy]: http://azure.microsoft.com/en-us/documentation/articles/storage-use-azcopy/
[http_nuget.org_packages_Microsoft.Azure.Storage.DataMovement]: http://nuget.org/packages/Microsoft.Azure.Storage.DataMovement
[https_github.com_Azure_azure-storage-net-data-movement]: https://github.com/Azure/azure-storage-net-data-movement
[https_azure.microsoft.com_en-us_blog_introducing-azure-storage-data-movement-library-preview-2]: https://azure.microsoft.com/en-us/blog/introducing-azure-storage-data-movement-library-preview-2
[https_msdn.microsoft.com_en-us_library_aa903360_v_vs.71_.aspx]: https://msdn.microsoft.com/en-us/library/aa903360%28v=vs.71%29.aspx
[Windows Azure Storage _7_ _Windows Azure Storage]: http://www.cnblogs.com/threestone/archive/2012/01/23/2328878.html
[http_aka.ms_downloadazcopy]: http://aka.ms/downloadazcopy
[127213-20151018165554913-1667750030.png]: /images/20211101/daf914c3778440008de81866d0c3e54f.png
[BlobBrowser]: http://files.cnblogs.com/files/threestone/BlobBrowser-1.03.zip
[081252184543623.png]: /images/20211101/4aedd7835e2e4a3fbbbe00d0f59c4261.png
[081258144701559.png]: /images/20211101/b250d07769b04783a09a3c5a6281ac9f.png
[127213-20151015152902819-579767512.png]: /images/20211101/96c221106369400a815fdf556ff59a7b.png
[127213-20151015153221210-260374097.png]: /images/20211101/0893d6651af94351af6d2467b60f34e8.png
[127213-20151015153235991-1389846683.png]: /images/20211101/613c7a104f5b4c6b89b475df64d13fbe.png
[072252027984290.png]: /images/20211101/46a5a2c7ead341d2a105bd38519026ef.png
[072255261885052.png]: /images/20211101/c897cf003ed640668d3f41ce5a21bfcc.png
[072257230481652.png]: /images/20211101/0ae6ee1a4ac34903a6f2fbf34efcde33.png