linux libre ftp下载,WGET下载https链接及WGET命令的详解

曾经终败给现在 2023-01-21 08:29 1阅读 0赞

使用wget下载https链接：

\# wget -r -np -nd --accept=gz --no-check-certificate https://www.xxx.com/dir/ --http-user=username --http-password=password

下载'dir'目录下的所有gz文件

\-np 没有父目录

\-nd 不要构建本地目录结构

\--accept=gz 只下载gz文件

HTTPS (SSL/TLS) Options(HTTPS (SSL) 参数选项)

\--certificate=file

可选的客户段端证书

\--private-key=file

对此证书可选的“密钥文档”

\--private-key-type=type

对此证书可选的“密钥类型“

\--egd-file=file

EGD socket 文档名

\--ca-directory=directory

CA 散列表所在的目录

\--ca-certificate=file

包含 CA 的文档

\--certificate-type=\[ PEM(默认)，DER \]

Client-Cert 类型：PEM，DER

\--no-check-certificate

不用检查服务器的证书

\--secure-protocol=\[ auto，SSLv2，SSLv3，TLSv1 \]

选择 SSL 协议：auto，SSLv2，SSLv3，TLSv1

FTP Options(FTP参数选项)

\--ftp-user

登录ftp的用户名(注意：最好方法是在.netrc或.wgetrc文件中定义)

\--ftp-password

登录ftp的密码(注意：最好方法是在.netrc或.wgetrc文件中定义)

\--no-remove-listing

不删除“.listing” 文档

\--no-glob

关闭所有通配符的ftp文档名

\--no-passive-ftp

禁用“被动”传输模式

\--retr-symlinks

在递归模式中，下载链接所指示的文档(排除连接目录的)

1. 下载单个文件

wget url + filename

下载过程中可以看到四项信息

已经下载的比例，已经下载的大小，当前的下载速度，剩余的时间

2. 使用一个大写O做参数表示另存为

wget -O save\_name url

这种方法适用于对应链接中没有显式文件名的情况。

3. 指定下载速率

wget --limit-rate

wget -limit-rate=200k url + filename

4. 断点下载

wget -c完成未完成的下载

下载一半时可以停下来，ctrl+c停顿，继续下载可以加入一个-c参数。

注意：如果不加入-c，那么下载的文件会多出一个.1的后缀。

5. 后台下载

加上一个-b参数

wget -b url/filename为后台下载，下载经过写入到wget-log文件中。

用tail -f wget-log查看下载日志

6. 模拟在浏览器下下载

有的网站不允许客户在非浏览器环境下下载。使用--user-agent来设置

wget --user-agent="Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.3) Gecko/2008092416 Firefox/3.0.3" URL-TO-DOWNLOAD

7. 测试下载链接

方法:使用--spider

试图做计划下载时候，需要先检查一下下载链接是否有效。

wget --spider DOWNLOAD-URL

如果返回OK，则表示下载链接是正确的

8、增加尝试次数

方法：--tries=1000

如果网速有问题，下载大文件的时候可能会发生错误，

默认wget尝试20次链接。

如果尝试75次，可以

wget --tires=75 DOWNLOAD-URL

9、下载多个文件使用wget -i

将多个下载链接写入到一个download-file-list.txt文件中，而后用

wget -i download-file-list.txt

10、下载整站

方法：用--mirror参数

当你要下载一个完整站点并实现本地浏览的时候，

wget --mirror -p --convert-links -P ./LOCAL-DIR WEBSITE-URL

参数讲解：

\--mirror：设置这个参数用来建立本地镜像

\-p：下载所有html文件适合显示的元素

\--convert-links：下载完成后，将文档链接都转换成本地的

\-P ./LOCAL-DIR：保存所有的文件和目录到指定文件夹下

11、下载时候禁止下载指定类型的文件

例如下载站点时候，不打算下载gif动画图片。

wget --reject=gif WEBSITE-TO-BE-DOWNLOADED

12、记录下载日志

方法：使用小写字母o

wget -o xx.html.log -O xx.html "http://ip138.com/ips.asp?ip=58.251.193.137&action=2"

检查一下日志：

\[root@localhost opt\]\# cat xx.html.log

\--2010-07-12 11:57:22-- http://ip138.com/ips.asp?ip=58.251.193.137&action=2

正在解析主机 ip138.com... 221.5.47.136

Connecting to ip138.com|221.5.47.136|:80... 已连接。

已发出 HTTP 请求，正在等待回应... 200 OK

长度：7817 (7.6K) \[text/html\]

Saving to: \`xx.html'

0K ....... 100% 65.5K=0.1s

2010-07-12 11:57:22 (65.5 KB/s) - \`xx.html' saved \[7817/7817\]

13、是第9条的增强版。可以限制下载容量

wget -Q5m -i FILE-WHICH-HAS-URLS

当下载的文件达到5兆的时候，停止下载。

注意：如果不是对一个文件下载链接清单，对单个文件，这个限制不会生效的。

14、和第11条正好相反，

这条技巧是讲述如何仅仅下载指定类型的文件

从一个网站中下载所有的pdf文件

wget -r -A.pdf http://url-to-webpage-with-pdfs/

15、使用wget完成ftp下载

匿名ftp下载类似于http下载

wget ftp-url即可。

如果是需要输入用户名和密码，则是

wget --ftp-user=USERNAME --ftp-password=PASSWORD DOWNLOAD-URL

发表评论取消回复

表情：

评论列表（有 0 条评论，1人围观）

还没有评论，来说两句吧...

相关阅读

相关 linux libre ftp下载,WGET下载https链接及WGET命令的详解

使用wget下载https链接： \ wget -r -np -nd --accept=gz --no-check-certificate https://www.xxx.c

曾经终败给现在/ 2023年01月21日 08:29/ 0 赞/ 2 阅读

相关 shell命令：wget下载文件

命令格式： wget [参数] [URL地址] -------------------- 实例1：使用wget下载单个文件 wget https

た入场券/ 2022年08月28日 12:50/ 0 赞/ 320 阅读

相关 wget下载FTP目录

wget -nH --cut-dirs=\ -m --ftp-user=\ --ftp-password=\ ftp://\.\.\.\/\ \-nH：不创建以主机名命名的目

野性酷女/ 2022年08月02日 10:49/ 0 赞/ 724 阅读

相关 wget 文件下载

http://linuxtools-rst.readthedocs.io/zh\_CN/latest/tool/wget.html 17. wget 文件下载 Linu

╰+攻爆jí腚メ/ 2022年07月16日 15:15/ 0 赞/ 303 阅读

相关 wget下载JDK

通过以下命令进行下载: wget --no-cookies --no-check-certificate --header "Cookie: gpw_e24=http

冷不防/ 2022年05月24日 12:34/ 0 赞/ 320 阅读

相关 Linux 使用wget 命令下载JDK的方法

Oracle官网上下载jdk，需要点击accept licence的才能下载，使用下面的命令，直接可以下载。 wget --no-check-certificate

超、凢脫俗/ 2022年05月12日 06:54/ 0 赞/ 411 阅读

相关 wget下载文件

Wget The non-interactive network downloader. 非交互网络下载器。 wget [option]... [

墨蓝/ 2022年03月12日 05:42/ 0 赞/ 366 阅读

相关 wget下载FTP的文件

在Linux中我们怎么样实现wget来下载文件下面例子下载所有的py结尾的文件到当前目录 wget [ftp://anymous:anymous@42.51.152.

清疚/ 2021年12月17日 11:11/ 0 赞/ 421 阅读

相关 wget 命令的使用：HTTP文件下载、FTP文件下载

本文链接: [https://blog.csdn.net/xietansheng/article/details/84669662][https_blog.csdn.net_x

蔚落/ 2021年09月22日 15:18/ 0 赞/ 1104 阅读

相关 linux wget下载整个ftp目录(含子目录)

wget -nH -m --ftp-user=your_username --ftp-password=your_password ftp://your_ftp_hos

ゝ一世哀愁。/ 2021年07月29日 02:30/ 0 赞/ 668 阅读