C/C++编程：curl学习之命令行基础

短命女 2022-10-23 12:56 186阅读 0赞

# 命令行选项 #

命令行选项传递信息，让curl了解您希望它如何运行。

## 短选项 ##

*  写法是 `-选项`

比如，你可以使用-v选项让curl打开verbose模式:

curl -v http://example.com

要同时要求verbose模式和curl遵循HTTP重定向:

curl -vL http://example.com

curl中的命令行解析器总是解析整行，你可以把选项放在任何你喜欢的地方：

curl http://example.com -Lv
    curl -v -L http://example.com

## 长选项 ##

*  单字母选项很方便，因为它们可以快速书写和使用，但由于字母表中的字母数量有限，需要控制的东西很多，所以并不是所有的选项都像那样可用。因此，将为这些选项提供长选项名。
 *  此外，为了方便并使脚本更具可读性，大多数短选项都有较长的名称别名。
 *  写法是`-- 选项`。

比如，使用long选项格式请求详细模式如下所示：

curl --verbose http://example.com

使用long格式请求HTTP重定向如下:

curl --verbose --location http://example.com

## 带参选项 ##

*  并不是所有的选项都是简单的布尔标记，用于启用或禁用特性。
 *  对于其中一些，您需要传递数据，比如用户名或文件路径。
 *  这时候需要使用带参选项。

例如，如果你想发送一个任意字符串的数据在一个HTTP POST到服务器：

curl -d arbitrary http://example.com     // 带空格 
    curl --data arbitrary http://example.com  // 长选项 
    curl -darbitrary http://example.com   // 不带空格

## 带空格的参数 ##

*  有时您希望将参数传递给选项，而该参数包含一个或多个空格。
 *  例如，您希望将curl使用的user-agent字段设置为I am your father，包括这三个空格。然后，在命令行中将字符串传递给curl时，需要在字符串周围加上引号。具体使用的引号取决于你的shell/命令提示符，但通常在大多数地方使用双引号：

curl -A "I am your father" http://example.com

*  要使字符串本身包含双引号，这时您可能需要使用单引号(除了在Windows上，单引号的工作方式不同)：

curl -d '{ "name": "Darth" }' http://example.com

*  或者，如果想避免单引号的情况，可以通过文件将数据发送到curl，这样就不需要额外的引号。假设我们将包含上述数据的文件称为“json”:

curl -d @json http://example.com

## 关闭选项 ##

*  对于开启某项功能的选项，也有一种关闭它的方法。然后使用该选项的长形式，在名称前加一个no前缀。
 *  例如，关闭verbose模式:

curl --no-verbose http://example.com

# URLs #

## URLs ##

*  curl之所以称为curl，是因为其名称中的子字符串是URL。它对URL进行操作。URL是我们通常用于web地址字符串的名称，就像我们经常看到的以http://为前缀或www为开头的字符串一样。
 *  严格地说，URL是它们以前的名称。URI(统一资源标识符)是更现代和更正确的名称。它们的语法在RFC 3986中定义。
 *  当curl接受“URL”作为输入时，它实际上就是一个“URI”。curl理解的大多数协议都有一个对应的URI语法文档，用来描述特定的URI格式是如何工作的
 *  curl假设您为它提供了一个有效的URL，并且它只对格式进行有限的检查，以提取它认为执行操作所需的信息。例如，您很可能在URL中传入非法字符而curl不注意或不关心，它只会传递这些字符。

### 协议Scheme ###

*  url以“scheme”开头，这是http://部分的正式名称。它告诉我们URL使用的是哪种协议。
 *  方案必须是这个版本的curl支持的已知方案，否则它将显示错误消息并停止。
 *  此外，方案必须既不以空格开头，也不包含任何空格。

### The scheme separator ###

*  scheme标识符通过`://`序列与URL的其余部分分开。
 *  存在只有一个斜杠的URL格式，但是curl不支持它们中的任何一种。关于斜杠的数量，还有两个额外的注意事项需要注意:
 *  curl允许一些非法语法，并尝试在内部纠正它;因此，它也可以理解和接受带有一个或三个斜杠的url，即使它们实际上不是格式正确的url。curl之所以这样做，是因为浏览器开始了这种实践，因此它导致了这样的url不时地在野外被使用。
 *  `file://` URLs被写成`file://<hostname>/<path>`，但是唯一可以使用的主机名是localhost, 127.0.0.1或一个空白(什么都不可以):

file://localhost/path/to/file
    file://127.0.0.1/path/to/file
    file:///path/to/file

*  特别注意上面的第三个例子(file:///path/to/file)。路径前面有三个斜杠。这也是一个常见的错误，浏览器允许用户使用错误的语法，所以Windows上的curl也允许这种错误的格式:

file://X:/path/to/file

### 省略协议 ###

*  为了方便起见，curl还允许用户从url中省略scheme部分。然后它根据主机名的第一部分猜测使用哪个协议。这种
 *  猜测是基本的，因为它只检查主机名的第一部分是否与一组协议中的一个匹配，并假定您打算使用该协议。
 *  这种启发式方法基于这样一个事实:服务器传统上是这样命名的。
 *  通过这种方式检测的协议包括FTP、DICT、LDAP、IMAP、SMTP和POP3。
 *  无方案URL中的任何其他主机名都将使curl默认为HTTP。
 *  可以使用——proto-default选项将默认协议修改为HTTP以外的协议。

### 用户名和密码 ###

*  在这个方案之后，可以嵌入一个可能的用户名和密码。这种语法的使用现在通常是不受欢迎的，因为您很容易在脚本或其他方式中泄漏这些信息。例如，使用给定的名称和密码列出FTP服务器的目录：

curl ftp://user:password@example.com/

*  URL中是否存在用户名和密码完全是可选的。curl还允许在URL之外用普通的命令行选项提供这些信息。

### 主机名或地址 ###

*  当然，URL的主机名部分只是一个可以解析为数字IP地址或数字地址本身的名称。指定数字地址时，IPv4地址使用点分格式:

curl http://127.0.0.1/

*  对于IPv6地址，数字版本需要在方括号内:

curl http://[::1]/

*  当使用主机名时，通常使用系统的解析器函数将主机名转换为IP地址。这通常让系统管理员在/etc/hosts文件(或等效文件)中提供本地名称查找。

### 端口 ###

*  每个协议都有一个curl将使用的“默认端口”，除非给出了指定的端口号。可选端口号可以在主机名部分之后的URL中提供，用冒号表示，端口号用十进制表示。例如，在端口8080上请求HTTP文档:

curl http://example.com:8080/

*  名称指定为IPv4地址:

curl http://127.0.0.1:8080/

*  以IPv6地址给出的名称:

curl http://[fdea::1]:8080/

### 路径 ###

*  每个URL都包含一个路径。如果没有给出，默认为`/`。
 *  路径被发送到指定的服务器，以准确地识别请求的资源或将提供的资源。
 *  路径的具体使用取决于协议。例如，从FTP服务器获取默认匿名用户的文件自述:

curl ftp://ftp.example.com/README

*  对于具有目录概念的协议，URL以末尾的斜杠结尾意味着它是一个目录而不是一个文件。因此，从FTP服务器请求目录列表暗含这样的斜杠:

curl ftp://ftp.example.com/tmp/

### FTP类型 ###

*  这不是一个广泛使用的特性。
 *  标识FTP服务器上文件的URL有一个特殊特性，允许您告诉客户机(本例是curl)资源的文件类型、这是因为FTP有点特殊，它可以更改传输模式，从而与使用其他模式不同的处理文件
 *  通过将`;type=A`附加到URL，可以告诉curl FTP资源是一个`ASCII`类型。用ASCII从example.com的根目录获取foo文件可以这样做:

curl "ftp://example.com/foo;type=A"

*  当curl默认为FTP的二进制传输时，URL格式也允许你用type=I指定二进制类型:

curl "ftp://example.com/foo;type=I"

*  最后，如果传递的类型是D，你可以告诉curl这个资源是一个目录:

curl "ftp://example.com/foo;type=D"

*  …这可以作为一种替代格式，而不是像上面提到的那样以末尾的斜杠结束路径。

### 片段Fragment ###

url提供了一个片段部分。这通常被看作是一个哈希符号(\#)和浏览器中网页中特定名称的名称。当URL传递给curl时，它很好地支持fragments，但是fragment部分实际上从来不会通过网络发送，所以不管它是否存在，都不会对curl的操作产生影响。

### 浏览器的地址栏 ###

*  重要的是要认识到，当您使用现代web浏览器时，其主窗口顶部的地址栏往往不使用url，甚至不使用uri。
 *  他们实际上主要是利用IRIs，uri的超集
 *  地址栏是一个非常简单的接口，供人们输入和查看类似uri的字符串。
 *  有时候，在浏览器的地址栏中看到的内容与传入curl的内容之间的差异是显著的。

## URLs与选项 ##

*  如上所述，curl支持数百个命令行选项，还支持无限数量的url。如果您的shell或命令行系统支持它，那么您可以传递给curl的命令行实际上没有长度限制。
 *  curl将首先解析整个命令行，应用所使用的命令行选项，然后逐个浏览url(按从左到右的顺序)来执行操作。
 *  curl将为其对最后使用的URL的操作返回一个退出代码。相反，如果您希望curl在失败的URL集中的第一个URL出现错误时退出，则使用`--fail-early`选项

## 每个URL单独的选项 ##

*  在前面的小节中，我们描述了curl如何始终解析整个命令行中的所有选项，并将这些选项应用于它传输的所有url。
 *  curl还提供了一个选项(`-:, --next`)，该选项在一组选项和url之间插入一个边界，它将为这些选项应用这些选项。
 *  当命令行解析器找到`--next`选项时，它将下列选项应用到下一组url。因此，`--next`选项充当一组选项和url之间的分隔符。您可以使用任意多的下一个选项。

例如，我们做一个HTTP GET到一个URL并遵循重定向，然后我们做第二个HTTP POST到一个不同的URL，然后我们用一个HEAD请求到第三个URL进行四舍。在一个命令行中:

curl --location http://example.com/1 --next
      --data sendthis http://example.com/2 --next
      --head http://example.com/3

如果没有命令行上的`--next`选项，尝试类似的事情将会生成一个非法的命令行，因为curl将尝试合并POST和HEAD:

Warning: You can only select one HTTP request method! You asked for both POST
    Warning: (-d, --data) and HEAD (-I, --head).

## 连接重用 ##

*  即使在高带宽网络中，建立TCP连接，特别是TLS连接也是一个缓慢的过程。
 *  记住curl在内部有一个连接池，它可以使以前使用的连接在使用后保持一段时间的活动，以便后续对相同主机的请求可以重用已经建立的连接
 *  当前，只有当curl工具允许时，它们才会一直存在。这是尝试在同一个命令行中完成多个传输，而不是允许几个独立的curl命令行调用的一个很好的理由

## 传输是并行的吗 ##

*  从version 7.66.0开始，curl提供了-Z(或——parallel)选项，该选项指示curl尝试以并行方式执行指定的传输。当启用此选项时，curl将同时执行大量传输，而不是串行执行。它将同时进行多达50次转账，一旦其中一次转账完成，下一次就会启动。
 *  如果您想从不同的来源下载许多文件，其中一些可能很慢，一些很快，这可以极大地提高速度。
 *  如果50个并行传输对您来说是错误的，那么——parallel-max选项也允许您更改它。
 *  当然，显示单个传输的文件传输进度的普通进度表对并行传输并不那么有用，所以当curl执行并行传输时，它将显示一个不同的进度表，在一行中显示关于当前正在进行的所有传输的信息。

## 通配符 ##

*  有时，您希望获得大部分相同的url范围，在请求之间只更改其中的一小部分。它可能是一个数字范围，也可能是一组名称。curl提供了一种“globbing”方法，可以轻松地指定许多这样的url。
 *  通配符使用保留符号\[\]和\{\}，这些符号通常不能作为合法URL的一部分(数字IPv6地址除外，但curl可以很好地处理它们)。如果globbing妨碍你，使用`-g，——globoff`禁用它。
 *  当从命令行提示符调用时使用\[\]或\{\}序列时，您可能必须将完整的URL放在双引号中，以避免shell干扰它。这也适用于其他特殊字符，例如’&’，’?”和“\*”。
 *  虽然curl中大多数与传输相关的功能是由libcurl库提供的，但URL globbing特性不是!

### 数值范围 ###

你可以用\[N- m\]语法要求一个数值范围，其中N是起始索引，它一直到并包括m。例如，你可以要求100张以数字命名的图片:

curl -O "http://example.com/[1-100].png"

而且它甚至可以做零前缀的范围，比如如果数字一直是三位数:

curl -O "http://example.com/[001-100].png"

或者，您可能只想要偶数的图像，所以您还告诉curl一个步长计数器。这个例子的范围从0到100，增量为2:

curl -O "http://example.com/[0-100:2].png"

### 字母范围 ###

curl还可以做字母范围，比如当一个站点有名为a到z的部分时:

curl -O "http://example.com/section[a-z].html"

### 一个列表 ###

有时候这些部分并没有遵循这样一个简单的模式，你可以自己给出完整的列表，但是用花括号代替括号来表示范围:

curl -O "http://example.com/{one,two,three,alpha,beta}.html"

### 组合 ###

您可以在同一个URL中使用多个globs，这将使curl在这些globs上进行迭代。为了下载Ben, Alice和Frank的图片，在分辨率分别为100 x 100和1000 x 1000的情况下，命令行可以是这样的:

curl -O "http://example.com/{Ben,Alice,Frank}-{100x100,1000x1000}.jpg"

或者下载一个棋盘的所有图像，用两个坐标0到7索引:

curl -O "http://example.com/chess-[0-7]x[0-7].jpg"

当然，你可以将范围和级数混合。获取web服务器和邮件服务器一周的日志:

curl -O "http://example.com/{web,mail}-log[0-6].txt"

### 输出通配符变量 ###

*  在本章前面的所有globbing示例中，我们都选择使用`-O / --remote-name`选项，这使得curl使用所使用的**URL的文件名部分**保存目标文件。
 *  有时这还不够。您正在下载多个文件，也许您想将它们保存在不同的子目录中，或者以不同的方式创建保存的文件名。当然，curl对于这些情况也有一个解决方案:**输出文件名变量**。
 *  URL中使用的每个“glob”都有一个单独的变量。它们被引用为`#[num]`——这意味着单个字母’\#'后跟glob数字，第一个glob以1开始，最后一个glob以1结束。

保存两个不同网站的主页:

curl "http://{one,two}.example.com" -o "file_#1.txt"

在子目录中保存两个globs的命令行输出;

curl "http://{site,host}.host[1-5].example.com" -o "subdir/#1_#2"

## 密码 ##

curl提供了几种方式来接收用户的密码，然后将它们传递给其他对象或使用它们。

最基本的curl身份验证选项是`-u / --user`。它接受一个参数，参数是用户名和密码，冒号分隔。

$ curl -u alice:12345 http://example.com/

您还可以使用-u选项而不指定密码，然后curl在运行时将提示用户输入密码。