流量复制工具--GoReplay使用笔记

旧城等待， 2023-06-06 10:47 11阅读 0赞

### GoReplay简介 ###

GoReplay是一款开源的用来进行http流量录制与回放的工具，因此可以通过它来进行线上真实流量录制然后将录制的流量回放到测试环境用来确认新开发的功能是否有问题，这样可以极大的提高新功能发布的信心，不得不说是一款神器。

它的Github主页如下：https://github.com/buger/goreplay

### GoReplay安装 ###

#下载包
     wget https://github.com/buger/goreplay/releases/download/v1.0.0/gor_1.0.0_x64.tar.gz
     
     #解压
     tar xvf gor_1.0.0_x64.tar.gz

### 流量捕获 ###

运行如下命令:

sudo ./gor --input-raw :8000 --output-stdout

这命令表示: 监听所有活跃于开放的端口 8000, 并且将它 log 到标准输出。  
这时, 你就可以在浏览器中访问 http://localhost:8000 , 或使用 curl http://localhost:8000 就可以看到它的输出了。  
注意: 默认情况下, GoReplay 不会跟踪响应, 你可以这样子开启这个功能: --output-http-track-response。

### 回放 ###

sudo ./gor --input-raw :8000 --output-http="http://localhost:8001"

就可以将 8000 端口的流量, 重放到 8001 端口的服务了.

#### 保存到文件,然后再回放 ####

保存到文件:
    sudo ./gor --input-raw :8000 --output-file=requests.gor
    回放
    ./gor --input-file requests.gor --output-http="http://localhost:8001"

#### 回放到多个站点 ####

sudo ./gor --input-tcp :28020 --output-http "http://staging.com"  --output-http "http://dev.com"

#### 分割流量 ####

按轮询方式
    sudo ./gor --input-raw :80 --output-http "http://staging.com"  --output-http "http://dev.com" --split-output true

### 跟踪重定向 ###

gor --input-tcp replay.local:28020 --output-http http://staging.com --output-http-redirects 2

> –output-http-redirects 2 表示最多跟踪2层的重定向

### HTTP 超时设置 ###

gor --input-tcp replay.local:28020 --output-http http://staging.com --output-http-timeout 30s

### 性能测试 ###

gor --input-file "requests.gor|200%" --output-http "staging.com"

表示放大2倍速度来回放.

查看统计信息

--stats --output-http-stats

#### 循环重放 ####

--input-file-loop

### 速率限制 ###

##### 绝对值 #####

gor --input-tcp :28020 --output-http "http://staging.com|10"

表示最大不超过 10 QPS

##### 百分比 #####

gor --input-raw :80 --output-tcp "replay.local:28020|10%"

不超过原流量的 10%

### 过滤请求 ###

#### url 正则 ####

# 表示只允许 /api 的请求
    gor --input-raw :8080 --output-http staging.com --http-allow-url /api
    # 除 /api 之外的请求
    gor --input-raw :8080 --output-http staging.com --http-disallow-url /api

> –http-allow-url 表示允许的url  
> –http-disallow-url 表示禁止

#### 基于方法 ####

gor --input-raw :80 --output-http "http://staging.server" --http-allow-method GET --http-allow-method OPTIONS

表示只允许 GET , OPTIONS 的请求

#### 基于请求头 ####

gor --input-raw :8080 --output-http staging.com --http-allow-header api-version:^1\.0\d
    gor --input-raw :8080 --output-http staging.com --http-disallow-header "User-Agent: Replayed by Gor"

#### 重写请求 ####

gor --input-raw :8080 --output-http staging.com --http-rewrite-url /v1/user/([^\\/]+)/ping:/v2/user/$1/ping

#### url 参数过滤 ####

gor --input-raw :8080 --output-http staging.com --http-set-param api_key=1

#### 设置 HEADER ####

gor --input-raw :80 --output-http "http://staging.server" --http-header "User-Agent: Replayed by Gor" --http-header "Enable-Feature-X: true"

#### 导出到 ES ####

./gor --input-raw :8000 --output-http http://staging.com  --output-http-elasticsearch localhost:9200/gor

Es的格式

type ESRequestResponse struct { 
    	ReqURL               string `json:"Req_URL"`
    	ReqMethod            string `json:"Req_Method"`
    	ReqUserAgent         string `json:"Req_User-Agent"`
    	ReqAcceptLanguage    string `json:"Req_Accept-Language,omitempty"`
    	ReqAccept            string `json:"Req_Accept,omitempty"`
    	ReqAcceptEncoding    string `json:"Req_Accept-Encoding,omitempty"`
    	ReqIfModifiedSince   string `json:"Req_If-Modified-Since,omitempty"`
    	ReqConnection        string `json:"Req_Connection,omitempty"`
    	ReqCookies           string `json:"Req_Cookies,omitempty"`
    	RespStatus           string `json:"Resp_Status"`
    	RespStatusCode       string `json:"Resp_Status-Code"`
    	RespProto            string `json:"Resp_Proto,omitempty"`
    	RespContentLength    string `json:"Resp_Content-Length,omitempty"`
    	RespContentType      string `json:"Resp_Content-Type,omitempty"`
    	RespTransferEncoding string `json:"Resp_Transfer-Encoding,omitempty"`
    	RespContentEncoding  string `json:"Resp_Content-Encoding,omitempty"`
    	RespExpires          string `json:"Resp_Expires,omitempty"`
    	RespCacheControl     string `json:"Resp_Cache-Control,omitempty"`
    	RespVary             string `json:"Resp_Vary,omitempty"`
    	RespSetCookie        string `json:"Resp_Set-Cookie,omitempty"`
    	Rtt                  int64  `json:"RTT"`
    	Timestamp            time.Time
    }

### HTTPS 的支持 ###

--input-tcp-secure --input-tcp-certificate ./cert.pem --input-tcp-certificate-key ./key.pem --output-tcp-secure

### 常用命令 ###

-input-raw 抓取指定端口的流量 gor --input-raw :8080
    -output-stdout 打印到控制台
    -output-file 将请求写到文件中 gor --input-raw :80 --output-file ./requests.gor
    -input-file 从文件中读取请求，与上一条命令呼应 gor --input-file ./requests.gor
    -exit-after 5s 持续时间
    -http-allow-url url白名单，其他请求将会被丢弃
    -http-allow-method 根据请求方式过滤
    -http-disallow-url 遇上一个url相反，黑名单，其他的请求会被捕获到

> 要 0.16.1 及以上版本

更多参考官方文档:https://github.com/buger/goreplay/wiki/Getting-Started  
http://www.likecs.com/show-18920.html