为何Android 7.0 以上Charles和Fiddler无法抓取HTTPS包？

我就是我 2021-09-24 16:26 609阅读 0赞

对于之前的文章：[**Fiddler对安卓App抓包(逍遥模拟器APP)**][Fiddler_App_APP]

但是，升级了 targetSdkVersion 到 28 后发现在 Android 7.0 以上机型 Charles 抓取 https 包时显示找不到证书，但是 Android 6.0 机型还是可以正常抓包。原因是因为从 Android 7.0 开始，默认的网络安全性配置修改了

**解决方法如下：**

### 现象：android7.0以上的手机https抓包失败(安装了https证书也不行) ###

### 原因：android7.0+的版本新增了证书验证(系统证书)，具体如下： ###

1、Android 6.0（API 23）及更低版本应用的默认网络安全性配置如下：

<base-config cleartextTrafficPermitted="true">
        <trust-anchors>
            
            <certificates src="system" />
            
            <certificates src="user" />
        </trust-anchors>
    </base-config>

2、而在 Android 7.0（API 24）到 Android 8.1（API 27）的默认网络安全性配置如下：

<base-config cleartextTrafficPermitted="true">
        <trust-anchors>
            
            <certificates src="system" />
        </trust-anchors>
    </base-config>

3、而在 Android 9.0（API 28）及更高版本的默认网络安全性配置如下：

<base-config cleartextTrafficPermitted="false">
        <trust-anchors>
            
            <certificates src="system" />
        </trust-anchors>
    </base-config>

对比很容易发现，**在 Android 7.0（API 24）到 Android 8.1（API 27），默认不再信任用户添加的 CA 证书，所以也就不再信任 Charles 和 Fiddler 抓包工具的证书，所以抓取 HTTPS 包时才会失败。**而且在 Android 9.0（API 28）及更高版本上，不仅默认只系统预装的 CA 证书，还默认禁止所有明文通信（不允许 http 请求）。

### 解决办法： ###

**前提**：在手机端和电脑端都必须安装https的安全证书  
**配置**：**打测试包时，项目设置默认信任所有证书(系统+用户，****Charles 和 Fiddler****)**  
1. 在工程res-xml目录中创建一个名为 network\_security\_config.xml的文件，文件内容如下：

<network-security-config>
        <base-config cleartextTrafficPermitted="true">
            <trust-anchors>
                <certificates src="system" overridePins="true" />
                <certificates src="user" overridePins="true" />
            </trust-anchors>
        </base-config>
    </network-security-config>

2.在AndroidManifest里的标签中，添加如下代码，在清单文件中指向该文件：

<?xml version="1.0" encoding="utf-8"?>
    <manifest ... >
    <application android:networkSecurityConfig="@xml/network_security_config"
    ... >
            ...
    </application>
    </manifest>

重新打包项目，然后抓包，即可成功。

### webview抓包失败 ###

上面可以解决android原生抓包问题，但在android7.0以上的手机，开着网络代理访问不了webview，若要抓包webview，  
需要在webview的WebViewClient中，将一行代码给注释掉：

super.onReceivedSslError(view, handler, error)

这样是为了忽略掉SSL证书错误，因为开启代理后网络会变得不安全，证书会报错误，webview检测到证书错误之后就不请求任何数据。注释是为了忽略掉父类的处理，默认执行下去。

### 警告 ###

这样的配置操作是**敏感且危险**的，只能用于**测试环境**方便抓包，线上包一定注意要恢复配置，不然APP会面临被他人抓包的风险。

**如何只在调试模式下允许抓包呢？**

使用`<debug-overrides>`即可实现只在`android:debuggable`为`true`时才生效的配置：

<?xml version="1.0" encoding="utf-8"?>
    
    
    <network-security-config>
        
        <debug-overrides>
            <trust-anchors>
                <certificates src="system" />
                <certificates src="user" />
            </trust-anchors>
        </debug-overrides>
    </network-security-config>

网上有些解决方式是将 Charles 和 Fiddler 的证书添加到`raw`文件夹下的方式也可以，但是繁琐了点。

**在 Android 9.0（API 28）以上允许部分 http 请求**

最佳的解决方式肯定是全部使用 https 请求，安全性更高，如果有些请求或测试环境下还是需要使用 http 请求，需要在网络安全性配置添加白名单：

<?xml version="1.0" encoding="utf-8"?>
    
    
    <network-security-config>
        
        <domain-config cleartextTrafficPermitted="true">
            <domain includeSubdomains="true">sample.domain</domain>
        </domain-config>
        
        <debug-overrides>
            <trust-anchors>
                <certificates src="system" />
                <certificates src="user" />
            </trust-anchors>
        </debug-overrides>
    </network-security-config>

**后记**  
通过查找资料，还有一个方法，通过重载WebViewClient的onReceivedSslError()函数并在其中执行handler.proceed()，即可忽略SSL证书错误，继续加载页面，代码如下：

WebView webview = (WebView) findViewById(R.id.webview);
    webview.setWebViewClient(new WebViewClient() {
    @Override
    public void onReceivedSslError(WebView view, SslErrorHandler handler, SslError error) {
    // 不要调用super.onReceivedSslError，因为其包含了一条 handler.cancel()，第一次访问时无法加载，第二次以后可以加载
    // super.onReceivedSslError(view, handler, error);
    // 忽略SSL证书错误，继续加载页面
            handler.proceed();
        }
    }

**以上内容参考：流柯 和 ****JohnnyShieh 的博客**

**文章合集**

[**Selenium** ][Selenium_]**|** **[Appium  ][Selenium_]|****[Jenkins  ][Jenkins_]****|****  [Jmeter][] **

**[软件测试方法汇总][Link 1] | [Postman接口参数化][Postman] ****|****[测试用例设计][Link 2]**

**视频教程**

[**Selenium **][Selenium]**|****[Appium ][Selenium]****|**** [Jenkins ][Selenium]****|**** [Jmeter][Selenium]**

**AWS与Docker**

[如何使用AWS EC2+Docker+JMeter构建分布式负载测试基础架构][AWS EC2_Docker_JMeter]  
[Docker容器数据持久化和容器网桥连接][Docker]  
[Docker删除image和container][Docker_image_container]  
[Docker与VM虚拟机的区别以及Docker的特点][Docker_VM_Docker]

[Fiddler_App_APP]: http://mp.weixin.qq.com/s?__biz=MzI4NDQ5ODA5Nw%3D%3D&chksm=ebfbc9d9dc8c40cf16c121b1830c36b8811e1e6033526ab0e0b799040bd3b16dbddf436b08f7&idx=1&mid=2247485447&scene=21&sn=1143159bb26bbe5d0be9277b20903ca0#wechat_redirect
[Selenium_]: http://mp.weixin.qq.com/s?__biz=MzI4NDQ5ODA5Nw%3D%3D&chksm=ebfbc499dc8c4d8f565ccdca7d5cb70f6dce47d90fe96b699903eca4cf72409f4e3b5e81726f&idx=3&mid=2247484743&scene=21&sn=968a9fa0744c8278a68d320d082341a9#wechat_redirect
[Jenkins_]: http://mp.weixin.qq.com/s?__biz=MzI4NDQ5ODA5Nw%3D%3D&chksm=ebfbc489dc8c4d9fd135aacdaa19d08fe5d9885047ad4aa97514b796530cf1a7f2fb0f41dbe7&idx=1&mid=2247484759&scene=21&sn=02762b57fb12a47f8d88dee78a9d6034#wechat_redirect
[Jmeter]: http://mp.weixin.qq.com/s?__biz=MzI4NDQ5ODA5Nw%3D%3D&chksm=ebfbc50bdc8c4c1d7f692af1a6828fcb737a702a6a39aa651adb5abb8fdbe68149b372c508dc&idx=1&mid=2247484629&scene=21&sn=9de0fa26c8d803281de3cd8388a181c6#wechat_redirect
[Link 1]: https://mp.weixin.qq.com/s?__biz=MzI4NDQ5ODA5Nw%3D%3D&chksm=ebfbc5bcdc8c4caafd14f80adc0d04f9fa49f4fa3ac608fefa6b52f7d11378ea4bf81df758dd&idx=1&lang=zh_CN&mid=2247484514&scene=21&sn=b350893a3ff14a5159f1295733080836&token=1967909125#wechat_redirect
[Postman]: https://mp.weixin.qq.com/s?__biz=MzI4NDQ5ODA5Nw%3D%3D&chksm=ebfbc4d3dc8c4dc5459a81d1ec6307639ab3257d2e53796001399c38fa286333f02eef3e8b4e&idx=1&lang=zh_CN&mid=2247484685&scene=21&sn=6065d7a665f41076d3a60e3f792cdca6&token=1967909125#wechat_redirect
[Link 2]: https://mp.weixin.qq.com/s?__biz=MzI4NDQ5ODA5Nw%3D%3D&chksm=ebfbc3fbdc8c4aed581a98e6830a08a780cf702e2285855787a58d8ca2cae7c74a96938a1f07&idx=1&lang=zh_CN&mid=2247483941&scene=21&sn=55d25f3dbaf23a402e2d48cce48f95e7&token=1967909125#wechat_redirect
[Selenium]: http://mp.weixin.qq.com/s?__biz=MzI4NDQ5ODA5Nw%3D%3D&chksm=ebfbc461dc8c4d77f24a2caac348c1b221c50b51348c254467c5b08679812caa1f328e6472ac&idx=1&mid=2247484863&scene=21&sn=955d0f67ac699760ad759c7a0d496ce1#wechat_redirect
[AWS EC2_Docker_JMeter]: http://mp.weixin.qq.com/s?__biz=MzI4NDQ5ODA5Nw%3D%3D&chksm=ebfbc471dc8c4d67535b813377f6b2d4fbd953051cecbbe21288857bd55c1c7617f61d67294c&idx=1&mid=2247484847&scene=21&sn=214a93a466583446aa156ba5c67ebaac#wechat_redirect
[Docker]: http://mp.weixin.qq.com/s?__biz=MzI4NDQ5ODA5Nw%3D%3D&chksm=ebfbc41ddc8c4d0b70e01b63df9d205d219c70cbbfee1a111932e1da410d4ddd05e5400a844d&idx=1&mid=2247484867&scene=21&sn=b02badd1fcd35c9cdb2c1b5c68f0d447#wechat_redirect
[Docker_image_container]: http://mp.weixin.qq.com/s?__biz=MzI4NDQ5ODA5Nw%3D%3D&chksm=ebfbc412dc8c4d0433cbb89c1be28e80405071682c04225208486d427f0b88217e51aca3604b&idx=1&mid=2247484876&scene=21&sn=53fe9d301d8d87a8e19b4d6c4e0c7aa6#wechat_redirect
[Docker_VM_Docker]: http://mp.weixin.qq.com/s?__biz=MzI4NDQ5ODA5Nw%3D%3D&chksm=ebfbc463dc8c4d75d097126e44ca4493637abc6d6cc8820e384d1d4622c1492424f2dd13948e&idx=1&mid=2247484861&scene=21&sn=725a1603016ab5959bc34ce6697559b8#wechat_redirect