HTTPS - 如何抓包并开心 HTTPS 加密数据？

HTTPS 在握手过程中，密钥规格变更协议发送之后所有的数据都已经加密了，有些细节也就看不到了，如果常规的使用 Wireshark 这些工具是无法捕获到解密后的数据的，下面让我们先从 TLS v1.2 开始。
HTTPS 是 SSL/TLS 协议之上的 HTTP 协议，现在我们使用的主要是 TLS v1.2、TLS v1.3，如果想深入的了解 TLS 协议的细节，客户端与服务端是如何交互的，最好的学习方法是使用抓包工具，捕获网络数据包，基于这些真实的数据包能够有一些直观的感受。例如：Wireshark，它可以捕获 HTTP、TCP、TLS 等各种网络协议数据包，是我们学习的好工具。
但是 HTTPS 在握手过程中，密钥规格变更协议发送之后所有的数据都已经加密了，有些细节也就看不到了，如果常规的使用 Wireshark 这些工具是无法捕获到解密后的数据的，下面让我们先从 TLS v1.2 开始。
TLS v1.2 抓包
tcpdump 是一个 Unix/Linux 下的网络数据采集分析工具，也是我们常说的抓包工具。另一个与之类似的是 Wireshark，两者区别是 Wireshark 提供了客户端图形界面化展示，更多的用在客户端，而 tcpdump 是一个命令行工具，可用于服务端抓取数据输出到指定文件，并且 tcpdump 输出的 .cap 文件是可以被 Wireshark 解析的。
我通常更喜欢在命令抓取数据，让我们一起看看两者结合如何使用，首先我们用 tcpdump 抓取一个网络数据包。
-i：指定网卡，默认只监听第一个网络接口，通常是 en0，需要注意 localhost 不会走这个网络接口，通过 ifconfig 命令在本机查看。
-v：显示更多的详细信息。
host www.imooc.com and port 443：过滤指定地址、端口的数据(这里之所以抓取 immoc 是因为看了下其 TLS 协议是 v1.2，协议不同抓包的结果也是不同的，下面会介绍 TLS v1.3)。
-w：将数据报文输出到指定文件。
# 首先监视指定的地址 
sudo tcpdump -i en0 -v 'host www.imooc.com and port 443' -w imooc-https.cap 
# 再打开一个终端发起请求，响应成功后关闭 
curl https://www.imooc.com/ 
结合 Wireshark 工具使用，菜单栏选择 “File” -> “Open” 打开生成的数据报文，可看到类似下面的输出信息。
现在我们没有解密抓取的 HTTPS 数据，在 TLS v1.2 握手阶段 Certificate 消息这个时候还是明文传递的，在 Change Cipher Spec 协议发送之后所有数据都是加密传输。其实，TLS v1.2 如果我们不做 HTTPS 解密处理，握手阶段也是可以做一些分析的，接下来的 TLS v1.3 又待如何呢?
TLS v1.3 抓包
TLS v1.3 协议相较于 TLS v1.2 要复杂些，要考虑客户端/服务器(网站)是否同时支持 TLS v1.3?抓包工具是否支持?如何解密 HTTPS 加密后的数据?
现在已经有很多网站支持 TLS 1.3 协议了，例如 Github、知乎等。抓包之前，最好还是先验证下客户端与服务器是否都支持 TLS 1.3，如果仅一端支持还是会降级为 TLS 1.2 协议或更低的协议支持。
浏览器、OpenSSL 等的 TLS 支持情况请参考 https://wiki.mozilla.org/Security/Server_Side_TLS。
之前我通过 Chrome 浏览器测试 TLS 1.3 一直都很好用，但当我在终端使用 **curl** --tlsv1.3 [https://www.github.com](https://www.github.com) 命令时，却报错 curl: (4) LibreSSL was built without TLS 1.3 support，这与 curl 版本有关，参考文章 Curl with TLSv1.3 and openSSL on macOS。
验证**网站(服务端)**的 TLS 1.3 支持情况，在 Chrome 开发者工具 -> Security 模块查看。
以 Github 网站为例，终端执行以下命令，开启抓包准备，之后浏览器输入 https://github.com 抓取数据。
$ sudo tcpdump -i en0 -v 'host www.github.com and port 443' -w github-tls1-3.cap 
$ curl https://www.github.com 
以下为常规方法抓取到的数据，在 Change Cipher Spec 协议之后的数据都已做加密处理，像握手过程中的 Certificate、Finished 这些消息是看不到的，此时看不到完整的握手过程是怎么样的。
解密 HTTPS 数据
解密 HTTPS 数据，需要借助 Wireshark 的功能实现，目前有两种方式：基于 RSA 密钥协商算法在 Wireshark 中配置服务器私钥、会话级别的密钥文件。
Wireshark 中配置服务器私钥这种方式需要获取到证书中携带公钥对应的服务器私钥，然而这种方式仅在协商密钥为 RSA 算法时生效，它不具有前向安全保护，一旦拿到服务器私钥如果黑客记录了之前的会话是可以开心的，RSA 协商密钥算法在 TLS v1.3 已经废除了。
密钥日志文件是 Firefox、Chrome 和 curl 等应用程序在设置 SSLKEYLOGFILE 环境变量时生成的文本文件，它们的底层库(NSS、OpenSSL 或 boringssl)会将每次会话密钥写入文件，随后可以在 Wireshark 中配置此文件实现解密。
不同的操作系统和不同的浏览器操作上会有区别，可以参考这篇介绍 : Decrypt SSL traffic with the SSLKEYLOGFILE environment variable on Firefox or Google Chrome using Wireshark。
本文以 Mac 系统，Chrome 浏览器介绍。在本地 Home 目录下创建一个 sslkeylog.log 文件，之后在终端以命令方式打开 Chrome 浏览器，携带 --ssl-key-log-file。
$ touch ~/sslkeylog.log 
$ /Applications/Google\ Chrome.app/Contents/MacOS/Google\ Chrome --ssl-key-log-file=/Users/{user}/sslkeylog.log 
注意：--ssl-key-log-file 后面的路径，最开始我是用的相对路径 ~/sslkeylog.log 运行之后一直失败，错误信息提示无法加载密钥日志文件 ~/sslkeylog.log。后来解决方法是改成了绝对路径 --ssl-key-log-file=/Users/{user}/sslkeylog.log 加载密钥日志文件。
[10270:259:1106/140033.195135:ERROR:network_service_instance_impl.cc(738)] Failed opening SSL key log file: ~/sslkeylog.log 
Wireshark 选择 “Preferences” -> “Protocols” -> “TLS”，配置预主密钥日志文件路径。
之后，Wireshark 配置好过滤规则，可以抓包了。
以下为我抓取的 www.zhihu.com 网站完整握手过程信息。
Reference
https://zhuanlan.zhihu.com/p/36669377
https://support.f5.com/csp/article/K50557518
https://wiki.wireshark.org/TLS
来源：编程界
原文链接：https://mp.weixin.qq.com/s/SvZBD1op-OqQxHq9KXEZQQ