HTTPS原理-使用-请求拦截-防止拦截-动态调试HTTP请求

admin管理员组

文章数量:1530068

HTTPS （全称：HyperText Transfer Protocol over Secure Socket Layer）

Google 很早就使用了HTTPS，主要是为了保证用户的数据安全。 Google、Baidu、Facebook 、字节跳动这样的互联网巨头，都在广泛使用HTTPS搭建网站、接口、服务等， 国内外的大型互联网公司很多也都已经启用了全站 HTTPS，这也是程序员学习http协议的基础，走向互联网开发必要技能。

搜索引擎巨头为了鼓励全球公司和站长们将网站HTTPS协议化，所以它们都提出了几点要求：

• a.Google 已调整搜索引擎算法，让采用 HTTPS 的网站在搜索中排名更靠前；
• b.从 2017 年开始，Chrome 浏览器已把采用 HTTP 协议的网站标记为不安全网站；
• c.苹果要求 2017 年 App Store 中的所有应用都必须使用 HTTPS 加密连接；
• d.当前国内炒的很火热的微信小程序也要求必须使用 HTTPS 协议；
• e.新一代的 HTTP/2 协议的支持需以 HTTPS 为基础。

本文将分以下5点进行阐述。

• 1.HTTPS原理
• 2.HTTPS使用
• 3.HTTPS数据请求捕获
• 4.HTTPS防止拦截（安全方向）
• 5.HTTP2动态调试HTTP请求

我们都知道HTTPS比HTTP安全，并且如今大多数的网站和接口都是用HTTPS协议搭建的，大家也听说过SSL、对称加密、非对称加密、CA证书等。
但是以下三个问题作为程序员的你，真的理解吗？

• 为什么用了 HTTPS 就是安全的？
• HTTPS 的底层原理如何实现？
• 用了 HTTPS 就一定安全吗？

1.HTTPS原理

HTTPS 协议之所以安全是因为 HTTPS 协议会对传输的数据进行加密，而加密过程是使用了非对称加密实现。但是！！HTTPS 在内容传输的加密上使用的是对称加密，而非对称加密只作用在证书验证阶段。

HTTPS 的整体过程分为证书验证和数据传输阶段，具体的交互过程如下：

证书验证阶段：

• 1.浏览器发起 HTTPS 请求。
• 2.服务端返回 HTTPS 证书。
• 3.客户端验证证书是否合法，如果不合法则提示告警。

数据传输阶段：

• 1.当证书验证合法后，在本地生成随机数。
• 2.通过公钥加密随机数，并把加密后的随机数传输到服务端。
• 3.服务端通过私钥对随机数进行解密。
• 4.服务端通过客户端传入的随机数构造对称加密算法，对返回结果内容进行加密后传输。

为什么数据传输是用对称加密?
首先，非对称加密的加解密效率是非常低的，而 HTTP 的应用场景中通常端与端之间存在大量的交互，非对称加密的效率是无法接受的。
另外，在 HTTPS 的场景中只有服务端保存了私钥，一对公私钥只能实现单向的加解密，所以 HTTPS 中内容传输加密采取的是对称加密，而不是非对称加密。

为什么需要 CA 认证机构颁发证书?
HTTP 协议被认为不安全是因为传输过程容易被监听者监听、伪造服务器请求，而 HTTPS 协议主要解决的便是网络传输的安全性问题。
首先我们假设不存在认证机构，任何人都可以制作证书，这带来的安全风险便是经典的“中间人攻击”问题。
“中间人攻击”的具体过程如下：

过程原理如下：

• 1.本地请求被劫持(如 DNS 劫持等)，所有请求均发送到中间人的服务器。
• 2.中间人服务器返回中间人自己的证书。
• 3.客户端创建随机数，通过中间人证书的公钥对随机数加密后传送给中间人，然后凭随机数构造对称加密对传输内容进行加密传输。
• 4.中间人因为拥有客户端的随机数，可以通过对称加密算法进行内容解密。
• 5.中间人以客户端的请求内容再向正规网站发起请求。
• 6.因为中间人与服务器的通信过程是合法的，正规网站通过建立的安全通道返回加密后的数据。
• 7.中间人凭借与正规网站建立的对称加密算法对内容进行解密。
• 8.中间人通过与客户端建立的对称加密算法对正规内容返回的数据进行加密传输。
• 9.客户端通过与中间人建立的对称加密算法对返回结果数据进行解密。

由于缺少对证书的验证，所以客户端虽然发起的是 HTTPS 请求，但客户端完全不知道自己的网络已被拦截，传输内容被中间人全部窃取。

浏览器是如何确保 CA 证书的合法性?
1.证书包含什么信息?
证书包含信息如下：

• 颁发机构信息
• 公钥
• 公司信息
• 域名
• 有效期
• 指纹

2.证书的合法性依据是什么?

• 首先，权威机构是要有认证的，不是随便一个机构都有资格颁发证书，不然也不叫做权威机构。
• 另外，证书的可信性基于信任制，权威机构需要对其颁发的证书进行信用背书，只要是权威机构生成的证书，我们就认为是合法的。
• 所以权威机构会对申请者的信息进行审核，不同等级的权威机构对审核的要求也不一样，于是证书也分为免费的、便宜的和贵的。

3.浏览器如何验证证书的合法性?

• 浏览器发起 HTTPS 请求时，服务器会返回网站的 SSL 证书。
• 浏览器需要对证书做以下验证：
  • 验证域名、有效期等信息是否正确。证书上都有包含这些信息，比较容易完成验证。
• 判断证书来源是否合法。每份签发证书都可以根据验证链查找到对应的根证书，操作系统、浏览器会在本地存储权威机构的根证书，利用本地根证书可以对对应机构签发证书完成来源验证。

比如打开Google 查看CA证书，是由GTS CA机构颁发，该机构是Google成立的权威机构

比如天猫商城，证书的颁发机构是GlobalSign 根证书权威机构

判断证书是否被篡改。需要与 CA 服务器进行校验。

判断证书是否已吊销。通过 CRL(Certificate Revocation List 证书注销列表)和 OCSP(Online Certificate Status Protocol 在线证书状态协议)实现。

其中 OCSP 可用于第 3 步中以减少与 CA 服务器的交互，提高验证效率。
以上任意一步都满足的情况下浏览器才认为证书是合法的。
这里插一个我想了很久的但其实答案很简单的问题：既然证书是公开的，如果要发起中间人攻击，我在官网上下载一份证书作为我的服务器证书，那客户端肯定会认同这个证书是合法的，如何避免这种证书冒用的情况?
其实这就是非加密对称中公私钥的用处，虽然中间人可以得到证书，但私钥是无法获取的。
一份公钥是不可能推算出其对应的私钥，中间人即使拿到证书也无法伪装成合法服务端，因为无法对客户端传入的加密数据进行解密。

4.只有认证机构可以生成证书吗?

• 如果需要浏览器不提示安全风险，那只能使用认证机构签发的证书。
• 但浏览器通常只是提示安全风险，并不限制网站不能访问，所以从技术上谁都可以生成证书，只要有证书就可以完成网站的 HTTPS 传输。
• 例如早期的 12306 采用的便是手动安装私有证书的形式实现 HTTPS 访问。
  
  本地随机数被窃取怎么办?
  证书验证是采用非对称加密实现，但是传输过程是采用对称加密，而其中对称加密算法中重要的随机数是由本地生成并且存储于本地的，HTTPS 如何保证随机数不会被窃取?
  其实 HTTPS 并不包含对随机数的安全保证，HTTPS 保证的只是传输过程安全，而随机数存储于本地，本地的安全属于另一安全范畴，应对的措施有安装杀毒软件、反木马、浏览器升级修复漏洞等。

2.HTTPS使用

在服务器上配置站点时，nginx的server段配置如下

Nginx配置：

• 创建一个server段，监听443端口
• 开启ssl --> 然后绑定你想绑定的域名
• ssl_certificate是在你购买证书时要求绑定到那个域名上，绑定后就可以下载了，拷贝到服务器上，在这里就可以指定证书路径

server {
    listen       443 ssl;
    listen       [::]:443 ssl;
    server_name  telabytes;
    root         /usr/share/nginx/html;

    ssl_certificate   /home/SSLKeys/3094207_telabytes.pem;
    ssl_certificate_key  /home/SSLKeys/3094207_telabytes.key;
    ssl_session_timeout 5m;
    ssl_ciphers ECDHE-RSA-AES128-GCM-SHA256:ECDHE:ECDH:AES:HIGH:!NULL:!aNULL:!MD5:!ADH:!RC4;
    ssl_protocols TLSv1 TLSv1.1 TLSv1.2;
    ssl_prefer_server_ciphers on;
    ......    
}

以上配置完成后，重启service nginx restart配置。

3.HTTPS数据请求捕获

在苹果电脑上，一般我们使用Charles，

Charles抓包和篡改数据可以看这里：https://www.jianshu/p/e26151084add

配置流程是：

• 1.电脑安装Charles，打开后，去安装Charles根证书到电脑上
  
• 2.手机上也安装Charles根证书
  操作方式：
  • （1）、手机和电脑连接同一个WIFI
  • （2）、在手机连接WiFi的配置代理设置地方改成手动 --> 然后输入电脑的IP地址和端口号8888
  • （3）、接着手机打开自带浏览器，输入网址 chls.pro/ssl 回车后，会弹出安装Charles跟证书到手机上，安装完后，需要去手机设置里对Charles根证书受信任
    
• 3.现在可以去Charles上拦截手机app上的http请求了，如果要拦截https请求，需要在Charles上启用HTTPS proxy

具体操作请看我的另一篇教程
https://blog.csdn/u013538542/article/details/79107106
https://blog.csdn/u013538542/article/details/103126153

4.HTTPS防止拦截（安全方向）

两种方式
1.一种是检测app是被代理了，如果被代理了，则禁止不发送网络请求，iOS的代码是

+ (BOOL)getProxyStatus {
    NSDictionary *proxySettings =  (__bridge NSDictionary *)(CFNetworkCopySystemProxySettings());
    NSArray *proxies = (__bridge NSArray *)(CFNetworkCopyProxiesForURL((__bridge CFURLRef _Nonnull)([NSURL URLWithString:@"http://www.baidu"]), (__bridge CFDictionaryRef _Nonnull)(proxySettings)));
    NSDictionary *settings = [proxies firstObject];

    NSLog(@"host=%@", [settings objectForKey:(NSString *)kCFProxyHostNameKey]);
    NSLog(@"port=%@", [settings objectForKey:(NSString *)kCFProxyPortNumberKey]);
    NSLog(@"type=%@", [settings objectForKey:(NSString *)kCFProxyTypeKey]);
    
    if ([[settings objectForKey:(NSString *)kCFProxyTypeKey] isEqualToString:@"kCFProxyTypeNone"]){
        //没有设置代理
        return NO;
    } else {
        //设置代理了
        return YES;
    }
}

2.证书验证
思路就是：

• 1.app本地存储一份公钥证书，服务器是私钥证书
• 2.当客户端发起HTTPS请求时，服务器会返回公钥证书
• 3.然后将本地的公钥证书和服务器发来的公钥证书做比较，如果相同，则表示是合法的服务器请求

5.HTTP2动态调试HTTP请求

动态调试HTTPS请求主要是将HTTPS请求做一个断点breakpoints，然后当下一次请求来临时，就会在断点处停止，然后我们可以动态的修改参数，以便于调试

详细的请看：https://www.jianshu/p/e26151084add

注：用了 HTTPS 会被抓包吗?

• HTTPS 的数据是加密的，常规下抓包工具代理请求后抓到的包内容是加密状态，无法直接查看。
• 但是，正如前文所说，浏览器只会提示安全风险，如果用户授权仍然可以继续访问网站，完成请求。
• 因此，只要客户端是我们自己的终端，我们授权的情况下，便可以组建中间人网络，而抓包工具便是作为中间人的代理。
• 通常 HTTPS 抓包工具的使用方法是会生成一个证书，用户需要手动把证书安装到客户端中，然后终端发起的所有请求通过该证书完成与抓包工具的交互。
• 然后抓包工具再转发请求到服务器，最后把服务器返回的结果在控制台输出后再返回给终端，从而完成整个请求的闭环。
• 既然 HTTPS 不能防抓包，那 HTTPS 有什么意义? HTTPS 可以防止用户在不知情的情况下通信链路被监听，对于主动授信的抓包操作是不提供防护的，因为这个场景用户是已经对风险知情。
• 要防止被抓包，需要采用应用级的安全防护，例如采用私有的对称加密，同时做好移动端的防反编译加固，防止本地算法被破解。

以下用简短的 Q&A 形式进行全文总结：

• Q：HTTPS 为什么安全?
  • A：因为 HTTPS 保证了传输安全，防止传输过程被监听、防止数据被窃取，可以确认网站的真实性。
• Q：HTTPS 的传输过程是怎样的?
  • A：客户端发起 HTTPS 请求，服务端返回证书，客户端对证书进行验证，验证通过后本地生成用于改造对称加密算法的随机数。
    通过证书中的公钥对随机数进行加密传输到服务端，服务端接收后通过私钥解密得到随机数，之后的数据交互通过对称加密算法进行加解密。
• Q：为什么需要证书?
  • A：防止“中间人”攻击，同时可以为网站提供身份证明。
• Q：使用 HTTPS 会被抓包吗?
  • A：会被抓包，HTTPS 只防止用户在不知情的情况下通信被监听，如果用户主动授信，是可以构建“中间人”网络，代理软件可以对传输内容进行解密。

本文标签： 原理动态HTTPShttp