[Linux][网络编程][HTTPS]详细讲解

admin管理员组

文章数量:1603459

目录

• 1.HTTPS介绍
• 2.HTTP与HTTPS
• 3."加密"是什么？
• • 1.加密相关术语
  • 2.为什么需要HTTPS，为什么需要加密？
• 4.常见的加密方式
• • 1.对称加密
  • 2.非对称加密
  • 3.数据摘要 && 数据指纹
  • 4.数字签名
• 5.深入探究HTTPS工作方案
• • 1.方案一：只使用对称加密
  • 2.方案二：只使用非对称加密
  • 3.方案三：双方都使用非对称加密
  • 4.方案四：非对称加密+对称加密
  • 5.中间人攻击
  • 6.CA认证
  • 7.理解数据签名
  • 8.方案五：非对称加密+对称加密+证书认证
• 6.常见问题
• 7.理解完整流程

---

1.HTTPS介绍

• HTTP无论是用GET方法还是POST方法传参，都是没有经过任何加密的，因此早期很多的信息都是可以通过抓包工具抓到的
  • 原因是HTTP协议内容都是按照⽂本的方式明文传输的，这就导致在传输过程中出现⼀些被篡改的情况
• 为了解决这个问题，于是出现了HTTPS协议，HTTPS实际就是在应用层和传输层协议之间加了一层加密层(SSL&TLS)
  • 这层加密层本身也是属于应用层的，它会对用户的个人信息进行各种程度的加密
  • HTTPS在交付数据时先把数据交给加密层，由加密层对数据加密后再交给传输层
• 当然，通信双方使用的应用层协议必须是一样的，因此对端的应用层也必须使用HTTPS
  • 当对端的传输层收到数据后，会先将数据交给加密层，由加密层对数据进行解密后再将数据交给应用层
• 此时数据只有在用户层(应用层)是没有被加密的，而在应用层往下以及网络当中都是加密的，这就叫做HTTPS
  

---

2.HTTP与HTTPS

• 端口不同，是两套服务
  • http绑定的端口是80
  • https绑定的端口是443
• HTTP效率更高，HTTPS更安全
  • http不用加密，则效率更高，但是不安全
  • https需要加密，则效率相对不高，但是安全
  • 在内网等绝对安全的条件下，推荐使用http协议，效率高

---

3."加密"是什么？

1.加密相关术语

• **明文：**要传输的原始的消息
• **密文：**通过一定的规则将明文变换后的内容
• **加密：**将明文变成密文
• **解密：**将密文变成明文
• **密钥：**在加密和解密的过程中，往往需要一个或多个中间的数据来辅助该过程，这样的数据称为密钥

2.为什么需要HTTPS，为什么需要加密？

• 所有的加密，都是为了防止中间有人进行窃取和篡改
• 因为http的内容是明文传输的，明文数据会经过路由器、wifi热点、通信服务运营商、代理服务器等多个物理节点，如果信息在传输过程中被劫持，传输的内容就完全暴露了。劫持者还可以篡改传输的信息且不被双方察觉，这就是中间人攻击 ，所以才需要对信息进行加密
• 在互联网上，明文传输是比较危险的事情，HTTPS就是在HTTP的基础上进行了加密，进⼀步的来保证用户的信息安全

---

4.常见的加密方式

1.对称加密

• 基本介绍：采用单钥密码系统的加密方法，同一个密钥可以同时用作信息的加密和解密
  • **特征：**加密和解密所用的密钥是相同的
• **常见对称加密算法(了解即可)：**DES、3DES、AES、TDEA、Blowfish、RC2等
• **对称加密的特点：**算法公开、计算量小、加密速度快、加密效率高

2.非对称加密

• 基本介绍：需要两个密钥来进行加密和解密
  • 公开密钥(public key，简称公钥)
  • 私有密钥(private key，简称私钥)
• **常见非对称加密算法(了解即可)：**RSA、DSA、ECDSA
• **非对称加密的特点：**算法强度复杂、安全性依赖于算法与密钥，但是由于其算法复杂，而使得加密解密速度没有对称加密解密的速度快
• 非对称加密要用到两个密钥，一个叫做"公钥"，一个叫做"私钥"，公钥和私钥是配对的
  • 通过公钥对明文加密，变成密文
  • 通过私钥对密⽂解密，变成明文
• 也可以反着用
  • 通过私钥对明文加密，变成密文
  • 通过公钥对密文解密，变成明文

3.数据摘要 && 数据指纹

• **基本原理：**利用单向散列函数(Hash函数)对信息进行运算，生成⼀串固定长度的字符串 – 数据摘要
• **摘要常见算法：**MD5、SHA1、SHA256、SHA512等
  • 算法把无限的映射成有限，因此可能会有碰撞(两个不同的信息，算出的摘要相同，但是概率非常低)
• 摘要特征：
  • 和加密算法的区别是，摘要严格意义上不是加密，因为没有解密
  • 只不过从摘要很难反推原信息，通常用来进行数据对比，判断数据有没有被窜改

4.数字签名

• 摘要经过加密，就得到了数字签名

---

5.深入探究HTTPS工作方案

1.方案一：只使用对称加密

• 引入对称加密之后，即使数据被截获，由于黑客不知道密钥是啥，因此就无法进行解密，也就不知道请求的真实内容是啥了
• 但是上述方案有一个问题：如何做到让客户端和服务端拥有同一个密钥？
  • 服务器是同时给多个客户端提供服务的。这么多客户端，每个人用的秘钥都必须是不同的(如果是相同那密钥就太容易扩散了，黑客就也能拿到了)。因此服务器就需要维护每个客户端和每个密钥之间的关联关系，这也是个很麻烦的事情
• 比较理想的做法，就是能在客户端和服务器建立连接的时候，双方协商确定这次的密钥是啥
• 但是如果直接把密钥明文传输，那么黑客也就能获得密钥了，此时后续的加密操作就形同虚设了
  • 因此密钥的传输也必须加密传输
• 但是要想对密钥进行对称加密，就仍然需要先协商确定一个"密钥的密钥"，这就成了"先有鸡还是先有蛋"的问题了。此时密钥的传输再用对称加密就行不通了

2.方案二：只使用非对称加密

• 鉴于非对称加密的机制，如果服务器先把公钥以明文方式传输给浏览器，之后浏览器向服务器传数据前都先用这个公钥加密好再传，从客户端到服务器信道似乎是安全的(仍有安全问题)，因为只有服务器有相应的私钥能解开公钥加密的数据

• 上述过程中，私钥S只有服务器私有，不会暴露在公网中，即使黑客拿到了暴露在公网中的公钥和密文，但是没有私钥(只能用私钥解密)，所以黑客无法对密文解密，也就保证了从客户端发送到服务端的消息目前是安全的
  

• 如果此时服务器向客户端发消息，服务器只能用私钥进行加密(因为客户端只有公钥，私钥加密只能公钥解密)，此时客户端就可以用公钥进行解密，但是这个中间过程就可以被黑客截胡，黑客拿到之前由服务器向客户端明文发送的公钥来解锁现在用私钥发送的密文
  

• **综上：**只使用一对非对称加密，保证了浏览器到服务器的加密安全，但是服务器到浏览器这条路是无法保证安全的

3.方案三：双方都使用非对称加密

• 现在让双方都是以非对称加密。服务端拥有公钥S与对应的私钥S’，客户端拥有公钥C与对应的私钥C’。交易方式如下：

  • 客户端和服务端互相交换公钥
  • 客户端给服务端发消息：先用S对数据加密，再发送，只能由服务器解密，因为只有服务器有私钥S’
  • 服务端给客户端发消息：先用C对数据加密，再发送，只能由客户端解密，因为只有客户端有私钥C’
    

• 让双方都使用非对称加密，确实保证了双方在互相通信时数据的安全性。但是也有问题：

  • 效率太低(非对称加密的效率要比对称加密慢很多)
  • 同样也使用潜在的安全问题

4.方案四：非对称加密+对称加密

• 既然双方都是以非对称加密的策略导致效率过低，那不妨使用非对称加密 + 对称加密的策略

  • 仅让服务端具有非对称公钥S和私钥S’
  • 客户端发起https请求，获取服务端公钥S
  • 客户端在本地生成对称密钥C，通过公钥S加密，发送给服务器
  • 由于中间的网络设备没有私钥，即使截获了数据，也无法还原出内部的原文，也就无法获取到对称密钥
  • 服务器通过私钥S’解密，还原出客户端发送的对称密钥C。并且使用这个对称密钥加密给客户端返回的响应数据
  • 后续客户端和服务器的通信都只用对称加密即可。由于该密钥只有客户端和服务器两个主机知道，其他主机 / 设备不知道密钥即使截获数据也没有意义

• 由于对称加密的效率比非对称加密高很多，因此只是在开始阶段协商密钥的时候使用非对称加密，后续的传输仍然使用对称加密
  

• 虽然上面已经比较接近答案了，但是依旧有安全问题(方案2、3、4都有这样的问题)：

  • 上面的方案都是假设在成功完成密钥交换后，中间人才进行的截取，假设中间人早就进行截胡了呢？你怎么保证你客户端获取到的公钥一定就是来自服务端的？中间人不仅是能够获取公钥，也能够篡改公钥
  • 所以上述方案的共性问题：如果最开始，中间人就已经开始攻击了呢？

5.中间人攻击

• Man-in-the-MiddleAttack，简称"MITM攻击"

• 确实，在方案2/3/4中，客户端获取到公钥S之后，对客户端形成的对称秘钥X用服务端给客户端的公钥S进行加密，中间人即使窃取到了数据，此时中间人确实无法解出客户端形成的密钥X，因为只有服务器有私钥S’

• 但是中间人的攻击，如果在最开始握手协商的时候就进行了，那就不一定了

  • 服务器具有非对称加密算法的公钥S，私钥S’
  • 中间人具有非对称加密算法的公钥M，私钥M’
  • 客户端向服务器发起请求，服务器明文传送公钥S给客户端
  • 中间人劫持数据报文，提取公钥S并保存好，然后将被劫持报文中的公钥S替换成为自己的公钥M，并将伪造报文发给客户端
  • 客户端收到报文，提取公钥M(自己当然不知道公钥被更换过了)，自己形成对称秘钥X，用公钥M加密X，形成报文发送给服务器
  • 中间人劫持后，直接用自己的私钥M’进行解密，得到通信秘钥X，再用曾经保存的服务端公钥S加密后，将报文推送给服务器
  • 服务器拿到报文，用自己的私钥S’解密，得到通信秘钥X
  • 双方开始采用X进行对称加密，进行通信。但是一切都在中间人的掌握中，劫持数据，进行窃听甚至修改，都是可以的
    

• 上面的攻击方案，同样适用于方案2、方案3，问题本质出现在：

  • 客户端无法确定收到的含有公钥的数据报文，就是目标服务器发送过来的！也有可能收到的是被恶意篡改窃取数据的黑客发来的

• 为了解决这两个问题，就引入了证书

6.CA认证

• **基本介绍：**在客户端和服务器刚建立连接时，服务器就给客户端返回一个证书

  • 这个证书就好比人的身份证，用来作为网站的身份标识，证明服务端公钥的权威性，而每搭建一个HTTPS网址时都需要在CA机构申请一个证书

• 引入证书流程 ：

  • 服务器首先产生一对公钥和私钥，在第三方公证机构申请一个证书时，该证书内就包含了公钥的信息，然后服务器就会将公钥发送给客户端
  • 由于证书的校验很严格，因此黑客就算获取了，也很难伪造一个假的证书
    • 即使伪造了，客户端也可以拿到第三方公证机构去校验
  • 因此客户端就能够拿到服务器发送的公钥，之后再通过公钥加密自己产生的密钥，发送给服务器
    • 由于黑客没有私钥，就算截获了该请求，也不能拿到密钥
  • 因此服务器就能顺利的得到加密的密钥，并使用私钥来解密。最终就能够很好的防止黑客获取或篡改数据
    

• 这个证书可以理解成是⼀个结构化的字符串，里面包含了以下信息：证书发布机构、证书有效期、公钥、证书所有者、签名等等
  

• 需要注意的是：申请证书的时候，需要在特定平台生成，会同时生成⼀对密钥对，即公钥和私钥，这对密钥对就是用来在网络通信中进行明文加密以及数字签名的

• 其中公钥会随着CSR文件，一起发给CA进行权威认证，私钥服务端自己保留，用来后续进行通信(其实主要就是用来交换对称秘钥)

7.理解数据签名

• 签名的形成是基于非对称加密算法的

  • **注意：**目前暂时和https没有关系，不要和https中的公钥私钥搞混了

• 采用数据签名 + 认证的方式即可避免数据被篡改的问题：

  • **签名：**对数据进行散列函数形成摘要(散列值)，用签名者的私钥加密散列值形成签名。把认证过的数据和签名合起来生成带数字签名的数据
  • **验证：**把数字签名的数据里的内容和签名分别拿出来，对原数据用同样的散列函数进行哈希散列生成散列值1，同时，用公钥对先前生成的签名进行解密生成散列值2。对比散列值是否相等，即可判断数据是否被人篡改

• **综上：**给数据文档进行数据签名的意义在于 – 防止内容被篡改
  

• 申请证书过程：

  • CA机构拥有非对称加密的私钥A和公钥A’
  • CA机构对服务端申请的证书明文数据进行hash，形成数据摘要
  • 然后CA对数据摘要用私钥A加密，得到数字签名S

• 服务端申请的证书明文和数字签名S共同组成了数字证书，这样一份数字证书就可以颁发给服务端了

8.方案五：非对称加密+对称加密+证书认证

• 此方案是在方案4的基础上引入了证书认证。过程如下：

  • 在客户端和服务器刚一建立连接的时候，服务器给客户端返回一个证书，证书包含了之前服务端的公钥，也包含了网站的身份信息
  • 客户端进行认证，当客户端获取到这个证书后，会对证书进行校验(防止证书是伪造的)
    • 判定证书的有效期是否过期
    • 判定证书的发布机构是否受信任(操作系统中已内置的受信任的证书发布机构)
    • 验证证书是否被篡改：从系统中拿到该证书发布机构的公钥，对签名解密，得到⼀个hash值(称为数据摘要)，设为 hash1，然后计算整个证书的hash值，设为 hash2。对比 hash1 和 hash2 是否相等。如果相等，则说明证书是没有被篡改过的

• 服务器向客户端发公钥时，中间⼈有没有可能篡改该证书？

  • 中间人可能篡改证书的明文
  • 但是由于中间人没有CA机构的私钥，所以无法hash之后用私钥加密形成签名，那么也就没办法对篡改后的证书形成匹配的签名
  • 如果强行篡改，客户端收到该证书后会发现明文散列后的值和签名解密后的值不⼀致，则说明证书已被篡改，证书不可信，从而终止向服务器传输信息，防止信息泄露给中间人

• 如果中间人改了证书明文，用中间人自己的私钥加密可以吗？

  • 不可以，客户端解密时用的是系统中存着的CA的公钥，解不开就说明被篡改。

• 中间人整个掉包证书？

  • 因为中间人没有CA私钥，所以无法制作假的证书(所有的客户端在认证时用的都是CA的公钥，只能用CA的私钥才能进行解密，但是中间人没有CA的私钥，自然无法制作假的证书)
  • 所以中间人只能向CA申请真证书，然后用自己申请的证书进行掉包
  • 这个确实能做到证书的整体掉包，但是别忘记，证书明文中包含了域名等服务端认证信息，如果整体掉包，客户端依旧能够识别出来。
  • 永远记住：中间人没有CA私钥，所以对任何证书都无法进行合法修改，包括自己的

---

6.常见问题

• 为什么摘要内容在网络传输的时候一定要加密形成签名？

  • 以 MD5 为例，我们不需要研究具体的计算签名的过程，只需要了解 MD5 的特点：
    • **定长：**无论多长的字符串，计算出来的MD5值都是固定长度(16字节版本或者32字节版本)
    • **分散：**源字符串只要改变⼀点点，最终得到的MD5值都会差别很大
    • **不可逆：**通过源字符串生成MD5很容易，但是通过MD5还原成原串理论上是不可能的
  • 正因为MD5有这样的特性，可以认为如果两个字符串的MD5值相同，则认为这两个字符串相同

• 理解判定证书篡改的过程：(这个过程就好比判定这个身份证是不是伪造的身份证)

  • 假设证书只是一个简单的字符串hello，对这个字符串计算hash值(比如md5)，结果为：BC4B2A76B9719D91
  • 如果hello中有任意的字符被篡改了，比如变成了hella，那么计算的md5值就会变化很大：BDBD6F9CF51F2FD8
  • 然后可以把这个字符串hello和哈希值BC4B2A76B9719D91从服务器返回给客户端，此时客户端就只要计算hello的哈希值，看看是不是 BC4B2A76B9719D91即可，然后就能验证hello是否是被篡改过
    

• 但是还有个问题：如果黑客把hello篡改了，同时也把哈希值重新计算下，客户端就分辨不出来了

  • 所以被传输的哈希值不能传输明文，需要传输密文
  • 因此，对证书明文(这里就是"hello")hash形成散列摘要，然后CA使用自己的私钥加密形成签名，将hello和加密的签名合起来形成CA证书，颁发给服务端，当客户端请求的时候，就发送给客户端，中间人截获了，因为没有CA私钥，就无法更改或者整体掉包，就能安全的证明，证书的合法性。
  • 最后，客户端通过操作系统里已经存的了的证书发布机构的公钥进行解密，还原出原始的哈希值，再进行校验

• 为什么签名不直接加密，而是要先hash形成摘要？

  • 缩小签名密文的长度，加快数字签名的验证签名的运算速度

• 如何成为中间人？-- 了解

  • ARP欺骗：在局域网中，hacker经过收到ARP Request广播包，能够偷听到其它节点的(IP，MAC)地址
    • 例：黑客收到两个主机A，B的地址，告诉B(受害者)，自己是A，使得B在发送给A的数据包都被黑客截取
  • ICMP攻击：由于ICMP协议中有重定向的报⽂类型，那么就可以伪造⼀个ICMP信息然后发送给局域网中的客户端，并伪装自己是一个更好的路由通路。从而导致目标所有的上网流量都会发送到指定的接口上，达到和ARP欺骗同样的效果
  • 假wifi && 假网站等

---

7.理解完整流程

• HTTPS 工作过程中涉及到的密钥有三组：
  • 第一组(非对称加密)：用于校验证书是否被篡改。服务器持有私钥(私钥在形成CSR文件与申请证书时获得)，客户端持有公钥(操作系统包含了可信任的CA认证机构有哪些，同时持有对应的公钥)。服务器在客户端请求时，返回携带签名的证书。客户端通过这个公钥进行证书验证，保证证书的合法性，进一步保证证书中携带的服务端公钥权威性
  • 第二组(非对称加密)：用于协商生成对称加密的密钥。客户端用收到的CA证书中的公钥(是可被信任的)给随机生成的对称加密的密钥加密，传输给服务器，服务器通过私钥解密获取到对称加密密钥
  • 第三组(对称加密)：客户端和服务器后续传输的数据都通过这个对称密钥加密解密
• 其实一切的关键都是围绕这个对称加密的密钥。其他的机制都是辅助这个密钥工作的
  • 第二组非对称加密的密钥是为了让客户端把这个对称密钥传给服务器
  • 第一组非对称加密的密钥是为了让客户端拿到第二组非对称加密的公钥

本文标签： 网络编程详细LinuxHTTPS