在浏览器中输入一个URL会发生什么？

admin管理员组

文章数量:1530290

最近看到一个题目，**当在浏览器中输入一个url后回车，后台发生了什么？**比如输入url后，你看到了百度的首页，那么这一切是如何发生的呢？

网上各种的说法，不外乎都是这样的：

第一步：客户机提出域名解析请求,并将该请求发送给本地的域名服务器。
第二步：当本地的域名服务器收到请求后,就先查询本地的缓存,如果有该纪录项,则本地的域名服务器就直接把查询的结果返回。
第三步：如果本地的缓存中没有该纪录,则本地域名服务器就直接把请求发给根域名服务器,然后根域名服务器再返回给本地域名服务器一个所查询域(根的子域)的主域名服务器的地址。
第四步：本地服务器再向上一步返回的域名服务器发送请求,然后接受请求的服务器查询自己的缓存,如果没有该纪录,则返回相关的下级的域名服务器的地址。
第五步：重复第四步,直到找到正确的纪录。

基本的意思都是正确的，在笔试中直接填写也没啥问题，但是在面试中被问到的话，面试官肯定会问道一些细枝末节的，这就需要我们认真来研究了。

首先理解：一个域名“www.baidu.”由4部分组成：第1部分“.”代表根服务器、第2部分“.”代表顶级域名服务器、第3部分“baidu.”代表域名所有者服务器、第4部分“www.baidu.”代表主机域名。

1. 输入一个url地址

2. 浏览器查找域名的ip地址

导航的第一步是通过访问的域名找出其IP地址。DNS查找过程如下：

• 浏览器缓存 —— 浏览器会缓存DNS记录一段时间。 有趣的是，操作系统没有告诉浏览器储存DNS记录的时间，这样不同浏览器会储存个自固定的一个时间（2分钟到30分钟不等）。
• 系统缓存 —— 如果在浏览器缓存里没有找到需要的记录，浏览器会做一个系统调用（windows里是gethostbyname）。这样便可获得系统缓存中的记录。
• 路由器缓存 —— 接着，前面的查询请求发向路由器，它一般会有自己的DNS缓存。
  ISP DNS 缓存 – 接下来要check的就是ISP缓存DNS的服务器。在这一般都能找到相应的缓存记录。
• 递归搜索 —— 你的ISP的DNS服务器从跟域名服务器开始进行递归搜索，从顶级域名服务器到Facebook的域名服务器。一般DNS服务器的缓存中会有域名服务器中的域名，所以到顶级服务器的匹配过程不是那么必要了。

DNS递归查找如下图所示：

DNS有一点令人担忧，这就是像wikipedia 或者 facebook这样的整个域名看上去只是对应一个单独的IP地址。还好，有几种方法可以消除这个瓶颈：

循环DNS是DNS查找时返回多个IP时的解决方案。举例来说，Facebook实际上就对应了四个IP地址。

• 负载平衡器是以一个特定IP地址进行侦听并将网络请求转发到集群服务器上的硬件设备。 一些大型的站点一般都会使用这种昂贵的高性能负载平衡器。
• 地理 DNS 根据用户所处的地理位置，通过把域名映射到多个不同的IP地址提高可扩展性。这样不同的服务器不能够更新同步状态，但映射静态内容的话非常好。
• Anycast是一个IP地址映射多个物理主机的路由技术。 美中不足，Anycast与TCP协议适应的不是很好，所以很少应用在那些方案中。

大多数DNS服务器使用Anycast来获得高效低延迟的DNS查找。

DNS域名解析

• 在浏览器DNS搜索
• 在操作系统DNS缓存中搜索
• 读取系统hosts文件，查找其中是否有对应的IP
• 向本地配置的首选DNS服务器发起域名解析请求

如果直接询问DNS服务器没有发现该URL对应的IP，就会向它的上级服务器询问，这样一层一层的向上级找，最高可到达根结点，直到找到或者全部找不到位置
详情可查看：https://blog.csdn/Jochebed666/article/details/88377615

3. 建立链接

确认好了IP和端口号，则可以向该IP地址对应的服务器的该端口号发起TCP连接请求。

• TCP三次握手(three-way handshaking)
• 发送方:SYN(synchronize)
• 接收方:SYN/ACK(acknowledgement),确认信息传达
• 发送方:ACK - 确认接收方在线可收消息，握手结束
• Accept
  

TCP三次握手的的好处在于，发送方可以确认接收方仍然在线，不会因为白发送而浪费资源。

4. 浏览器给web服务器发送一个HTTP请求

因为像Facebook主页这样的动态页面，打开后在浏览器缓存中很快甚至马上就会过期，毫无疑问他们不能从中读取。

所以，浏览器将把一下请求发送到Facebook所在的服务器：

 GET http://facebook.com/ HTTP/1.1  
 Accept: application/x-ms-application, image/jpeg, application/xaml+xml, [...]  
 User-Agent: Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; WOW64; [...]  
 Accept-Encoding: gzip, deflate  
 Connection: Keep-Alive  
 Host: facebook.com  
 Cookie: datr=1265876274-[...]; locale=en_US; lsd=WW[...]; c_user=2101[...]  

GET 这个请求定义了要读取的URL： “http://facebook/”。 浏览器自身定义 (User-Agent 头)， 和它希望接受什么类型的相应 (Acceptand Accept-Encoding 头). Connection头要求服务器为了后边的请求不要关闭TCP连接。

请求中也包含浏览器存储的该域名的cookies。可能你已经知道，在不同页面请求当中，cookies是与跟踪一个网站状态相匹配的键值。这样cookies会存储登录用户名，服务器分配的密码和一些用户设置等。Cookies会以文本文档形式存储在客户机里，每次请求时发送给服务器。

用来看原始HTTP请求及其相应的工具很多。作者比较喜欢使用fiddler，当然也有像FireBug这样其他的工具。这些软件在网站优化时会帮上很大忙。

除了获取请求，还有一种是发送请求，它常在提交表单用到。发送请求通过URL传递其参数(e.g.: http://robozzle/puzzle.aspx?id=85)。发送请求在请求正文头之后发送其参数。

像“http://facebook/”中的斜杠是至关重要的。这种情况下，浏览器能安全的添加斜杠。而像“http: //example/folderOrFile”这样的地址，因为浏览器不清楚folderOrFile到底是文件夹还是文件，所以不能自动添加 斜杠。这时，浏览器就不加斜杠直接访问地址，服务器会响应一个重定向，结果造成一次不必要的握手。

注意: HTTP是无连接、无状态的，即HTTP在传输完成后就会断开，并且下一次登录时不会记录上次的登录状态。

5. facebook服务的永久重定向响应

图中所示为Facebook服务器发回给浏览器的响应：

 HTTP/1.1 301 Moved Permanently
 Cache-Control: private, no-store, no-cache, must-revalidate, post-check=0,
 pre-check=0
 Expires: Sat, 01 Jan 2000 00:00:00 GMT
 Location: http://www.facebook.com/
 P3P: CP="DSP LAW"
 Pragma: no-cache
 Set-Cookie: made_write_conn=deleted; expires=Thu, 12-Feb-2009 05:09:50 GMT;
 path=/; domain=.facebook.com; httponly
 Content-Type: text/html; charset=utf-8
 X-Cnection: close
 Date: Fri, 12 Feb 2010 05:09:51 GMT
 Content-Length: 0

服务器给浏览器响应一个301永久重定向响应，这样浏览器就会访问“http://www.facebook/” 而非“http://facebook/”。

为什么服务器一定要重定向而不是直接发会用户想看的网页内容呢？这个问题有好多有意思的答案。

其中一个原因跟搜索引擎排名有 关。你看，如果一个页面有两个地址，就像http://www.igoro/ 和http://igoro/，搜索引擎会认为它们是两个网站，结果造成每一个的搜索链接都减少从而降低排名。而搜索引擎知道301永久重定向是 什么意思，这样就会把访问带www的和不带www的地址归到同一个网站排名下。

还有一个是用不同的地址会造成缓存友好性变差。当一个页面有好几个名字时，它可能会在缓存里出现好几次。

6. 浏览器跟踪重定向地址

现在，浏览器知道了“http://www.facebook/”才是要访问的正确地址，所以它会发送另一个获取请求：

 GET http://www.facebook.com/ HTTP/1.1
 Accept: application/x-ms-application, image/jpeg, application/xaml+xml, [...]
 Accept-Language: en-US
 User-Agent: Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; WOW64; [...]
 Accept-Encoding: gzip, deflate
 Connection: Keep-Alive
 Cookie: lsd=XW[...]; c_user=21[...]; x-referer=[...]
 Host: www.facebook.com

头信息以之前请求中的意义相同。

7. 服务器“处理”请求

服务器接收到获取请求，然后处理并返回一个响应。

这表面上看起来是一个顺向的任务，但其实这中间发生了很多有意思的东西- 就像作者博客这样简单的网站，何况像facebook那样访问量大的网站呢！

Web 服务器软件
web服务器软件（像IIS和阿帕奇）接收到HTTP请求，然后确定执行什么请求处理来处理它。请求处理就是一个能够读懂请求并且能生成HTML来进行响应的程序（像ASP.NET,PHP,RUBY…）。

举个最简单的例子，需求处理可以以映射网站地址结构的文件层次存储。像http://example/folder1/page1.aspx这个地 址会映射/httpdocs/folder1/page1.aspx这个文件。web服务器软件可以设置成为地址人工的对应请求处理，这样 page1.aspx的发布地址就可以是http://example/folder1/page1。

请求处理
请求处理阅读请求及它的参数和cookies。它会读取也可能更新一些数据，并讲数据存储在服务器上。然后，需求处理会生成一个HTML响应。

所有动态网站都面临一个有意思的难点 -如何存储数据。小网站一半都会有一个SQL数据库来存储数据，存储大量数据和/或访问量大的网站不得不找一些办法把数据库分配到多台机器上。解决方案 有：sharding （基于主键值讲数据表分散到多个数据库中），复制，利用弱语义一致性的简化数据库。

委托工作给批处理是一个廉价保持数据更新的技术。举例来讲，Fackbook得及时更新新闻feed，但数据支持下的“你可能认识的人”功能只需要每晚更新 （作者猜测是这样的，改功能如何完善不得而知）。批处理作业更新会导致一些不太重要的数据陈旧，但能使数据更新耕作更快更简洁。

8. 服务器发回一个HTML响应

图中为服务器生成并返回的响应：

 HTTP/1.1 200 OK
 Cache-Control: private, no-store, no-cache, must-revalidate, post-check=0,
 pre-check=0
 Expires: Sat, 01 Jan 2000 00:00:00 GMT
 P3P: CP="DSP LAW"
 Pragma: no-cache
 Content-Encoding: gzip
 Content-Type: text/html; charset=utf-8
 X-Cnection: close
 Transfer-Encoding: chunked
 Date: Fri, 12 Feb 2010 09:05:55 GMT

 2b3Tn@[...]

整个响应大小为35kB，其中大部分在整理后以blob类型传输。

内容编码头告诉浏览器整个响应体用gzip算法进行压缩。解压blob块后，你可以看到如下期望的HTML：

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Strict//EN"    
 "http://www.w3/TR/xhtml1/DTD/xhtml1-strict.dtd">
 <html xmlns="http://www.w3/1999/xhtml" xml:lang="en"
 lang="en" id="facebook" class=" no_js">
 <head>
 <meta http-equiv="Content-type" content="text/html; charset=utf-8" />
 <meta http-equiv="Content-language" content="en" />
 ...

关于压缩，头信息说明了是否缓存这个页面，如果缓存的话如何去做，有什么cookies要去设置（前面这个响应里没有这点）和隐私信息等等。

请注意报头中把Content-type设置为“text/html”。报头让浏览器将该响应内容以HTML形式呈现，而不是以文件形式下载它。浏览器会根据报头信息决定如何解释该响应，不过同时也会考虑像URL扩展内容等其他因素。

9.关闭TCP连接

四次挥手

10. 浏览器开始显示HTML

在浏览器没有完整接受全部HTML文档时，它就已经开始显示这个页面了：

11. 浏览器发送获取嵌入在HTML中的对象

在浏览器显示HTML时，它会注意到需要获取其他地址内容的标签。这时，浏览器会发送一个获取请求来重新获得这些文件。

下面是几个我们访问facebook时需要重获取的几个URL：

图片
http://static.ak.fbcdn/rsrc.php/z12E0/hash/8q2anwu7.gif
http://static.ak.fbcdn/rsrc.php/zBS5C/hash/7hwy7at6.gif
…
CSS 式样表
http://static.ak.fbcdn/rsrc.php/z448Z/hash/2plh8s4n.css
http://static.ak.fbcdn/rsrc.php/zANE1/hash/cvtutcee.css
…
JavaScript 文件
http://static.ak.fbcdn/rsrc.php/zEMOA/hash/c8yzb6ub.js
http://static.ak.fbcdn/rsrc.php/z6R9L/hash/cq2lgbs8.js
…
这些地址都要经历一个和HTML读取类似的过程。所以浏览器会在DNS中查找这些域名，发送请求，重定向等等…

但 不像动态页面那样，静态文件会允许浏览器对其进行缓存。有的文件可能会不需要与服务器通讯，而从缓存中直接读取。服务器的响应中包含了静态文件保存的期限 信息，所以浏览器知道要把它们缓存多长时间。还有，每个响应都可能包含像版本号一样工作的ETag头（被请求变量的实体值），如果浏览器观察到文件的版本 ETag信息已经存在，就马上停止这个文件的传输。

试着猜猜看“fbcdn”在地址中代表什么？聪明的答案是"Facebook内容分发网络"。Facebook利用内容分发网络（CDN）分发像图片，CSS表和JavaScript文件这些静态文件。所以，这些文件会在全球很多CDN的数据中心中留下备份。

静态内容往往代表站点的带宽大小，也能通过CDN轻松的复制。通常网站会使用第三方的CDN。例如，Facebook的静态文件由最大的CDN提供商Akamai来托管。

举例来讲，当你试着ping static.ak.fbcdn的时候，可能会从某个akamai服务器上获得响应。有意思的是，当你同样再ping一次的时候，响应的服务器可能就不一样，这说明幕后的负载平衡开始起作用了。

12. 构建渲染树

根据DOM和CSSOM树渲染，不可见元素不被会渲染

13. 浏览器布局渲染

• 布局 - 根据渲染树布局
• 绘制 - 在屏幕上绘制每个点

扩展:
repaint:

• repaint发生更改时，元素外观被改变，且在没有改变布局的情况下发生，如改变outline，visibility，background color，不会影响到dom结构
  reflow:
• 与repaint区别就是他会影响dom的结构渲染，同时他会触发repaint，他会改变他本身与所有父辈元素
• 这种开销是非常昂贵的，导致性能下降是必然的，页面元素越多效果越明显。
  reflow常见情况：
• 增删改DOM节点
• 移动DOM的位置或是动画显示
• 修改width、display等CSS样式
• resize窗口或是滚动的时候
• 修改网页默认字体
  如：display:none会触发reflow和repaint，而visibility:hidden只会产生repaint

OK,到这里我们知道了从输入URL开始后，到请求页面返回的详细过程了。你要是能够达到这种程度，我想面试官会向你投去offer的目光！哈哈。

本文标签： 器中发生url