在浏览器中输入一个URL会发生什么？

缺乏、安全感 2022-03-10 08:22 364阅读 0赞

最近看到一个题目，\*\*当在浏览器中输入一个url后回车，后台发生了什么？\*\*比如输入url后，你看到了百度的首页，那么这一切是如何发生的呢？

网上各种的说法，不外乎都是这样的：  
![浏览器中输入一个URL会发生什么？][URL]  
第一步：客户机提出域名解析请求,并将该请求发送给本地的域名服务器。  
第二步：当本地的域名服务器收到请求后,就先查询本地的缓存,如果有该纪录项,则本地的域名服务器就直接把查询的结果返回。  
第三步：如果本地的缓存中没有该纪录,则本地域名服务器就直接把请求发给**根域名服务器**,然后根域名服务器再返回给本地域名服务器一个所查询域(根的子域)的**主域名服务器**的地址。  
第四步：本地服务器再向上一步返回的域名服务器发送请求,然后接受请求的服务器查询自己的缓存,如果没有该纪录,则返回相关的下级的域名服务器的地址。  
第五步：重复第四步,直到找到正确的纪录。

基本的意思都是正确的，在笔试中直接填写也没啥问题，但是在面试中被问到的话，面试官肯定会问道一些细枝末节的，这就需要我们认真来研究了。

首先理解：一个域名“[www.baidu.com][].”由4部分组成：**第1部分“.”代表根服务器、第2部分“.com.”代表顶级域名服务器、第3部分“[baidu.com][].”代表域名所有者服务器、第4部分“[www.baidu.com][].”代表主机域名**。

## 1. 输入一个url地址 ##

![输入一个url地址][url]

## 2. 浏览器查找域名的ip地址 ##

![浏览器查找域名的ip地址][ip]  
导航的第一步是通过访问的域名找出其IP地址。DNS查找过程如下：

>  *  **浏览器缓存** —— 浏览器会缓存DNS记录一段时间。 有趣的是，操作系统没有告诉浏览器储存DNS记录的时间，这样不同浏览器会储存个自固定的一个时间（2分钟到30分钟不等）。
>  *  **系统缓存** —— 如果在浏览器缓存里没有找到需要的记录，浏览器会做一个系统调用（windows里是gethostbyname）。这样便可获得系统缓存中的记录。
>  *  **路由器缓存** —— 接着，前面的查询请求发向路由器，它一般会有自己的DNS缓存。  
>     ISP DNS 缓存 – 接下来要check的就是ISP缓存DNS的服务器。在这一般都能找到相应的缓存记录。
>  *  **递归搜索** —— 你的ISP的DNS服务器从跟域名服务器开始进行递归搜索，从.com顶级域名服务器到Facebook的域名服务器。一般DNS服务器的缓存中会有.com域名服务器中的域名，所以到顶级服务器的匹配过程不是那么必要了。

DNS递归查找如下图所示：  
![DNS递归查找][DNS]

DNS有一点令人担忧，[这就是像wikipedia.org][wikipedia.org] 或者 facebook.com这样的整个域名看上去只是对应一个单独的IP地址。还好，有几种方法可以消除这个瓶颈：

> **循环DNS**是DNS查找时返回多个IP时的解决方案。举例来说，Facebook.com实际上就对应了四个IP地址。
> 
>  *  负载平衡器是以一个特定IP地址进行侦听并将网络请求转发到集群服务器上的硬件设备。 一些大型的站点一般都会使用这种昂贵的高性能负载平衡器。
>  *  地理 DNS 根据用户所处的地理位置，通过把域名映射到多个不同的IP地址提高可扩展性。这样不同的服务器不能够更新同步状态，但映射静态内容的话非常好。
>  *  Anycast是一个IP地址映射多个物理主机的路由技术。 美中不足，Anycast与TCP协议适应的不是很好，所以很少应用在那些方案中。

大多数DNS服务器使用Anycast来获得高效低延迟的DNS查找。

*DNS域名解析*

>  *  在浏览器DNS搜索
>  *  在操作系统DNS缓存中搜索
>  *  读取系统hosts文件，查找其中是否有对应的IP
>  *  向本地配置的首选DNS服务器发起域名解析请求

> 如果直接询问DNS服务器没有发现该URL对应的IP，就会向它的上级服务器询问，这样一层一层的向上级找，最高可到达根结点，直到找到或者全部找不到位置  
> 详情可查看：[https://blog.csdn.net/Jochebed666/article/details/88377615][https_blog.csdn.net_Jochebed666_article_details_88377615]

## 3. 建立链接 ##

确认好了IP和端口号，则可以向该IP地址对应的服务器的该端口号发起TCP连接请求。

*  TCP三次握手(three-way handshaking)
 *  发送方:SYN(synchronize)
 *  接收方:SYN/ACK(acknowledgement),确认信息传达
 *  发送方:ACK - 确认接收方在线可收消息，握手结束
 *  Accept  
    ![三次握手][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0pvY2hlYmVkNjY2_size_16_color_FFFFFF_t_70]

> TCP三次握手的的好处在于，发送方可以确认接收方仍然在线，不会因为白发送而浪费资源。

## 4. 浏览器给web服务器发送一个HTTP请求 ##

![发送一个HTTP请求][HTTP]  
因为像Facebook主页这样的动态页面，打开后在浏览器缓存中很快甚至马上就会过期，毫无疑问他们不能从中读取。

所以，浏览器将把一下请求发送到Facebook所在的服务器：

GET http://facebook.com/ HTTP/1.1  
     Accept: application/x-ms-application, image/jpeg, application/xaml+xml, [...]  
     User-Agent: Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; WOW64; [...]  
     Accept-Encoding: gzip, deflate  
     Connection: Keep-Alive  
     Host: facebook.com  
     Cookie: datr=1265876274-[...]; locale=en_US; lsd=WW[...]; c_user=2101[...]

GET 这个请求定义了要读取的URL： “[http://facebook.com/”。][http_facebook.com] 浏览器自身定义 (User-Agent 头)， 和它希望接受什么类型的相应 (Acceptand Accept-Encoding 头). Connection头要求服务器为了后边的请求不要关闭TCP连接。

请求中也包含浏览器存储的该域名的cookies。可能你已经知道，在不同页面请求当中，cookies是与跟踪一个网站状态相匹配的键值。这样cookies会存储登录用户名，服务器分配的密码和一些用户设置等。Cookies会以文本文档形式存储在客户机里，每次请求时发送给服务器。

用来看原始HTTP请求及其相应的工具很多。作者比较喜欢使用fiddler，当然也有像FireBug这样其他的工具。这些软件在网站优化时会帮上很大忙。

除了获取请求，还有一种是发送请求，它常在提交表单用到。发送请求通过URL传递其参数(e.g.: [http://robozzle.com/puzzle.aspx?id=85][http_robozzle.com_puzzle.aspx_id_85])。发送请求在请求正文头之后发送其参数。

像“[http://facebook.com/”中的斜杠是至关重要的。这种情况下，浏览器能安全的添加斜杠。而像“http:][http_facebook.com_http] //example.com/folderOrFile”这样的地址，因为浏览器不清楚folderOrFile到底是文件夹还是文件，所以不能自动添加 斜杠。这时，浏览器就不加斜杠直接访问地址，服务器会响应一个重定向，结果造成一次不必要的握手。

> 注意: HTTP是无连接、无状态的，即HTTP在传输完成后就会断开，并且下一次登录时不会记录上次的登录状态。

## 5. facebook服务的永久重定向响应 ##

![facebook服务的永久重定向响应][facebook]  
图中所示为Facebook服务器发回给浏览器的响应：

HTTP/1.1 301 Moved Permanently
     Cache-Control: private, no-store, no-cache, must-revalidate, post-check=0,
     pre-check=0
     Expires: Sat, 01 Jan 2000 00:00:00 GMT
     Location: http://www.facebook.com/
     P3P: CP="DSP LAW"
     Pragma: no-cache
     Set-Cookie: made_write_conn=deleted; expires=Thu, 12-Feb-2009 05:09:50 GMT;
     path=/; domain=.facebook.com; httponly
     Content-Type: text/html; charset=utf-8
     X-Cnection: close
     Date: Fri, 12 Feb 2010 05:09:51 GMT
     Content-Length: 0

服务器给浏览器响应一个301永久重定向响应，这样浏览器就会访问“[http://www.facebook.com/”][http_www.facebook.com] 而非“[http://facebook.com/”。][http_facebook.com]

为什么服务器一定要重定向而不是直接发会用户想看的网页内容呢？这个问题有好多有意思的答案。

其中一个原因跟搜索引擎排名有 关。你看，如果一个页面有两个地址，就像http://www.igoro.com/ 和http://igoro.com/，搜索引擎会认为它们是两个网站，结果造成每一个的搜索链接都减少从而降低排名。而搜索引擎知道301永久重定向是 什么意思，这样就会把访问带www的和不带www的地址归到同一个网站排名下。

还有一个是用不同的地址会造成缓存友好性变差。当一个页面有好几个名字时，它可能会在缓存里出现好几次。

## 6. 浏览器跟踪重定向地址 ##

![浏览器跟踪重定向地址][20190310114006561.png]  
现在，浏览器知道了“[http://www.facebook.com/”才是要访问的正确地址，所以它会发送另一个获取请求：][http_www.facebook.com 1]

GET http://www.facebook.com/ HTTP/1.1
     Accept: application/x-ms-application, image/jpeg, application/xaml+xml, [...]
     Accept-Language: en-US
     User-Agent: Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; WOW64; [...]
     Accept-Encoding: gzip, deflate
     Connection: Keep-Alive
     Cookie: lsd=XW[...]; c_user=21[...]; x-referer=[...]
     Host: www.facebook.com

头信息以之前请求中的意义相同。

## 7. 服务器“处理”请求 ##

![服务器“处理”请求][20190310114102276.png]  
服务器接收到获取请求，然后处理并返回一个响应。

这表面上看起来是一个顺向的任务，但其实这中间发生了很多有意思的东西- 就像作者博客这样简单的网站，何况像facebook那样访问量大的网站呢！

> Web 服务器软件  
> web服务器软件（像IIS和阿帕奇）接收到HTTP请求，然后确定执行什么请求处理来处理它。请求处理就是一个能够读懂请求并且能生成HTML来进行响应的程序（[像ASP.NET][ASP.NET],PHP,RUBY…）。

举个最简单的例子，需求处理可以以映射网站地址结构的文件层次存储。像http://example.com/folder1/page1.aspx这个地 址会映射/httpdocs/folder1/page1.aspx这个文件。web服务器软件可以设置成为地址人工的对应请求处理，这样 page1.aspx的发布地址就可以是http://example.com/folder1/page1。

> 请求处理  
> 请求处理阅读请求及它的参数和cookies。它会读取也可能更新一些数据，并讲数据存储在服务器上。然后，需求处理会生成一个HTML响应。

所有动态网站都面临一个有意思的难点 -如何存储数据。小网站一半都会有一个SQL数据库来存储数据，存储大量数据和/或访问量大的网站不得不找一些办法把数据库分配到多台机器上。解决方案 有：sharding （基于主键值讲数据表分散到多个数据库中），复制，利用弱语义一致性的简化数据库。

委托工作给批处理是一个廉价保持数据更新的技术。举例来讲，Fackbook得及时更新新闻feed，但数据支持下的“你可能认识的人”功能只需要每晚更新 （作者猜测是这样的，改功能如何完善不得而知）。批处理作业更新会导致一些不太重要的数据陈旧，但能使数据更新耕作更快更简洁。

## 8. 服务器发回一个HTML响应 ##

![服务器发回一个HTML响应][HTML]  
图中为服务器生成并返回的响应：

HTTP/1.1 200 OK
     Cache-Control: private, no-store, no-cache, must-revalidate, post-check=0,
     pre-check=0
     Expires: Sat, 01 Jan 2000 00:00:00 GMT
     P3P: CP="DSP LAW"
     Pragma: no-cache
     Content-Encoding: gzip
     Content-Type: text/html; charset=utf-8
     X-Cnection: close
     Transfer-Encoding: chunked
     Date: Fri, 12 Feb 2010 09:05:55 GMT
    
     2b3Tn@[...]

整个响应大小为35kB，其中大部分在整理后以blob类型传输。

内容编码头告诉浏览器整个响应体用gzip算法进行压缩。解压blob块后，你可以看到如下期望的HTML：

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Strict//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd">
     <html xmlns="http://www.w3.org/1999/xhtml" xml:lang="en" lang="en" id="facebook" class=" no_js">
     <head>
     <meta http-equiv="Content-type" content="text/html; charset=utf-8" />
     <meta http-equiv="Content-language" content="en" />
     ...

关于压缩，头信息说明了是否缓存这个页面，如果缓存的话如何去做，有什么cookies要去设置（前面这个响应里没有这点）和隐私信息等等。

请注意报头中把Content-type设置为“text/html”。报头让浏览器将该响应内容以HTML形式呈现，而不是以文件形式下载它。浏览器会根据报头信息决定如何解释该响应，不过同时也会考虑像URL扩展内容等其他因素。

## 9.关闭TCP连接 ##

四次挥手

## 10. 浏览器开始显示HTML ##

在浏览器没有完整接受全部HTML文档时，它就已经开始显示这个页面了：  
![浏览器开始显示HTML][HTML 1]

## 11. 浏览器发送获取嵌入在HTML中的对象 ##

![浏览器发送获取嵌入在HTML中的对象][HTML 2]

在浏览器显示HTML时，它会注意到需要获取其他地址内容的标签。这时，浏览器会发送一个获取请求来重新获得这些文件。

下面是几个我们访问facebook.com时需要重获取的几个URL：

图片  
[http://static.ak.fbcdn.net/rsrc.php/z12E0/hash/8q2anwu7.gif][http_static.ak.fbcdn.net_rsrc.php_z12E0_hash_8q2anwu7.gif]  
[http://static.ak.fbcdn.net/rsrc.php/zBS5C/hash/7hwy7at6.gif][http_static.ak.fbcdn.net_rsrc.php_zBS5C_hash_7hwy7at6.gif]  
…  
CSS 式样表  
[http://static.ak.fbcdn.net/rsrc.php/z448Z/hash/2plh8s4n.css][http_static.ak.fbcdn.net_rsrc.php_z448Z_hash_2plh8s4n.css]  
[http://static.ak.fbcdn.net/rsrc.php/zANE1/hash/cvtutcee.css][http_static.ak.fbcdn.net_rsrc.php_zANE1_hash_cvtutcee.css]  
…  
JavaScript 文件  
[http://static.ak.fbcdn.net/rsrc.php/zEMOA/hash/c8yzb6ub.js][http_static.ak.fbcdn.net_rsrc.php_zEMOA_hash_c8yzb6ub.js]  
[http://static.ak.fbcdn.net/rsrc.php/z6R9L/hash/cq2lgbs8.js][http_static.ak.fbcdn.net_rsrc.php_z6R9L_hash_cq2lgbs8.js]  
…  
这些地址都要经历一个和HTML读取类似的过程。所以浏览器会在DNS中查找这些域名，发送请求，重定向等等…

但 不像动态页面那样，静态文件会允许浏览器对其进行缓存。有的文件可能会不需要与服务器通讯，而从缓存中直接读取。服务器的响应中包含了静态文件保存的期限 信息，所以浏览器知道要把它们缓存多长时间。还有，每个响应都可能包含像版本号一样工作的ETag头（被请求变量的实体值），如果浏览器观察到文件的版本 ETag信息已经存在，就马上停止这个文件的传输。

试着猜猜看“[fbcdn.net][]”在地址中代表什么？聪明的答案是"Facebook内容分发网络"。Facebook利用内容分发网络（CDN）分发像图片，CSS表和JavaScript文件这些静态文件。所以，这些文件会在全球很多CDN的数据中心中留下备份。

静态内容往往代表站点的带宽大小，也能通过CDN轻松的复制。通常网站会使用第三方的CDN。例如，Facebook的静态文件由最大的CDN提供商Akamai来托管。

举例来讲，当你试着ping static.ak.fbcdn.net的时候，可能会从某个akamai.net服务器上获得响应。有意思的是，当你同样再ping一次的时候，响应的服务器可能就不一样，这说明幕后的负载平衡开始起作用了。

## 12. 构建渲染树 ##

根据DOM和CSSOM树渲染，不可见元素不被会渲染

## 13. 浏览器布局渲染 ##

*  布局 - 根据渲染树布局
 *  绘制 - 在屏幕上绘制每个点

> 扩展:  
> **repaint**:
> 
>  *  repaint发生更改时，元素外观被改变，且在没有改变布局的情况下发生，如改变outline，visibility，background color，不会影响到dom结构  
>     **reflow**:
>  *  与repaint区别就是他会影响dom的结构渲染，同时他会触发repaint，他会改变他本身与所有父辈元素
>  *  这种开销是非常昂贵的，导致性能下降是必然的，页面元素越多效果越明显。  
>     **reflow常见情况**：
>  *  增删改DOM节点
>  *  移动DOM的位置或是动画显示
>  *  修改width、display等CSS样式
>  *  resize窗口或是滚动的时候
>  *  修改网页默认字体  
>     如：display:none会触发reflow和repaint，而visibility:hidden只会产生repaint

OK,到这里我们知道了从输入URL开始后，到请求页面返回的详细过程了。你要是能够达到这种程度，我想面试官会向你投去offer的目光！哈哈。

[URL]: /images/20220310/a652ba5efe2d4faea4e30fde112612e6.png
[www.baidu.com]: http://www.baidu.com
[baidu.com]: http://baidu.com
[url]: /images/20220310/4f85dee4e9bd4e968a219ecfdfeab18b.png
[ip]: /images/20220310/a8f87a5aec42482b9f50a2092526b4d1.png
[DNS]: /images/20220310/0a4297a176234457bf9a77405498a4c1.png
[wikipedia.org]: http://xn--wikipedia-921ov51hbczvg7i.org
[https_blog.csdn.net_Jochebed666_article_details_88377615]: https://blog.csdn.net/Jochebed666/article/details/88377615
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0pvY2hlYmVkNjY2_size_16_color_FFFFFF_t_70]: /images/20220310/8c5205f82a2e4b119878a0820a0a8454.png
[HTTP]: /images/20220310/1b0b97ba50ab4a19a7f38548c61ea6c8.png
[http_facebook.com]: http://facebook.com/%E2%80%9D%E3%80%82
[http_robozzle.com_puzzle.aspx_id_85]: http://robozzle.com/puzzle.aspx?id=85
[http_facebook.com_http]: http://facebook.com/%E2%80%9D%E4%B8%AD%E7%9A%84%E6%96%9C%E6%9D%A0%E6%98%AF%E8%87%B3%E5%85%B3%E9%87%8D%E8%A6%81%E7%9A%84%E3%80%82%E8%BF%99%E7%A7%8D%E6%83%85%E5%86%B5%E4%B8%8B%EF%BC%8C%E6%B5%8F%E8%A7%88%E5%99%A8%E8%83%BD%E5%AE%89%E5%85%A8%E7%9A%84%E6%B7%BB%E5%8A%A0%E6%96%9C%E6%9D%A0%E3%80%82%E8%80%8C%E5%83%8F%E2%80%9Chttp:
[facebook]: /images/20220310/99a3a4b147084897afaddddd75fee355.png
[http_www.facebook.com]: http://www.facebook.com/%E2%80%9D
[20190310114006561.png]: /images/20220310/11c82cf59ba646499ae4c45251d4fd03.png
[http_www.facebook.com 1]: http://www.facebook.com/%E2%80%9D%E6%89%8D%E6%98%AF%E8%A6%81%E8%AE%BF%E9%97%AE%E7%9A%84%E6%AD%A3%E7%A1%AE%E5%9C%B0%E5%9D%80%EF%BC%8C%E6%89%80%E4%BB%A5%E5%AE%83%E4%BC%9A%E5%8F%91%E9%80%81%E5%8F%A6%E4%B8%80%E4%B8%AA%E8%8E%B7%E5%8F%96%E8%AF%B7%E6%B1%82%EF%BC%9A
[20190310114102276.png]: /images/20220310/56a63348e82242c680904aedb0d20c62.png
[ASP.NET]: http://xn--ASP-ve1e.NET
[HTML]: /images/20220310/44d6eaece079477ab00a0c422ec49a97.png
[HTML 1]: /images/20220310/9fc6127a12c5404b8e4e7c9a6e3ac4d0.png
[HTML 2]: /images/20220310/977a0b0eefab425a864a72b2beafa76c.png
[http_static.ak.fbcdn.net_rsrc.php_z12E0_hash_8q2anwu7.gif]: http://static.ak.fbcdn.net/rsrc.php/z12E0/hash/8q2anwu7.gif
[http_static.ak.fbcdn.net_rsrc.php_zBS5C_hash_7hwy7at6.gif]: http://static.ak.fbcdn.net/rsrc.php/zBS5C/hash/7hwy7at6.gif
[http_static.ak.fbcdn.net_rsrc.php_z448Z_hash_2plh8s4n.css]: http://static.ak.fbcdn.net/rsrc.php/z448Z/hash/2plh8s4n.css
[http_static.ak.fbcdn.net_rsrc.php_zANE1_hash_cvtutcee.css]: http://static.ak.fbcdn.net/rsrc.php/zANE1/hash/cvtutcee.css
[http_static.ak.fbcdn.net_rsrc.php_zEMOA_hash_c8yzb6ub.js]: http://static.ak.fbcdn.net/rsrc.php/zEMOA/hash/c8yzb6ub.js
[http_static.ak.fbcdn.net_rsrc.php_z6R9L_hash_cq2lgbs8.js]: http://static.ak.fbcdn.net/rsrc.php/z6R9L/hash/cq2lgbs8.js
[fbcdn.net]: http://fbcdn.net