FreeBSD Basics



[ Home | FreeBSD | Samba | CMPP | Mail me ]


漫谈Internet缓冲
王波 - 摘自王波的个人主页

随着Internet的发展,上网的使用者越来越多,而每个网络连接到Internet主干的带宽是有限的,这样网络与Internet的连 接就成为了上网速度的瓶颈。由于Internet上的网络流量存在极大的不对称性,有些热门站点,例如yahoo,占据了网络流量 的大部分,点击这些热门站点的人们就会重复从Internet上下载同一个的文档。因此,如果对Internet数据进行缓冲处理, 就能节约宝贵的Internet连接带宽。

对Internet连接进行缓冲的技术称为Internet缓冲,又由于大部分Internet流量都是WWW浏览形成的流量,缓冲技术主要也是 针对WWW浏览,因此这种技术也被称为Web缓冲。与我们熟悉的磁盘缓冲技术类似,Internet缓冲是在一台本地服务器上开辟 一块缓冲区,保存访问Internet时获得的数据,这样在以后的浏览过程中如果还是访问那些网页,就不需要再次访问Interne t,而直接从缓冲区中获得数据就可以了。然而与磁盘缓冲不同的时,由于Internet缓冲面对是访问速度要慢于本地硬盘速度 的Internet,因此完全可以将缓冲区放置在服务器的硬盘上,而且也只有将缓冲区放置到硬盘上,才有可能开辟数G大小的缓 冲区,才能发挥Internet缓冲的作用。因为Internet上的数据量太大,太小的缓冲区意义不大。

事实上Internet缓冲并不是一个全新的概念,任何使用过Netscape Navigator浏览器的用户都会注意到,Navigator的设置选项里有一项就是用来设置缓冲的。在Navigator里,既可以设置内存 中的缓冲区大小,也可以设置磁盘上的缓冲区大小,这些缓冲区能为这个浏览器服务,避免它重复下载同一个页面。然而, 某个计算机上的缓冲区就只能为它自身服务,不同的计算机仍然会造成网络带宽的浪费。为了让不同的计算机都能享受同一 个缓冲区带来的好处,就必须使用一个专用的缓冲服务器。首先,人们发现可以利用代理服务器来达到这个目的,代理服务 器使用使用缓冲机制,这样凡是通过这个代理访问Internet的用户,都可以利用代理服务器的缓冲区,达到加速Internet访 问的目的。

直接使用代理服务器,便需要每个客户都配置自己的浏览器客户中的代理设置,使他们都使用这个代理服务器,这样就给使 用带来不便。而缓冲区只有在充分利用的条件下才能发挥有效的作用,例如当只有一个用户使用代理服务器时,就根本无法 得到缓冲区带来的好处,而且Internet访问随机性很强,只有使用代理服务器的人越多,在缓冲中找到数据而不必连接到Int ernet的几率就越大。因此,如果能不更改客户浏览器的任何设置,就能让网络内的计算机享受缓冲区带来的好处,甚至感觉 不到存在起缓冲机制的代理服务器,显然就极大的提高缓冲服务器的利用率,进而提高网络请求在缓冲中的命中率,充分发 挥缓冲机制带来的优势。

为了设置这种具有透明性的缓冲服务,就不仅要设置缓冲服务器,而且还要在网络设备上入手。由于网络内的浏览器并没有 设置代理服务器,那么它的浏览请求数据包将被计算机直接发送到要浏览的目的服务器。当这个数据包经过网络设备时,网 络设备可以区分出这些数据包,不按正常的方式转发到Internet上,而是将其转发给缓冲服务器,从而达到缓冲Internet数 据的目的。只有经过设置需要缓冲的地址和浏览请求才需要缓冲,而不是缓冲所有的服务请求。这些能够识别数据包的内容 的网络设备为路由器或者第四层交换机。

当要基于现有路由器的基础上来实现这种透明缓冲服务时,就需要设置路由器。虽然不是所有的路由器都支持这种非标准路 由的透明缓冲转发功能,然而高端的CISCO大部分种类路由器,低端的使用Linux或者FreeBSD操作系统实现的软件路由器都支 持这种转发能力。因此,需要查询这些系统的配置说明来设置这种转发功能。与这些转发功能相配合,还需要设置一个起缓 冲功能的代理服务器,由于这个代理服务器起到非常重要的缓冲功能,因此它的性能非常重要。一般采用Unix操作系统加上 著名的Squid代理服务器,或者采用专业厂商销售的专业缓冲服务器来提供缓冲服务。

当在路由器上设置非标准路由的转发功能的时候,就需要路由器对每个数据包都进行额外处理,显然这会增加路由器处理数 据包的开销。并且有些路由器无法支持这种非标准的转发功能,此时就需要采用支持这种功能的第四层交换机来转发数据包 。由于第四层交换机采用硬件的方式来实现数据包的转发,因此开销非常小而性能非常高,结合专业厂商销售的专业缓冲服 务器,就可以构成能够同时为数千浏览器同时服务的高性能缓冲服务。

采用这种Internet缓冲技术,可以在不增加Internet主干带宽的同时提高访问Internet的速度,充分利用现有Internet连接 带宽,国外很多与Internet连接的网络就采用了这种新技术。而专业销售缓冲服务器与第四层交换机的厂商,也提供对这种 新技术的技术支持,使得这种技术在与Internet主干连接速度有限的网络能够发挥应有的作用。




[ Home | FreeBSD | Samba | CMPP | Mail me ]

Copyright © 2000, 2001 it's meaculpa. All rights reserved.