摘要:本文首先分析当今支撑宽带应用和内容的两大技术:流媒体技术和内容分发网络(CDN)技术,结合上海电信的宽带信息源建设项目,介绍了电信的IP城域网架构上建设1+4的CDN和流媒体融合的平台。通过CDN和流媒体的技术方案,希望为宽带的发展提供一定的技术参考。
关键词:流媒体;CDN网络;宽带建设;宽带信息源;宽带内容
1 宽带发展和内容平台技术
随着宽带建设的发展和竞争的加剧,宽带应用成为竞争的核心。而基于流媒体技术和宽带内容分发网络(CDN,Content Delivery Network)技术的出现,为建立适合宽带网络的应用提供了技术支撑基础。
流媒体技术的核心技术是串流(streaming) 技术和高压缩技术,使多媒体视音频信息以边下载边播放的形式提供服务,从而彻底转变了传统互联网呆板的内容表现形式,具有强视觉冲击力的视频节目成了人们进入宽带网络最重要的应用之一。各电信运营商希望能够通过流媒体技术和宽带网络的发展,巩固原先的网络通信市场,并以此介入新兴的网络媒体娱乐市场。因为传统的网络运营商本身不具备广播电视传播网络,但宽带网络和流媒体技术及互动性与未来的发展,让宽带运营商看到了发展宽带交互视频的机会与美好前景。“流媒体将改变宽带产业”正在成为一种共识。
同时,CDN技术的出现及其与流媒体技术的融合,为在广域和城域范围内开展宽带流媒体应用提供了保证。CDN的全称是Content Delivery Network,即内容分发网络。其目的是通过在现有的Internet中增加一层新的网络架构,将内容(包括流媒体内容)发布到最接近用户的网络“ 边缘 ”,使用户可以就近取得所需的内容,提高用户访问内容的响应速度。因而CDN可以提高Internet中信息流动的效率。从技术上全面解决由于用户访问量大、网点分布不均、对骨干网带来拥塞等原因,提高用户访问流媒体内容的访问范围和响应速度。
可以说,具有强烈视觉冲击力的视频节目能够改变宽带内容贫瘠的现状,把宽带带出冬天,并让它迸发出勃勃生机。流媒体技术的发展和内容分发平台的成熟,必将为宽带内容提供革命性的推动力,必将唤醒整个宽带产业,为最终用户带来互联网多媒体新闻发布、在线直播、网络广告、电子商务、视频点播、远程教育、远程医疗、网络电台、实时视频会议等互联网的信息服务,给运营商、内容提供商、服务提供商等整个宽带产业价值链带来丰厚的利润。
2 流媒体技术基础
流媒体指在Internet/Intranet中使用流式传输技术的连续时基媒体,如音频、视频或多媒体文件。流式媒体在播放前并不下载整个文件,只将开始部分内容存入内存,流式媒体的数据流随时传送随时播放,只是在开始时有一些延迟。流媒体实现的关键技术就是流式传输。
流式传输定义很广泛,现在主要指通过网络传送媒体(如视频、音频)的技术总称。其特定含义为通过Internet 将影视节目传送到PC。实现流式传输有两种方法:实时流式传输(realtime streaming)和顺序流式传输(progressive streaming)。一般说来,如视频为实时广播,或使用流式传输媒体服务器,或应用如RTSP的实时协议,即为实时流式传输。如使用HTTP服务器,文件即通过顺序流发送。采用哪种传输方法依赖你的需求。当然,流式文件也支持在播放前完全下载到硬盘。
2.1 流媒体技术原理
流式传输的实现需要缓存。因为Internet以包传输为基础进行断续的异步传输,对一个实时A/V源或存储的A/V文件,在传输中它们要被分解为许多包,由于网络是动态变化的,各个包选择的路由可能不尽相同,故到达客户端的时间延迟也就不等,甚至先发的数据包还有可能后到。为此,使用缓存系统来弥补延迟和抖动的影响,并保证数据包的顺序正确,从而使媒体数据能连续输出,而不会因为网络暂时拥塞使播放出现停顿。通常高速缓存所需容量并不大,因为高速缓存使用环形链表结构来存储数据:通过丢弃已经播放的内容,流可以重新利用空出的高速缓存空间来缓存后续尚未播放的内容。
流式传输的实现需要合适的传输协议。由于TCP需要较多的开销,故不太适合传输实时数据。在流式传输的实现方案中,一般采用HTTP/TCP来传输控制信息,而用RTP/UDP来传输实时声音数据。
流式传输的过程一般是这样的:用户选择某一流媒体服务后,Web浏览器与Web服务器之间使用HTTP/TCP交换控制信息,以便把需要传输的实时数据从原始信息中检索出来;然后客户机上的Web浏览器启动A/V Helper程序,使用HTTP从Web服务器检索相关参数对Helper程序初始化。这些参数可能包括目录信息、A/V数据的编码类型或与A/V检索相关的服务器地址。
A/V Helper程序及A/V服务器运行实时流控制协议(RTSP),以交换A/V传输所需的控制信息。与CD播放机或VCR所提供的功能相似,RTSP提供了操纵播放、快进、快倒、暂停及录制等命令的方法。A/V服务器使用RTP/UDP协议将A/V数据传输给A/V客户程序(一般可认为客户程序等同于Helper程序),一旦A/V数据抵达客户端,A/V客户程序即可播放输出。
需要说明的是,在流式传输中,使用RTP/UDP和RTSP/TCP两种不同的通信协议与A/V服务器建立联系,是为了能够把服务器的输出重定向到一个不同于运行A/V Helper程序所在客户机的目的地址。实现流式传输一般都需要专用服务器和播放器,其基本原理如图1所示。
2.2.1 Microsoft Windows Media 服务
Microsoft Windows Media服务是一个能适应多种网络带宽条件的流式多媒体信息的发布平台,包括了流媒体的制作、发布、播放和管理的一整套解决方案。另外,还提供了开发工具包(SDK)供二次开发使用。
Windows Media 服务的核心是ASF(Advanced Stream Format)。ASF是一种数据格式,音频、视频、图像以及控制命令脚本等多媒体信息通过这种格式,以网络数据包的形式传输,实现流媒体内容发布。其中,在网络上传输的内容就称为ASF Stream。ASF支持任意的压缩/解压缩编码方式,并可以使用任何一种底层网络传输协议,具有很大的灵活性。Windows Media Service系统包括三大部分:制作、发布和播放。
Windows Media服务器对外提供ASF流式媒体的网络发布服务,包括两大基本服务模块:Unicast 服务和Station 服务。其中Unicast服务为客户提供了点对点连接方式的服务,Station服务对外提供了广播式服务。而Unicast服务又可以按用户的参与程度分为两种,一是On-Demand Unicast,这种方式下,用户建立和发布服务器的点对点连接,可以控制播放的过程,包括开始、暂停、快进等。另一种是Broadcast Unicast,这种方式下,用户也和发布服务器建立点对点连接,但是处于一种被动接收状态,只能观看播放,正如在广播服务方式下一样,这一般用于实时的信息发布。
2.2.2 RealNetworks RealSystm
RealNetworks公司所制定的音频视频压缩规范称为RealMedia,是目前在Internet上相当流行的跨平台的、客户/服务器结构的多媒体应用标准,它采用音频/视频流和同步回放技术来实现在Intranet上全带宽地提供最优质的多媒体,同时也能够在Internet上以28.8kbit/s的传输速率提供立体声和连续视频。RealMedia包括三类文件:RealAudio、RealVideo及RealFlash。RealAudio用来传输接近CD音质的音频数据,RealVideo用来传输连续视频数据,而RealFlash则是RealNetworks公司与Macromedia公司新近合作推出的一种高压缩比的动画格式。
它的整套流媒体解决方案RealSystem包括:客户端播放软件RealPlayer,可以独立运行,也可以作为插件在浏览器中运行;制作端产品是内容制作软件RealProducer、RealPresenter,它将普通格式的文件压缩转换为流格式文件;服务器端软件RealServer用于提供流式服务。
2.2.3 Apple QuickTime
Apple计算机公司的QuickTime是数字媒体领域事实上的工业标准,可以通过Internet提供实时的数字化信息流、工作流与文件回放功能。它由三个不同部分组成:QuickTime电影(Movie)文件格式、QuickTime媒体抽象层以及QuickTime内置媒体服务系统。QuickTime电影文件格式定义了存储数字媒体内容的标准方法。使用这种文件格式不仅可以存储单个的媒体内容(如视频帧或音频采样),而且能保存对该媒体作品的完整描述。QuickTime媒体抽象层是一种综合性的媒体软件架构,它定义了软件工具和应用程序如何访问QuickTime内置媒体服务系统,以及如何通过硬件提升QuickTime的关键性能;而QuickTime内置媒体服务系统则可作为软件开发工具的基础,帮助软件开发商和用户充分利用QuickTime的技术优势。
2.3 流媒体技术的发展
由于近年来宽带建设的快速发展,促使流媒体技术飞速地发展,特别是领导流媒体技术发展的两个技术提供商—微软和RealNetworks公司,分别在各自的流媒体体系中引入和深化其服务功。RealNetworks公司于去年年底发布了最新的RealONE系统,而微软也将在近期推出其最新的Media服务器Corona。分析两个厂商发布的新的服务器,可以看到流媒体发展的一些新的趋势: 数字权限技术、智能流技术、交互功能融合等。
2.3.1 DRM
数字权限管理(Digital Rights Management)保护了音频和视频不受非法翻印的侵害,其方法是在播放内容之前要求播放者提供一个许可密钥。这个许可证是从内容所有人的站点上获得的,或者也可以通过一个票据交换所,如Reciprocal来提供。许可密钥是不可以转让的,而且可以有有效期限,过了这个有效期限就无法再播放内容了。分布式安全服务和与像微软站点服务器这样的产品的进一步集成,提供了按次数计费和按时间计费的商业服务,以及基于最终用户参数选择或者位置的个性化广告插播。
2.3.2 智能流技术
智能流超越带宽和影像即时传送的限制:第一,智能流提供转换器(encoder)平台,让各式不一样带宽的文件同时转换(encode)并合成只有一个文件;第二,智能流也提供一个容错的客户/服务的传送方式。当带宽改变时,影音的传送会从这个多重编码文件中找出最佳的传送结合。服务器可以因带宽的改变而更改资料传送的数量。这样一来可以保持RealPlayer不要重新执行。另一个针对每个不同带宽的客户端解决方法便是制作多重编码文件。当客户连接时,服务器便从多重编码文件给这个客户适当的编码。
2.3.3 交互能力融合
RealONE结合媒体播放功能以及内容订阅服务,可以播放MP3、MPEG、RA及RAM等档案,同时RealONE多层画面功能,即当一个屏幕播放影碟或歌曲的时候,旁边将有一个侧屏幕提供有关影碟或歌曲的信息或广告, 这一功能将促进商业交易机会,进一步拉动流式媒体供应商与商家用户的合作关系。
微软的新一代服务器Corona中可以提供服务器端播放列表,允许内容提供商动态地更新数据流,比如实时插入广告等等。它还为开发人员提供了附加的辅助手段——新的NET插件模型,利用该模型可以把数字媒体嵌入应用程序中。微软希望在构建流媒体商业模型时,自己能成为它事实上的标准。
3 宽带内容分发平台技术
3.1 内容分发平台组成
一个典型的内容分发网络(CDN)由下述5部分组成,如图2所示。
各个部分的内容功能如下:
内容缓存:为用户提供真正内容的服务点,一般位于用户接入的集中点或骨干网的POP接入点,可缓存静态的Web内容和流媒体内容。
内容交换机:处于用户接入集中点和POP点,可对内容进行缓存负载平衡及访问控制。在很多设备情况下,和内容缓存集中在一个设备上。
内容路由器:在各内容交换机之前,通过全局负载技术(GSLB)和用户就近访问技术,为用户的请求选择最佳的访问站点。
内容分发系统:内容缓存只可缓存静态内容,而对于一些要求对其所有分布站点的内容作镜像的用户,我们需要一个内容镜像系统,这就是内容分发系统。
CDN管理系统:由于CDN系统是提供给多个用户共享的,所以需要一个中心管理系统进行CDN的集中管理。
3.2 内容分发平台的工作原理
当用户访问已经加入CDN服务的网站流媒体内容时,首先通过DNS重定向技术确定最接近用户的最佳CDN节点,同时将用户的请求指向该节点。当用户的请求到达指定节点时,CDN的服务器(节点上的高速缓存)负责将用户请求的内容提供给用户。
用户访问的基本流程如下:
(1)用户在自己的浏览器中输入要访问的网站的域名;
(2)浏览器向本地DNS请求对该域名的解析;
(3)本地DNS将请求发到网站的主DNS,主DNS再将域名解析请求转发到重定向DNS;
(4)重定向DNS根据一系列的策略确定当时最适当的CDN节点,并将解析的结果(IP地址)发给用户;
(5)用户向给定的CDN节点请求相应网站的内容;
(6)CDN节点中的服务器负责响应用户的请求,提供所需的内容。
CDN在一个城域范围内的服务网络如图3所示。用户通过以上的访问流程,在最佳的位置来访问各种内容,同时CDN的实现需要依赖多种网络技术的支持:
负载均衡技术、动态内容路由、高速缓存机制、动态内容分发与复制、安全服务等。
1.负载均衡技术
负载均衡技术,在网络环境下简而言之就是把网络负载尽量均匀地分配到几个能完成相同任务的服务器或网络节点上去执行和处理。由此来避免部分网络节点过载,而另一部分节点空闲的不利状况,改善网络性能,提高处理效率。
在CDN中,负载均衡又分为服务器负载均衡和服务器全局负载均衡。
服务器负载均衡
由于网站内容、功能的日益增多,直接导致了支撑网站的服务器数量的不断增加。如何行之有效地根据各台服务器的处理能力动态地分配任务,已成为解决服务器访问速度问题的关键,这里所用到的技术,就是服务器负载均衡技术。利用这种技术,能够在性能不同的服务器之间进行任务分配,既保证性能差的服务器不成为系统的瓶颈,也能保证性能高的服务器资源得到充分利用,从而加快了Web服务器的访问速度。
服务器全局负载均衡
服务器全局负载平衡允许Web网络托管商、门户站点和企业根据地理位置分配内容和服务。分散内容和服务有许多好处,包括可以自动地将用户指引到位于其地理区域中的服务器,从而减少响应时间和对昂贵的国际数据连接的使用时间;引导用户离开拥挤的网络和服务器;通过使用多站点内容和服务来提高容错性和可用性,防止因本地网或区域网络中断、断电或自然灾害而导致的故障。
服务器全局负载均衡一般依照一些标准将用户的请求转到“最佳站点”,从而为其提供更好的服务。这些标准可以是站点的健康状况、站点距离、检索指定内容所需的响应时间等。
2.动态内容路由
当用户访问加入CDN服务的网站时,域名解析请求将最终由重定向DNS负责处理。它通过一组预先定义好的策略(如内容类型、地理区域、网络负载状况等),将当时最接近用户的节点地址提供给用户,使用户可以得到快速的服务。同时,它还与分布在世界各地的所有CDNC(CDN Control)节点保持通信,搜集各节点的健康状态,确保不将用户的请求分配到任何一个已经不可用的节点上。它还具有在网络拥塞和失效的情况下,自适应调整路由的能力。
3.高速缓存机制
缓存服务通过几种方式来改善用户的响应时间。如代理缓存服务、透明代理缓存服务、使用重定向服务的透明代理缓存服务等。通过 缓存服务,用户访问内容时可以将 WAN 的流量降至最低,降低对骨干网的压力。
4.动态内容分发与复制
内容网站访问响应速度取决于许多因素,如网络的带宽是否有瓶颈、传输途中的路由是否有阻塞和延迟、网站服务器的处理能力、访问距离等。 多数情况下,网站响应速度和访问者与网站服务器之间的距离有密切的关系。尽管中国电信计划将骨干网络提速8倍,并且增加带宽,但是如果访问者和网站之间的距离太远的话,它们之间的通信一样需要经过重重的路由转发和处理,网络延误不可避免。一个有效的方法就是利用内容分发与复制机制,将占网站主体的大部分静态网页、图像和流媒体数据分发复制到各地的加速节点上。
内容分发网络可以采用智能路由和流量管理技术,及时发现与访问者最近的加速节点,并将访问者的请求转发到该加速节点,由该加速节点提供内容服务。利用内容分发与复制机制,托管客户不需要改动原来的网站结构,只需修改少量的DNS配置,就可以加速网络的响应速度。
4 上海电信宽带信息源平台架构
4.1 信息源平台服务体系
上海电信宽带信息源建设作为上海电信向广大市民推出的信息服务的延伸和发展,结合宽带优势和特色将体现出互动性强,视频和音频相结合的多媒体特征。上海电信信息源平台建设充分综合了当今最先进的流媒体技术和内容分发技术,同时,在宽带信息源的建设中充分考虑了在宽带接入、宽带信息源平台(流服务平台、海量存储和内容分发)和宽带内容提供商之间建立一个良好的管理和合作模式。
信息源平台架构如图4所示,整个平台架构是建立在上海电信基础网络之上(ATM、热线骨干、宽带骨干网)的分布式架构,提供更大的网络访问分布能力,提供给用户的各种信息源服务是建立在高速和中低速流技术平台的基础上(选用MMS和Real的结合),通过后台的海量的存储结构和宽带内容分发平台为内容服务提供了可靠、稳定的物理平台保证。
4.2 信息源平台结构
信息源平台网络建设架构为1+4,即1个核心点和4个分节点,如图5所示.其中核心点为CDN系统的管理和控制中心,完成把中心点的内容(MMS、Real等)分批、定时、按计划分发到各个分中心节点,同时中心点的4层交换机和各个分中心的4层交换机构成了一个全局城域负载均衡网络(GSLB),当客户通过本地宽带接入服务器(BAS)接入到城域网中访问某个节目源时,将根据用户与各个中心点的物理距离和当前的设备负载情况,重定向到最合理的访问点。
核心层通过4层交换机连接中心内容分发服务器和所有的应用服务器(包括流媒体平台)。通过中心内容分发服务器完成对中心流媒体服务平台中提供的内容定时、分类地分发到区域点的内容分发器;同时,核心的4层交换机通过和区域的交换机的配合完成对用户访问的定向;考虑到宽带应用的存储量非常大,应用种类繁多,所以所有的应用数据通过中央统一存储系统进行数据读写,便于统一管理和资源的合理应用。
4个区域节点的作用包括:流媒体平台的缓存节点,提供分区高速内容缓存;广播业务的分布点,提供两级应用广播服务;部分应用前端分布节点。每个节点与宽带IP骨干网节点重合,通过吉比特端口与宽带IP骨干网节点的路由器连接,利用宽带IP骨干网的拓扑结构与宽带信息源核心节点连接。4个区域节点的作用包括:流媒体平台的缓存节点,提供分区高速内容缓存;广播业务的分布点,提供两级应用广播服务;部分应用前端分布节点。每个节点与宽带IP骨干网节点重合,通过吉比特端口与宽带IP骨干网节点的路由器连接,利用宽带IP骨干网的拓扑结构与宽带信息源核心节点连接。
4.3 现有CDN功能
基于CDN网络基础上的宽带内容服务平台实现了3个核心功能:用户就近访问;授权内容控制;全局负载均衡;基于应用认证计费的业务管理和与内容提供商合作的业务平台解决了经营宽带内容和进行内容合作过程中对于用户的认证、计费和业务结算的功能。
就近访问
实现宽带用户在访问特定的一些流媒体服务或者是已经被CDN部署到边缘节点上的Cache内容时,能够就近访问Cache,也就是能把用户的访问定向到离用户比较近而且运转正常的Cache上去,由边缘的Cache直接为用户提供服务,从而做到节省带宽和减轻对核心服务器的压力,以及加速对中、高速流媒体的访问。
授权访问
在Cache上缓存了的内容(包括由核心部署到边缘节点上的内容以及流媒体缓存内容如REAL、Windows MMS等),只有在用户通过认证、授权的基础上,才能直接从边缘节点的Cache上获得服务,并且有访问时间、访问次数、获取的数据量等等的访问记录。
内容分发的管理
实现可控制的、可管理的、可定制的内容部署、分发系统。对于合约客户,能够实现按照一定的策略,比如什么内容、什么时间、什么方式传送到哪里,何时生效、给谁使用等等,将其要求部署的内容按照一定的合约方案部署到边缘节点的Cache上去。
同时,CDN不仅扩充了流媒体平台的服务范围,同时也扩充了流媒体的管理范围。当CDN中的分节点,即Cache点响应用户的访问请求时,所有用户的对内容的请求命令都转发到中心点的流媒体平台,即由服务器判断用户是否有权观看影片,并可以禁止用户通过媒体播放器等渠道绕过认证系统,用户只有基于授权的情况下,得到相关CDN节点上内容的服务,流媒体的数据内容由Cache提供(见图6)。
4.4 信息源平台建设总结
上海电信宽带信息源平台建设从2001年8月份开始建设,于2002年3月份初步建成试运行,平台的建立为上海电信的宽带用户(ADSL、LAN等)在城域范围内以最佳的路由、最快的速度、最稳定的方式访问流媒体内容提供了保证。同时,上海电信通过上海热线II的重新改版和引入基于内容合作的计费、认证管理平台,促使了内容的极大丰富和充实,从而为上海电信的宽带建设提供强大的核心竞争力,真正通过宽带应用和内容来迎接宽带的春天。
摘自《电信建设》2002.3