流媒体（Streaming Media）的出现改变了这种状况。它不需要下载整个文件就可以在向播放器传输的过程中一边下载一边播放，实现了在网上点播或观看电影、电视的梦想。现在，以"流"的形式进行数字媒体的传送，使人们一定的带宽环境下就可以在线欣赏到连续不断的高品质音频和视频节目。在互联网大发展的时代，流媒体技术的产生和发展必然会给我们的日常生活和工作带来深远的影响。专家预言，流媒体将成为未来因特网上应用的主流，实现沟通和传播的多向性使传播不再受时间和空间的限制。
所谓流媒体是指用户通过网络或者特定数字信道边下载边播放多媒体数据的一种工作方式。流媒体应用的一个最大的好处是用户不需要花费很长时间将多媒体数据全部下载到本地后才能播放，而仅需将起始几秒的数据先下载到本地的缓冲区中就可以开始播放，后面收到的数据会源源不断输入到该缓冲区，从而维持播放的连续性，因此流媒体播放器通常只是在开始时有一些时延。流媒体系统要比下载播放系统复杂得多，所以需要将多媒体的编解码和传输技术很好地结合在一起，才能确保用户在复杂的网络环境下也能得到较稳定的播放质量。
多媒体数据在传输前必须要先经过编码器有效地压缩成码流，以减少对网络资源的占用率。目前常用的视频编码器有MPEG-2、MPEG-4、H.261、H.263、H.264、Window Media视频编码器和Real System视频编码器等；编码器有MP3、MPEG AAC、Window Media 音频编码器和AMR等；图像编码器有JPEG和JPEG2000等。多媒体编码器所生成的码流只包含了解码该码流所必需的信息，它不包含媒体间的同步、随机访问等系统信息，因此编码后的多媒体数据还要被组织成为具有特定系统格式的多媒体文件用于流媒体传输或者是存入磁盘中，目前常用的文件格式有MPEG-2系统，MP4，微软公司的ASF，Real的文件格式，QuickTime的文件格式以及用于3G无线服务的3GPP和3GPP2等等。
当流媒体在实时应用中（如现场流媒体广播），根据当前的网络状况和用户的终端参数，多媒体数据是一边被编码一边被流媒体服务器传输给用户。而在其他的非实时应用中，多媒体数据可以被事先编码生成多媒体文件，存储在磁盘阵列中。当提供多媒体服务时，流媒体服务器直接读取这些文件传输给用户，这样服务方式对设备的要求较低。目前许多流媒体服务属于后一种方式，这样就要求流媒体服务器具有一定的机制来适应网络状况和用户设备。
目前码流自适应这一模块主要采用的方法有：将多媒体文件中的视频码流转换为一个特定码率和图像尺寸的码流；或者把同一段视频内容编码生成多个具有不同码率和图像尺寸的码流，然后自适应选择一个最合适的码流传输给用户。生成的码流还需要进一步打包成为特定网络传输协议的数据包用于网络传输，由于现在许多网络并不能保证传输的数据能够及时并完全正确地被用户收到，传输的数据包可能需要加前向纠错编码（FEC）来保护，经过这些处理后多媒体数据就可以通过网络传输给用户，目前常用的传输协议有RTP/RTCP、HTTP和MMS。
用户收到传输的数据后，如果存在丢包或者是比特出错，错误恢复处理会根据附加的纠错数据来恢复传输错误。如果还不能恢复传输错误，用户端可以向服务器发出重传请求，在解码开始前重新传输丢失的包。恢复后的多媒体数据将由解码器解码得到重构的多媒体数据，由于容错保护和数据重传可能不能恢复所有的错误数据，错误掩藏模块可以利用重构的多媒体数据的相关性来掩盖这些错误，最后这些数据就播放给用户。
通常流媒体系统中的服务器和用户间并不是单向通信，如前面提到的重传请求。事实上，用户端会传递给服务器许多反馈信息，如终端设备的能力和网络连接速度会传给服务器的码流自适应模块来调整码流，在实时应用中这些信息还可能传给编码器；用户端的丢包率、数据包收到的时间信息和用户缓冲区状态等信息也会传递给服务器来估计当前的网络状况，从而控制码流的自适应和数据的发送策略。从上面的描述来看，实际上流媒体系统在多媒体信息处理中是一个非常复杂的系统，目前市面上主要的产品有微软公司的Windows Media， Real公司的Real System和苹果公司的QuickTime，其中Windows Media系统的市场占有率最大。
二、流媒体的关键技术
实现流媒体的关键技术是流式传输。流式传输的定义很广泛，主要是指通过网络传送媒体（如视频、音频）的技术总称。
流式传输分为顺序流式传输和实时流式传输：
顺序流式传输采用顺序下载方式，在下载文件的同时用户可观看在线节目，在给定时刻，用户只能观看已下载的那部分，而不能跳到还未下载的部分，这种方式不像实时流式传输那样，可以在传输期间根据用户连接的速度进行调整。顺序流式传输不适合长片段和有随机访问要求的视频节目，如讲座、演说和演示等，它也不支持现场广播。严格地说，它是一种点播技术。
实时流式传输可保证媒体信号带宽与网络连接匹配，可实时观看节目。实时流与HTTP流式传输不同，它需要专用的流媒体服务器与传输协议。实时流式传输总是实时传送，特别适合现场事件，也支持随机访问，用户可对观看内容进行快进或后退。理论上，实时流一经播放就不可停止，但可进行周期暂停。
流式传输模式一般会使用RTP/UDP、RTSP/TCP两种通信协议与A/V（Audio/Video）Server建立联系，将服务器的输出重定向到一个运行A/V Player程序所在客户机的目的地址。如图1所示，流式传输系统一般都要配置一套专用的服务器和播放器。
图1 流式传输基本原理
移动流媒体的传输协议：
移动流媒体业务的开展给移动增值服务带来了新的希望，2.5G、3G以及超3G无线网络的发展也使得流媒体技术可以被用到无线终端设备上，目前中国联通公司提供CDMA 1x，用户网络带宽最多可以达到100kbit/s，这已经足够提供QCIF大小的流媒体服务；而且随着3G无线网络的应用，用户的网络带宽可以达到384kbit/s。另一方面，手机设备运算能力越来越强，存储空间越来越大，不用说SMART Phone和Pocket PC等高端手机，就是一般的中档手机，如Nokia 6610，也能实现基本的H.264的软件解码。
面向无线网络的流媒体应用对当前的编码和传输技术提出了更大的挑战，首先，相对于有线网络而言，无线网络状况更不稳定，除去网络流量所造成的传输速率的波动外，手持设备的移动速度和所在位置也会严重地影响到传输速率，因此高效的可自适应的编码技术至关重要。其次，无线信道的环境也要比有线信道恶劣的多，数据的误码率也要高许多，而高压缩的码流对传输错误非常敏感，还会造成错误向后面的图像扩散，因此无线流媒体在信源和信道编码上需要很好的容错技术。在移动流媒体业务的发展过程中，存在如下问题：
（1） 无线网络带宽窄，干扰严重
CDMA1X与GPRS分别作为当前中国联通与中国移动的主流2.5G无线网络技术，网络传输带宽较之以前有了很大的提高,但仍然十分有限。CDMA1X在理论峰值情况下下载传输速率达到144kbps，但实际情况下，稳定的传输速率通常在70kbps左右。GRPS在理论上可以达到115kbps，但实际情况下，稳定的传输速率通常在20kbps左右。并且随着使用用户的增加，网络的性能将会进一步下降。另外无线网络的干扰严重，导致网络传输的误码的可能性大大增加。
（2） 移动终端处理能力低，内存容量小
虽然目前国内市场上基于ARM9或是与此同等能力的芯片的高端手机已经越来越多，但由于手机中低端用户基数庞大而带来的巨大的市场商机，使得各个终端厂家对中低端用户尤为重视。因此目前占市场份额最多的、主流的手机仍然采用的是ARM7系列的芯片，处理能力在几十个MIPS左右。
目前移动终端的内存容量通常也比较有限。市场上主流的BREW手机预留给应用程序的动态内存通常在700KB左右；基于J2ME的手机预留给应用程序的动态分配的内存通常在64KB或128KB；基于Symbian/Linux/Windows Mobile等高端手机预留给应用程序的动态分配的内存在1-4MB左右。
（3） 终端系统平台、LCD多样化
相对于PC的平台而言，移动终端的系统平台多样化更加明显，常见的系统平台有Symbian、Linux、Windows Mobile、Palm OS以及一些私有平台。移动终端系统多样化在很长的一段时间内将会继续存在。为了提供一个统一的手机应用程序运行环境，J2ME与BREW应运而生。但不同的厂家对J2ME与BREW的支持通常都存在差异。平台的多样化加上LCD大小不一，使得实现适应多种移动终端的应用程序难度非常大。
（4） 移动终端的电池能源有限
尽管手机设备的运算能力越来越强，但是由于它是由电池供电的，因此编解码处理不能太复杂，并且最好能够根据用户设备的电池来调整流媒体的接收和处理，能源管理技术也是移动流媒体的一个研究热点。
作者供稿 CTI论坛编辑
