1.1 多媒体技术概述

多媒体技术是指通过计算机对文字、数据、图形、图像、动画、声音等多种媒体信息进行综合处理和管理，使用户可以通过多种感官与计算机进行实时信息交互的技术，又称为计算机多媒体技术。

1.1.1 媒体、多媒体简介

1.媒体

（1）媒体的定义

媒体一词来源于拉丁语“Medium”，译为媒介，是信息的载体，是指传播过程中，携带和传递信息的中间物质，即媒体是信息得以存储和传播的介质。媒体有两层含义，一是承载信息的物体；二是储存、呈现、处理、传递信息的实体。

（2）媒体的分类

原国际电话电报咨询委员会（Consultative Committee on International Telephone and Telegraph,CCITT）把媒体分成如下5类。

●感觉媒体（Perception Medium）：指直接作用于人的感觉器官，使人产生直接感觉的媒体，如引起听觉反应的声音，引起视觉反应的图像等。

●表示媒体（representation Medium）：指传输感觉媒体的中介媒体，即用于数据交换的编码，如图像编码（JPEG、MPEG等）、文本编码（ASCII码、GB2312等）和声音编码等。

●表现媒体（Presentation Medium）：指进行信息输入和输出的媒体，如键盘、鼠标、扫描仪、话筒、摄像机等为输入媒体；显示器、打印机、喇叭等为输出媒体。

●存储媒体（Storage Medium）：指用于存储表示媒体的物理介质，如硬盘、软盘、磁盘、光盘、ROM及RAM等。

●传输媒体（Transmission Medium）：指传输表示媒体的物理介质，如电缆、光缆等。

图1-1所示为多种媒体的图示。

2.多媒体

（1）多媒体的定义

“多媒体”一词译自英文“Multimedia”，而该词又是由mutiple和media复合而成的。是指多种媒体的结合应用。

（2）多媒体的特点

多媒体技术有以下几个主要特点。

●集成性。能够对信息进行多通道统一获取、存储、组织与合成。

●控制性。多媒体技术是以计算机为中心，综合处理和控制多媒体信息，并按人的要求以多种媒体形式表现出来，同时作用于人的多种感官。

●交互性。交互性是多媒体应用有别于传统信息交流媒体的主要特点之一。传统信息交流媒体只能单向地、被动地传播信息，而多媒体技术则可以实现人对信息的主动选择和控制。

●非线性。多媒体技术的非线性特点可以改变人们传统循序性的读写模式。以往人们读写方式大都采用章、节、页的框架，循序渐进地获取知识，而多媒体技术借助超文本链接（Hyper Text Link）的方法，把内容以一种更灵活、更具变化的方式呈现给读者。

●实时性。当用户给出操作命令时，相应的多媒体信息都能够得到实时控制。

1.1.2 多媒体计算机

1.多媒体计算机的定义

多媒体计算机（Multimedia Computer）指能够对声音、图像、视频等多媒体信息进行综合处理的计算机。多媒体计算机一般指多媒体个人计算机（MPC）。多媒体计算机如图1-2所示。

2.多媒体计算机的组成

多媒体计算机系统由多媒体计算机硬件系统和多媒体计算机软件系统所组成，其组成结构如图1-3所示。

（1）多媒体计算机硬件系统

多媒体计算机硬件系统主要包括以下几个部分。

●多媒体主机：如个人机、工作站、超级微机等。

●多媒体输入设备：如摄像机，电视机、话筒、录音机、CD-ROM、扫描仪等。

●多媒体输出设备：如打印机、绘图仪、音响、显示器、投影仪等。

●多媒体存储设备：如硬盘、光盘、磁带、U盘等。

●多媒体功能卡：如视频卡、声卡、家电控制卡、通信卡等。

●操作控制设备：如鼠标、操纵杆、键盘、触摸屏等。

（2）多媒体计算机的软件系统

多媒体计算机的软件系统是以操作系统为基础的。除此之外，多媒体计算机还包含多媒体数据库存储系统、多媒体压缩/解压缩软件、多媒体声像同步软件、多媒体通信软件等。特别需要指出的是，多媒体系统在不同领域中的应用需要有多种开发工具，多媒体开发和创作工具为多媒体系统提供了方便直观的创作途径，一些多媒体开发软件包提供了图形、声音、动画、图像及各种多媒体文件的转换与编辑手段。

3.多媒体计算机的特点

（1）高集成性

多媒体计算机采用具有高集成度的微处理器芯片，大大提高了集成电路的可靠性、稳定性和精确性。多媒体计算机的高集成性还表现在把多种媒体信息有机地结合在了一起，用较小的空间实现了多种功能。

（2）全数字化

数字化是通过半导体技术、信息传输技术、多媒体计算机技术等实现信息数字化的一场信息技术革命。多媒体计算机的数字化技术是用0和l二进制数字编码来实现信息的数字化，完成信息的采集、处理、存储、表达和传输。数字化后的信息，处理速度快，加工方式多，灵活性大，精确度高，便于信息的存储、表达和网络传输。

（3）高速度

多媒体计算机采用的是高速的元器件，加上先进的设计和运算技巧，使它获得了很高的运算速度。现在的多媒体计算机，其运算速度每秒可达几亿次、数十亿次乃至上百亿次。这一高速化的发展，能使计算机跨进诸如高速实时处理图像、提高计算机智能化程度等很多新的领域，发挥其更大的作用。

（4）交互性

多媒体计算机的交互性主要表现为人与计算机的相互交流。如计算机通过友好的、多模式的人/机界面，能够读懂人们以手写字体输入的信息；能够识别具有不同语音、语调的人们用自然语言输入的信息；能够对人们所输入的信息进行分析、判断和处理，并给出必要的反馈信息——提示、建议、评价或答案。

（5）高智能

多媒体计算机具有人的某些智慧和能力，特别是思维能力，会综合，会分析，会判断，会决策，能听懂人们所说的话，能识别人们所写的字，能从事复杂的数学运算，能记忆海量的数字化信息，能虚拟现实中的人和事物。

1.1.3 多媒体技术的发展

1.多媒体技术的发展历史

20世纪80年代中后期，多媒体计算机技术成为人们关注的热点之一。多媒体技术是一种迅速发展的综合性电子信息技术，它给传统的计算机系统、音频和视频设备带来了方向性的变革，对大众传媒产生深远的影响。多媒体计算机加速了计算机进入家庭和社会各个方面的进程，给人们的工作、生活和娱乐带来深刻的变革。

多媒体技术初露端倪在x86时代，多媒体技术全面发展是在PC上出现第一块声卡后。

在1987年8月，创新音乐系统（C/MS）问世，这是第一块得到众多音乐软件支持的12复音立体声音乐合成卡。这张声卡的出现，不仅标志着计算机具备了音频处理能力，也标志着计算机的发展终于开始进入了一个崭新的阶段——多媒体技术发展阶段。

1988年运动图像专家小组（Moving Picture Expert Group,MPEG）的建立又对多媒体技术的发展起到了推波助澜的作用。进入20世纪90年代，随着硬件技术的提高，自80486微处理器推出以后，多媒体时代终于到来。

自MPEG建立之后过了12年，多媒体时代的发展也经历了12年。在这12年中，多媒体技术发展之速可谓是让人惊叹不已。不过，无论在技术上多么复杂，在发展上多么混乱，似乎有两条主线可循，一条是视频技术的发展；另一条是音频技术的发展。从音频视频交错格式（Audio Video Interleaved,AVI）出现开始，视频技术进入蓬勃发展时期。这个时期内的3次高潮主导者分别是AVI、Stream（流格式）以及MPEG。AVI的出现无异于为计算机视频存储奠定了一个标准，而Stream使得网络传播视频成为了非常轻松的事情，那么MPEG则是将计算机视频应用进行了最大化的普及。而音频技术的发展大致经历了两个阶段，一个是以单机为主的波形音频文件（Wave Audio Files,WAV）和乐器数字接口（Musical Instrument Digital Interface,MIDI）；另一个就是随后出现的形形色色的网络音乐压缩技术的发展。从PC扬声器到创新声卡，再到目前丰富的多媒体应用，多媒体正改变我们生活的方方面面。

2.多媒体技术的发展趋势

（1）流媒体技术

随着因特网的迅速普及，计算机正在经历一场网络化的革命。在这场变革中，传统多媒体手段由于其数据传输量大的特点而与现实的网络传输环境发生了矛盾，面临发展相对停滞的危机。虽然高速的网络连接手段可以从根本上解决这个问题，但是由于网络建设和消费者拥有成本等原因，短期内还不能大范围普及。

解决问题的一个很好的方法就是采用流媒体技术。“流”是一种数据传输的方式，使用这种方式，信息的接收者在没有接到完整的信息前就能处理那些已收到的信息。这种一边接收，一边处理的方式，很好地解决了多媒体信息在网络上的传输问题。人们可以不必等待太长的时间，就能收听、收看到多媒体信息。并且在此之后边播放边接收，根本不会感觉到文件没有传完。

（2）智能多媒体技术

多媒体技术充分利用了计算机的快速运算能力，综合处理声、文、图信息，用交互式弥补计算机智能的不足。发展智能多媒体技术包括很多方面，如下所示。

●文字的识别和输入。

●语音的识别和输入。

●自然语言理解和机器翻译。

●图形的识别和理解。

●机器人视觉和计算机视觉。

●知识工程以及人工智能的一些课题。

把人工智能领域某些研究课题和多媒体计算机技术很好地结合，就是多媒体计算机长远的发展方向。

（3）虚拟现实

虚拟现实是一项与多媒体密切相关的边缘技术，它通过综合应用计算机图像处理、模拟与仿真、传感、显示系统等技术和设备，以模拟仿真的方式，给用户提供一个真实反映操作对象变化与相互作用的三维图像环境，从而构成一个虚拟世界，并通过特殊的输入输出设备（如数据手套、头盔式三维显示装置等）提供给用户一个与该虚拟世界相互作用的三维交互式用户界面。

（4）网络化

与宽带网络通信等技术相互结合，使多媒体技术进入科研设计、企业管理、办公自动化、远程教育、远程医疗、检索咨询，文化娱乐、自动测控等领域。

1.1.4 多媒体技术的组成元素

多媒体技术中应用的主要媒体元素是表示媒体。表示媒体主要有3种：视觉类媒体、听觉类媒体和触觉类媒体。

1.视觉类媒体

（1）符号

符号包括文字和文本。符号的表示是用特定值表示的，如ASCII码、中文国标码等。

常见的文本编码格式如下。

●ASCII。ASCII码是用7位二进制数表示一个字符，7位二进制数可表示27共128个字符，其中包括数字0～9、26个大写英文字母、26个小写英文字母、各种运算符（如+、-、*、/、=等）以及各种控制符。虽然ASCII码是7位的编码，但由于字节是计算机中的基本处理单位，一般仍用一个字节（8位）存放ASCII码，其最高位一般置0。

●汉字编码。英文的大小写字母总计只有52个，加上数字、标点符号和其他常用符号，128个编码基本够用，所以ASCII码基本上满足了英语信息处理的需要。我国使用的汉字是象形文字，与西文字符相比，汉字的数量巨大，必须使用更多的二进制位。1981年我国国家标准局颁布的《信息交换用汉字编码字符集·基本集》（GB 2312-80），收录了6 763个汉字和619个图形符号。在GB 2312-80中，根据汉字使用频率分为两级，第一级有3 755个，按汉语拼音字母的顺序排列，第二级有3 008个，按部首排列。在GB 2312-80中规定用2个连续字节，即16位二进制代码表示一个汉字。由于每个字节的高位规定为1，这样就可以表示128×128=16 384个汉字。

英文的基本符号比较少，编码比较容易，而且在计算机系统中，输入、内部处理、存储和输出都可以使用同一代码。汉字种类繁多，编码比英文要困难得多，而且在一个汉字处理系统中，输入、内部处理、输出对汉字代码要求不尽相同，所以用的代码也不尽相同。汉字信息处理系统在处理汉字和词语时，要进行输入码、机内码、字形码一系列的汉字编码转换。

（2）图形（矢量图）

图形是图像的抽象，它反映图像上的关键特征，如点、线、面等。图形的表示不直接描述图像的每一点，而是描述产生这些点的过程和方法，即用矢量表示。矢量图使用直线和曲线来描述图形，这些图形的元素是一些点、线、矩形、多边形、圆和弧线等等，它们都是通过数学公式计算获得的。例如，一幅花的矢量图形实际上是由线段形成外框轮廓，由外框的颜色及外框所封闭区域的颜色来决定花所显示的颜色。

矢量图的特点如下。

●文件小，图形中保存的是线条和图块的信息，所以矢量图形文件与分辨率和图像大小无关，只与图形的复杂程度有关，图形文件所占的存储空间较小。

●对图形进行缩放、旋转或变形操作时，图形不会产生锯齿效果。

●可采取高分辨率印刷，矢量图形文件可以在任何输出设备打印机上以打印或印刷的最高分辨率进行打印输出。

●最大的缺点是难以表现色彩层次丰富的逼真图像效果。

●矢量图与位图的效果是天壤之别，矢量图无限放大不模糊，大部分位图都是由矢量导出来的，也可以说矢量图就是位图的源码，源码是可以编辑的。矢量图放大对比图如图1-4所示。

●矢量图常见的格式有CDR、AI、WMF、EPS等。

（3）位图图像

位图图像（bitmap），亦称为点阵图像或绘制图像，是由称作像素（图片元素）的单个点组成的。这些点可以进行不同的排列和染色以构成图样。当放大位图时，可以看见赖以构成整个图像的无数个方块。扩大位图尺寸的效果是增大单个像素，从而使线条和形状显得参差不齐。然而，如果从稍远的位置观看它，位图图像的颜色和形状又显得是连续的。常用的位图处理软件是Photoshop。

位图图像具有以下特点。

●文件所占的存储空间大，对于高分辨率的彩色图像，用位图存储所需的储存空间较大。

●位图放大到一定倍数后，会产生锯齿。由于位图是由最小的色彩单位“像素点”组成的，所以位图的清晰度与像素点的多少有关。位图放大前后的对比图如图1-5所示。

●位图图像在色彩、色调方面的表现效果比矢量图更加优越，尤其在表现图像的阴影和色彩的细微变化方面效果更佳。

●位图常见的格式有BMP、JPG、GIF、PSD、TIF、PNG等。

●处理软件有Photoshop、ACDsee等。每个像素的位数有1（单色）、4（16色）,8（256色）、16（64K色，高彩色）、24（16M色，真彩色）、32（4 096M色，增强型真彩色）。

（4）视频

视频又称动态图像，是一组图像按时间顺序的连续表现。视频的表示与图像序列、时间关系有关。人眼具有一种视觉暂留的生物现象，即人观察的物体消失后，物体映像在人眼的视网膜上会保留一个非常短暂的时间（1/24秒）。利用这一现象，将一系列画面中物体移动或形状改变很小的图像，以足够快的速度（24f/s～30f/s）连续播放，人就会感觉画面变成了连续活动的场景。

常用的数字视频的文件格式有AVI、MPG、MOV、WMV等。

（5）动画

动画是动态图像的一种。它与视频的不同之处在于，动画采用的是计算机产生出来的图像或图形，而不像视频采用直接采集的真实图像。动画包括二维动画、三维动画等多种形式。

动画的概念不同于一般意义上的动画片。动画是一种综合艺术，它是集合了绘画、漫画、电影、数字媒体、摄影、音乐、文学等众多艺术门类于一身的艺术表现形式。

动画的常见格式有GIF、SWF、FLIC FLI/FLC等。

（6）其他

其他类型的视觉媒体形式还有如用符号表示的数值、用图形表示的某种数据曲线、数据库的关系数据等。

2.听觉类媒体

听觉类媒体主要指音频。音频是人类能够听到的所有声音，计算机的音频处理包括声波、语音和音乐3种格式。

（1）声波格式

声波格式可以记载以任何方式产生的可闻声音，如敲打、说话、噪声等。声波格式可以转换为波形文件（.wav）。波形声音如图1-6所示。

（2）语音

语音即语言的声音，是语言符号系统的载体。语音是最直接地记录思维活动的符号体系，是语言交际工具的声音形式。

（3）音乐

音乐与语音相比更规范一些，是符号化了的声音。但音乐不能对所有的声音都进行符号化。乐谱是符号化声音的符号组，表示比单个符号更复杂的声音信息内容。

3.触觉类媒体

（1）指点

指点包括间接指点和直接指点。通过指点可以确定对象的位置、大小、方向和方位，执行特定的过程和相应操作。

（2）位置跟踪

为了与系统交互，系统必须了解参与者的身体动作，包括头、手、眼、其他肢体部位的位置与运动方向。系统将这些位置与运动的数据转变为特定的模式，对相应的动作进行表示。

（3）力反馈与运动反馈

这与位置跟踪正好相反，是由系统向参与者反馈的运动及力的信息，如触觉刺激、反作用力、运动感觉以及温度和湿度等环境信息。这些媒体信息的表现必须通过电子、机械等的伺服机构才能实现。

1.1.5 多媒体技术的应用

多媒体本身是一种高技术，并且具有强烈的渗透性的特点，它可以扩展到各个应用领域，尤其在教育、医疗、广告宣传、旅游、人工智能、办公智能化等方面。多媒体的应用如图1-7所示。

（1）教育

多媒体在教育上的应用，实质上是利用多媒体系统阅读电子书刊、演放教育类的多媒体节目。多媒体技术使传统计算机辅助教学软件的表现手段，从文字、图形和动画，扩展成声音、动态图像，并具有极为强大的交互能力，便于学生自己调速进度，达到因材施教的效果。

（2）医疗

多媒体技术可以使远离医疗服务中心的病人通过多媒体通信设备利用远距离多功能医学传感器和微型遥测装置等身临其境地接受询问和诊断；医生也可以在短时间内，迅速联络世界各地的医疗专家，对疑难病例进行会诊，为抢救病人赢得宝贵的时间，并节省各种费用的开支。

（3）广告宣传

多媒体系统声像图文并茂，在宣传广告效果上有特殊的优势。制作广告节目要用专门的多媒体节目制作软件工具。

（4）旅游

旅游信息管理系统是随着计算机技术、信息技术、地理信息系统和旅游业的发展而形成的。旅游单位，景点分布，旅游路线，风土人情等方面的信息通过数字化、扫描、录音和摄像等技术录入计算机，并以图形、文字、声音、动画等方式进行管理。

另外，多媒体技术还在人工智能、办公智能化、电子出版物、多媒体通信等方面有广泛的应用。总之，多媒体技术应用在我们生活的方方面面。