多媒体数据库的管理与数据挖掘研究

维普资讯 http://www.cqvip.com 计算机与数字工程　第３５卷　多媒体数据库的管理与数据挖掘研究　王志锋　’李殿伟　’　（海军工程大学信息安全系　’　武汉４３００３３）（海军司令部办公室　’　北京１００８４１）　摘要随着多媒体技术和数据库技术的发展，多媒体数据库的管理和数据挖掘技术都取得了很大的进展。目前，对　于多媒体数据库的挖掘正日益成为研究热点。介绍多媒体数据库管理系统概念上讨论对其进行数据挖掘的问题，主要是　对文本、图像、音频和视频数据挖掘的讨论。　关键词　多媒体数据库中图分类号ＴＰ３１１　数据挖掘多媒体数据挖掘　１　引言　多媒体数据库系统由多媒体数据库管理系统　（ＭＭ—ＤＢＭＳ）和多媒体数据库组成，多媒体数据　库管理系统用于管理多媒体数据库，而多媒体数据　库就是被管理的多媒体数据。多媒体数据可能包　括结构化数据、半结构化数据和非结构化数据。一　个多媒体数据库管理系统提供对多媒体数据存储、　ＭＭ—ＤＢＭＳ。其中一种方法是让ＤＢＭＳ用来管理　元数据，而用一个多媒体文件管理器来管理多媒体　数据，因此，需要一个模块来集成ＤＢＭＳ和多媒体　文件管理器。这种方法是基于松散偶合的，如图１　所示。在这种情况下，ＭＭ—ＤＢＭＳ由三个模块组　成：管理元数据的ＤＢＭＳ、多媒体文件管理器和一　个将两者进行集成的模块。　Ｉ用户接口Ｉ　ｌ　操作和检索的支持。从某种意义上讲，一个多媒体　数据库系统就是一种异构数据库系统，因为它管理　的是异构的数据类型，而这种异构性是取决于媒体　数据的异构特征的，如文本、视频、音频等等都是不　同的数据类型。　多媒体数据库管理系统需要具有一般数据库　管理系统的功能，包括查询处理、更新处理、事务管　图Ｉ松散耦合体系结构　ＭＭ－ＤＢＭＳ集成　数据管理器和文　件管理器　图２紧密耦合　理、存储管理、元数据管理、安全ｌ生和完整性等。另　外，很多类型的数据如视频和音频，为了能正常播　放，我们需要对其进行同步操作，因此，实时处理也　是多媒体数据库管理系统的一个主要功能。　体系结构　第二种方法是一种紧密偶合方法，如图２所　示。在这种体系结构中，ＤＢＭＳ既管理多媒体数据　也管理元数据。紧密偶合的体系结构的优点在于　所有的ＤＢＭＳ的功能都能直接用于多媒体数据库，　２　管理多媒体数据库　如上所述，ＭＭ—ＤＢＭＳ必须支持对文本、音　频、视频和图像数据的管理。除此之外，ＭＭ—　ＤＢＭＳ还需要管理多媒体数据类型。一个ＭＭ—　ＤＢＭＳ首先是一个ＤＢＭＳ，同时，它还需要管理多媒　体数据。因此，设计ＤＢＭＳ时的问题都可以应用于　设计ＭＭ—ＤＢＭＳ。　２．１　ＭＭ—ＤＢＭＳ的体系结构　包括查询处理、事务管理、元数据管理、存储管理、　安全性和完整性管理等。但在松散体系结构下，除　非文件管理器能够完成ＤＢＭＳ的功能，否则ＤＢＭＳ　仅为多媒体数据管理元数据。　．　另外，还有一种基于扩展的方法…。多媒体　数据库系统可以利用商业数据库系统进行一定扩　展，如用面向对象数据库系统来管理多媒体对象，　同时将对象问的关系进行扩展，使之能够支持时序　关系。也就是说，ＤＢＭＳ与一个扩展层一起提供对　有很多不同的体系结构可以用于设计和开发　收到本文时间：２００６年８月２８日　作者简介：王志锋，男，硕士研究生，研究方向：信息安全。李殿伟，男，工程师，研究方向：信息安全。　维普资讯 http://www.cqvip.com 第３５卷（２００７）第１０期　计算机与数字工程　５１　多媒体数据管理的完整支持。也可以将ＤＢＭＳ与　元数据管理等问题。ＭＭ—ＤＢＭＳ中有大量元数据　扩展层集成在一起，使得一个数据库管理系统能同　时管理多媒体对象和对象之间的关系。上述两种　需要描述。例如，对于视频数据，我们需要保存不　同帧的信息，这种信息就存储在元数据中。　体系结构分别如图３、图４所示。团圜　　图３　ＤＢＭＳ＋扩展层图４　ＤＢＭＳ与扩展层集成　２．２　ＭＭ—ＤＢＭＳ的功能概述　ＭＭ—ＤＢＭＳ需要支持基本的ＤＢＭＳ功能。但　这些功能的实现要比一般的ＤＢＭＳ要复杂，是因为　相应的数据可能是结构化的，也可能是非结构化　的，而且，处理不同的数据类型如音频、视频等是非　常复杂的。除了这些基本的ＤＢＭＳ功能以外，ＭＭ　—ＤＢＭＳ还需要支持实时处理以同步各种多媒体　数据类型。另外，服务质量也是ＭＭ—ＤＢＭＳ所关　注的重要问题。　２．２．１数据操纵　最基本的数据操纵需要支持数据的查询、浏　览、过滤等。如上所述，合适的查询语言非常重要，　扩展ＳＱＬ是目前应用比较广泛的一种查询语言。　用户常常不仅满足于查询数据，还需要对数据进行　编辑。也就是说，两个对象可以合并以构成一个新　的对象，一个对象可以投影后成为一个更小的对象　等。例如，对象可以基于时间间隔进行合并，也可　以基于时间间隔进行投影。对象也可以进行整体　和部分的更新。有关数据操纵的多种算法，已在不　同的系统中加以应用　Ｊ。　２．２．２事务管理　事务管理在ＭＭ—ＤＢＭＳ中是非常重要的一　个功能，因为多媒体数据库中常常会有注解与多媒　体对象相伴随。例如，一个图片被更新，则它相应　的注解就应该也被更新，从而，两个操作必须作为　一个事务的两个部分被执行。不同于数据表示与　数据操纵，ＭＭ—ＤＢＭＳ的事务管理仍是一个崭新　的领域，与之紧密相关的是并发控制和恢复。有关　建立怎样的事务模型、是否需要特殊的并发控制和　恢复机制等问题都仍在研究之中。　２．２．３元数据管理　ＤＢＭＳ元数据问题在ＭＭ—ＤＢＭＳ中也存在，　如元数据模型应该如何定义、应该用哪些技术进行　２．２．４存储管理　存储管理的主要问题是针对多媒体数据类型　开发特定的索引方法和访问策略。基于内容的数　据访问是大多数多媒体应用的重要方面，但目前仍　没有一种高效的访问策略。另一个重要的存储问　题就是数据加速。对于多媒体数据是否需要特别　考虑加速问题以及有没有特定的数据加速算法等　问题都值得进一步研究。集成不同数据类型的存　储技术也是存储管理的一个重要方面。例如，一个　多媒体数据库保存的数据类型多种多样，而不是单　一的一种，展示这些不同数据类型需要进行同步操　作，为了连续地显示这些媒体数据，我们需要合适　的存储机制来支持。　２．２．５保持数据完整性的安全性　保持数据完整性需要支持数据质量、完整性约　束处理、多用户更新时的并发控制和恢复，以及数　据输出的准确性等。值得注意的是，强制完整性约　束的研究仍是具有挑战性的。比如，对于声音视频　数据应该施加什么样的完整性限制条件，还没有研　究给出满意的结果。　２．２．６其他功能　ＭＭ—ＤＢＭＳ的其它功能包括：服务质量处理、　实时处理的用户接口管理。服务质量是针对用户　的需求而衡量的。在某些情况下，用户需要连续播　放视频数据，而有些情形下则可以忍受播放的间断　性。因此，用户必须提出满足其自身要求的特殊服　务质量标准。实时处理的重要性表现在不同种的　媒体同时播放时，这时我们需要恰当的时序安排技　术。合理的多模式用户接口便于用来输入和显示　多媒体数据。　３　挖掘多媒体数据库　多媒体数据包括文本、图像、视频、音频等，文　本和图像是静态媒体，视频和音频是连续媒体。在　本部分中将分别讨论上述４种媒体数据的挖掘。　数据挖掘中常把数据看作相似的但相互独立　实体的集合。数据挖掘的目的是寻找实体之间普　遍存在的模式。多媒体数据很难纳入这样的框架。　不同建筑图片和视频可能具有相似特征，如它们分　别代表建筑的一个视角，但却没有像“这是建筑的　前方视图”这样清楚的结构。可见，很难将多媒体　挖掘与传统的数据挖掘等同起来。　维普资讯 http://www.cqvip.com ５２　王志锋等：多媒体数据库的管理与数据挖掘研究　第３５卷　多媒体数据挖掘与结构化数据挖掘的另一个　区别在于时间因素。多媒体数据常常捕捉的是随　时间变化的实体。视频和音频是有清楚的序列的，　甚至文本有时也是讲究顺序的。时间序列挖掘分　析的是随时间变化的一个或多个值。多媒体数据　的复杂性表现在随着时间的不断推移，媒体数据所　代表的含义也在发生变化。理解和表达这样的变　么进展。将文档看作一个单词或短语的集合而不　是单词或短语的序列，必然损失大量信息，从而必　然导致错误结果。为了解决这一问题，需要开发一　种挖掘技术，能正确处理文本中概念的有序流。　３．２　图像挖掘　众所周知，图像处理已经有了很大的发展，并　且已经在广泛的领域中得到了应用，如探测癌症的　化是挖掘多媒体数据时所必须的环节。　３．１文本挖掘　文本数据可能是网页上的数据、图书馆数据、　电子书等等。文本数据的一个重要问题它不能结　构化为关系数据。在大多数情况下文本数据是无　结构的，有时是半结构化的，如一篇文章，有题目、　作者、摘要和段落等，段落是无结构的，但其格式是　结构化的。　我们将文本挖掘定义为文本数据上的数据挖　掘。文本挖掘是从大型的文本数据库中提取事先　未知的模式和关联的过程。文本挖掘和信息检索　之间的差别类似于数据挖掘和查询处理的差别。　查询和信息检索都是搜索一条特定的数据项，而挖　掘是涉及到多个数据项的高层概念。不过，这种区　别也不是绝对的。也有一些信息检索和文本处理　系统确实可以发现关键字和段落之间的联系，因　此，也可以看作是文本挖掘系统的一种。　以下考察文本挖掘的方法。不难发现，现存的　许多数据挖掘工具和技术建立在关系数据库的基　础之上，而文本数据是非结构化或半结构化的，因　此，现有的数据挖掘工具还不能直接用于对文本数　据的挖掘。目前，有几个挖掘非结构化数据的研究　方向：　（１）依靠标签技术从无结构的数据库中提取　数据或元数据，然后将其存储在结构化的数据库　中，再利用结构化的数据挖掘工具进行挖掘；　（２）集成数据挖掘技术和信息检索工具，再针　对无结构数据库开发合适的数据挖掘工具；　（３）直接针对无结构的数据库开发数据挖掘　工具。　将文本数据转换成关系数据时，应当特别注意　不要漏掉关键的信息。成功的数据挖掘与数据的　充分性息息相关。在进行挖掘之前，不妨建立一种　数据仓库，这种数据仓库是一种关系数据库，它包　含从文本转换出来的所有关键数据。　第三种方法主要用于文本分类和文本聚类问　题，而被证实是很有效率的一种方法。但从无结构　的数据中直接找出数据挖掘结果的尝试还没有什　医学图像处理，空间领域中的卫星图像处理等等。　图像处理涉及的领域包括，异常探测，基于内容的　图像检索和模式匹配等。　那么，图像处理和图像挖掘的差别在哪里呢？　如果说图像处理着力于检测非正常模式和检索图　像的话，那么图像挖掘是着重发现非正常模式。因　此，可以认为图像挖掘可为大型数据库中的不同图　像建立关联。　但检测非正常模式并非图像挖掘的唯一成果。　它还能够在图像中识别主题，在原始特征级，可以　根据典型颜色参数进行判断，在高层概念级则可以　从图像中物体的相对位置进行判断。但这些仅仅　是刚刚开始，我们需要对图像挖掘进一步深入研　究，考察数据挖掘技术是否可以用于对图像的分　类、聚类和建立关联。　３．３视频挖掘　视频挖掘比图像挖掘更加复杂，可以将视频看　作是运动的图像的集合，就如同动画。所以，成功　的视频挖掘是以成功的图像挖掘作为基础的。对　于视频挖掘与视频信息检索的差别，却不像上述图　像和文本的那样明显。例如，某个用户通过观察几　段视频，发现了这几段视频之间的相互关联，而也　有可能会发现这些视频中的异常模式。为了与前　面的定义保持一致，我们定义从大型视频数据库中　寻找事先未知的相关性和模式称为视频挖掘。　由于我们目前对视频挖掘实在是知之甚少，但　为了解决利用视频数据发现有用信息的问题，可以　考虑将视频挖掘转换为文本挖掘。我们能够通过　对视频数据的分析得到摘要信息，然后通过对摘要　（文本形式）的挖掘间接得到所需要的信息。尽管　如此，对视频数据的直接挖掘仍是一项具有挑战性　的课题。目前，已有学者对基于特征的视频分类做　了研究［５］。一种方法是根据摄制规则来识别特　征，如场景长度、场景转换等，并将这些信息作为摘　要，通常描述为关键帧或者场景类别［６］。而另一　种方法则是将研究重点转向跟踪视频中物体的运　动隋况，将其作为摘要的内容［７］。　３．４音频挖掘　　‘维普资讯 http://www.cqvip.com 第３５卷（２００７）第１Ｏ期　计算机与数字工程　５３　音频数据和视频数据一样都是连续媒体类型，　它可以是广播、演讲、口头讲话等。甚至在电视新　闻中都存在音频数据，这时音频和视频集成在一　工具。虽然目前数据挖掘工具绝大多数都是以关　系数据库为基础的，但开发面向对象或是对象一关　系环境下的数据挖掘工具的工作已经初步展开，这　将对多媒体数据挖掘研究起到极大的推进作用。　参考文献　起，同时还可能伴随文本形式的注解信息。　为了挖掘音频数据，可以利用语音识别技术、　关键字提取技术将音频转换为相应的文本，然后对　文本内容进行挖掘。另一方面，音频数据也可以利　用音频信息处理基础进行直接的指定信息的挖掘。　［１］Ｂ．Ｔｈｕｒａｉｓｉｎｇｈａｍ，Ｄａｔａ　Ｍａｎａｇｅｍｅｎｔ　Ｓｙｓｔｅｍｓ，Ｅｖｏｌｕｔｉｏｎ　但是，对音频数据挖掘的研究还刚刚起步，甚至比　ａｎｄ　Ｉｎｔｅｒｏｐｅｒａｔｉｏｎ，ＣＲＣ　Ｐｒｅｓｓ，１９９７　视频数据挖掘的研究进展更少。　［２］Ｂａｎｅｏｅａ，Ｊ．ｅｔ　ａ１．，Ａ　Ｄａｔａ　Ｍｏｄｅｌ　ｆｏｒ　Ｏｂｊｅｃｔ—Ｏｒｉｅｎｔｅｄ　Ａｐｐｌｉｃａｔｉｏｎｓ，ＡＣＭ　Ｔｒａｎｓａｃｔｉｏｎｓ　ｏｎ　ｏｆｆｉｃｅ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｓｙｓ・　总之，多种媒体类型相结合的数据挖掘是以单　ｔｅｒｎｓ，Ｖｏ１．５，１９８７　种媒体的数据挖掘研究为基础的，如果能更好地解　［３］ＳＱＬ３，Ａｍｅｒｉｃｎａ　Ｎａｔｉｏｎａｌ　Ｓｔｎａｄａｒｄｓ　Ｉｎｓｔｉｔｕｔｅ，Ｄｒａｆｔ，１９９２　决单种媒体的挖掘问题，多种媒体相结合的数据挖　［４］Ｓｐｅｃｉｌａ　Ｉｓｓｕｅ　ｏｎ　Ｍｕｌｔｉｍｅｄｉａ　Ｄａｔａｂａｓｅ　Ｓｙｓｔｅｍｓ，ＩＥＥＥ　掘研究也将更好地向前推进。　Ｔｒａｎｓａｃｔｉｏｎｓ　ｏｎ　Ｋｎｏｗｌｅｄｇｅ　ａｎｄ　Ｄａｔａ　Ｅｎｇｉｎｅｅｒｉｎｇ，Ａｐｒｉｌ　２０００　‘　４　小结　［５］Ｍ．Ｓｈａｈ，Ｖｉｄｅｏ　Ｃａｔｅｇｏｉｒｚａｔｉｏｎ　ｕｓｉｎｇ　Ｓｅｍａｎｔｉｃｓ　ａｎｄ　Ｓｅｍｉ・　本文首先定义了多媒体数据库管理系统，并讨　ｏｔｉｃｓ，ＤＩＭＡＣＳ　Ｗｏｒｋｓｈｏｐ　ｏｎ　Ｖｉｄｅｏ　Ｍｉｎｉｎｇ，Ｎｏｖ．２００２，　论了各种类型的体系结构、数据模型和系统功能等　Ｐｉｓｃａｔａｗａｙ，Ｎｅｗ　Ｊｅｒｓｅｙ　问题。在此基础上我们讨论了对多媒体数据库的　［６］Ｍｅｒｌｉｎｏ，Ａ．ｅｔ　ａ１．，Ｂｒｏａｄｃａｓｔ　Ｎｅｗｓ　Ｎａｖｉｇａｔｉｏｎ　ｕｓｉｎｇ　Ｓｔｏｒｙ　Ｓｅｇｍｅｎｔｓ，Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　１９９７　ＡＣＭ　Ｍｕｌｔｉｍｅｄｉａ　Ｃｏｎ・　挖掘问题。集中讨论了４种媒体类型：文本、图像、　ｆｅｒｅｎｃｅ，Ｓｅａｔｔｌｅ，ＷＡ，Ｎｏｖ．１９９７　视频和音频。分别定义了对这些数据进行挖掘的　［７］Ｒ．Ｒｏｙ　Ｗａｎｇ，Ｔ．Ｈｕａｎｇ，Ａ　Ｆｒａｍｅｗｏｒｋ　ｏｆ　Ｈｕｍａｎ　Ｍｏｔｉｏｎ　含义，并讨论了目前的发展状况和可能的发展方　Ｔｒａｃｋｉｎｇ　ａｎｄ　Ｅｖｅｎｔ　Ｄｅｔｅｃｔｉｏｎ　ｆｏｒ　Ｖｉｄｅｏ　Ｉｎｄｅｘｉｎｇ　ａｎｄ　Ｍｉｎ・　向。最后，还简要讨论了多种媒体相结合的数据挖　ｉｎｇ，ＤＩＭＡＣＳ　Ｗｏｒｋｓｈｏｐ　ｏｎ　Ｖｉｄｅｏ　Ｍｉｎｉｎｇ，Ｎｏｖ．２００２，　掘问题，文献［８］中有相关内容的详细介绍。　Ｐｉｓｃａｔａｗａｙ，Ｎｅｗ　Ｊｅｒｓｅｙ　有理由相信，随着多媒体数据管理的发展和数　［８］Ｂ．Ｔｈｕｒａｉｓｉｎｇｈａｍ，Ｍａｎａｇｉｎｇ　ａｎｄ　Ｍｉｎｉｎｇ　Ｍｕｌｔｉｍｅｄｉａ　Ｄａ．　据挖掘技术的进步，必将会出现多媒体数据的挖掘　ｔｂａａｓｅｓ，ＣＲＣ　Ｐｒｅｓｓ，２００１　（上接第４０页）　Ａ　ｐｒｏｇｒａｍｍｅｒ’Ｓ　Ｐｅｒｓｐｅｃｔｉｖｅ［Ｍ］．Ｕｐｐｅｒ　Ｓａｄｄｌｅ　Ｒｉｖｅｒ：　移动技术、嵌入式技术的发展则使普适计算成为计　Ｐｒｅｎｔｉｃｅ　Ｈａｌ１．２ｏｏ３．３７４—３７７　算模式下一波的进化方向，构件化嵌入式操作系统　［２］Ｆｒａｎｋ　Ａｄｅｌｓｔｅｉｎ，Ｓａｎｄｅｅｐ　ＫＳ　Ｇｕｐｔａ，Ｇｏｌｄｅｎ　Ｒｉｃｈａｒｄ，ｅｔ　开发技术的进一步成熟及各种嵌入式设备的普及　１ａ．Ｆｕｎｄａｍｅｎｔｌａｓ　ｏｆ　Ｍｏｂｉｌｅ　ｎａｄ　Ｐｅｒｖａｓｉｖｅ　Ｃｏｍｐｕｔｉｎｇ［Ｍ］．　给普适计算提供了充分的条件。ＥＬＡｕｒａ平台的发　Ｃｏｌｕｍｂｕｓ：ＭｃＧｒａｗ—Ｈｉｌ１．２００４．１１３一ｌ１９　布，表明完整的ＣＡＲ构件编程模型已经具备了初　［３］Ｄｏｎ　Ｂｏｘ．Ｅｓｓｅｎｔｉｌａ　ＣＯＭ．３ｒｄ　ｅｄ［Ｍ］．Ｂｏｓｔｏｎ：Ａｄｄｉｓｏｎ　—Ｗｅｓｌｅｙ．１９９８．３７—４１　步的理论基础和实践基础。ＥＬＡｕｒａ平台具有良好　［４］Ｄａｌｅ　Ｒｏｇｅｒｓｏｎ．Ｉｎｓｉｄｅ　ＣＯＭ［Ｍ］．Ｓｅａｔｌｔｅ：Ｍｉｃｒｏｓｏｆｔ　的基于构件的静态可配置和动态双向自适应的特　Ｐｒｅｓｓ．１９９７．８５　９Ｏ　性，能够支持普适计算的内在需求，并且在动态变　［５］Ｙａｕ　Ｓ　Ｓ，Ｋａｒｉｍ　Ｆ，Ｗａｎｇ　Ｙｕ，ｅｔ　ａ１．Ｒｅｃｏｎｔｌｇｕｒｂａｌｅ　Ｃｏｎ．　化环境中具有良好的运行性能。　ｔｅｘｔ—ｓｅｎｓｉｔｉｖｅ　Ｍｉｄｄｌｅｗａｒｅ　ｆｏｒ　Ｐｅｒｖａｓｉｖｅ　Ｃｏｍｐｕｔｉｎｇ［Ｊ］．　参考文献　１ＥＥＥ　Ｐｅｒｖａｓｉｖｅ　Ｃｏｍｐｕｔｉｎｇ，２００２，Ｖｏｌｕｍｅ　１，Ｉｓｓｕｅ　３：３３　［１］Ｒａｎｄａｌ　Ｅ　Ｂｒｙａｎｔ，Ｄａｖｉｄ　Ｒ　ＯＨａｌｌａｒｏｎ．Ｃｏｍｐｕｔｅｒ　Ｓｙｓｔｅｍｓ　～４０