多媒体文件的数据结构、文件配送装置及其方法和程序 【技术领域】
本发明涉及一种适用于多媒体文件的配送和数据管理的多媒体文件的数据结构、文件配送方法、文件配送装置和文件配送程序。
背景技术
便携电话或其他便携终端在和其他便携终端之间通过通信网发送接收由动画数据、音频数据、文本数据等多种内容构成的多媒体内容。根据便携电话等便携终端的机型，也有不能再现这种多媒体内容的情况。在这些情况下，发送方的用户需要进行将应发送的多媒体内容变换成在接收方可对应的静止图像等的内容。
关于动画数据或多媒体内容等的检索系统，特开平11-232186号公报、特开平7-23322号公报等公开了这样的技术：提取该内容内的有代表性的场景的静止图像(以下称为“代表图像”)和其出现时刻等信息，记录在检索系统中，使得能简单地把握应检索内容的概要。
但是，可对应接收方机型的内容的形式根据各接收方地机型而不同，因此，多媒体内容的发送方的用户根据接收方的机型进行内容的变换非常繁杂。
【发明内容】
本发明的目的是提供一种可以很容易地管理代表图像等信息的多媒体文件的数据结构、文件配送方法、文件配送装置和文件配送程序。
为了达到上述目的，本发明提供一种多媒体文件的数据结构，具有一个文件，所述一个文件容纳有以下内容而形成：多个对象，各自被指定有再现开始时刻，构成多媒体内容；代表内容指定信息，指定所述多个对象中的至少一个对象作为代表上述多媒体内容的对象。
根据该数据结构，由于包含构成多媒体内容的多个对象和代表内容指定信息，因此容易管理代表内容指定信息，可以根据需要迅速生成代表内容。
为了达到上述目的，本发明提供一种多媒体文件的数据结构，具有一个文件，所述一个文件容纳有以下内容而形成：多个对象，各自被指定有再现开始时刻，构成多媒体内容，同时成为显示对象；代表内容指定信息，指定一个或多个时刻作为呈现代表上述多媒体内容的显示内容的时刻。
为了达到上述目的，本发明提供一种文件配送方法，具有：存储过程，将各自被指定有再现开始时刻的、构成多媒体内容的多个对象和代表内容指定信息存储在存储装置中；请求接收过程，接收来自外部装置的对上述多媒体内容的下载请求；判断过程，判断上述外部装置是否能再现上述多媒体内容；变换过程，以上述判断过程中的判断结果是否定的情况为条件，根据上述代表内容指定信息，将上述多媒体内容变换为由提出上述下载请求的外部装置可再现的代表内容文件；以及，发送过程，在执行了上述变换过程中的变换的情况下，向提出上述下载请求的外部装置发送上述代表内容文件，另一方面，在上述判断过程中的判断结果是肯定的情况下，向提出上述下载请求的外部装置发送构成上述多媒体内容的文件。上述代表内容指定信息是第一代表内容指定信息或第二代表内容指定信息中至少其中之一，第一代表内容指定信息指定上述多个对象中的至少一个对象作为代表上述多媒体内容的对象，第二代表内容指定信息指定一个或多个时刻作为呈现代表上述多媒体内容的显示内容的时刻。
上述本发明的文件配送方法中，上述发送过程中发送的文件最好是将上述多媒体内容和上述代表内容指定信息容纳在一个文件中而形成的多媒体文件。
为了达到上述目的，本发明提供一种文件配送装置，具有：存储装置，存储各自被指定有再现开始时刻的、构成多媒体内容的多个对象和代表内容指定信息；请求接收装置，接收来自外部装置的对上述多媒体内容的下载请求；判断装置，判断上述外部装置是否能再现上述多媒体内容；变换装置，以上述判断装置的判断结果是否定的情况为条件，根据上述代表内容指定信息，将上述多媒体内容变换为由提出上述下载请求的外部装置可再现的代表内容文件；以及发送装置，在通过上述变换装置执行了变换的情况下，向提出上述下载请求的外部装置发送上述代表内容文件，另一方面，在上述判断装置的判断结果是肯定的情况下，向提出上述下载请求的外部装置发送构成上述多媒体内容的文件。上述代表内容指定信息是第一代表内容指定信息或第二代表内容指定信息中的至少其中之一，第一代表内容指定信息指定上述多个对象中的至少一个对象作为代表上述多媒体内容的对象，第二代表内容指定信息指定一个或多个时刻作为呈现代表上述多媒体内容的显示内容的时刻。
本发明的上述文件配送装置中，通过上述发送装置发送的文件最好是将上述多媒体内容和上述代表内容指定信息容纳在一个文件中而形成的多媒体文件。
为了达到上述目的，本发明提供一种由计算机执行的文件配送程序，具有：存储模块，将各自被指定有再现开始时刻的、构成多媒体内容的多个对象和代表内容指定信息存储在存储装置中；请求接收模块，接收来自外部装置的对上述多媒体内容的下载请求；判断模块，判断上述外部装置是否能再现上述多媒体内容；变换模块，以上述判断模块的判断结果是否定的情况为条件，根据上述代表内容指定信息，将上述多媒体内容变换为由提出上述下载请求的外部装置可再现的代表内容文件；以及发送模块，在通过上述变换模块执行了变换的情况下，向提出上述下载请求的外部装置发送上述代表内容文件，另一方面，上述判断模块的判断结果是肯定的情况下，向提出上述下载请求的外部装置发送构成上述多媒体内容的文件。上述代表内容指定信息是第一代表内容指定信息或第二代表内容指定信息中的至少其中之一，第一代表内容指定信息指定上述多个对象中的至少一个对象作为代表上述多媒体内容的对象，第二代表内容指定信息指定一个或多个时刻作为呈现代表上述多媒体内容的显示内容的时刻。
本发明的上述以及其他目的、特征和优点将通过以下结合附图对本发明的详细说明而变得更清楚。
【附图说明】
图1是示出可适用根据本发明一个实施例的多媒体文件的数据结构等的内容变换系统的整体结构的框图；
图2A是图1所示服务器所执行的上载请求接收步骤的流程图；
图2B是服务器所执行的下载请求接收步骤的流程图；
图3A是表示多媒体文件的数据格式的图表；
图3B是表示构成多媒体文件的各块的数据结构的图表；
图4是表示多媒体文件的再现动作的时间图。
【具体实施方式】
以下，参照附图详细说明本发明的实施例。
1.实施例的构成
首先，参照图1说明可适用本发明一个实施例的多媒体文件的数据结构等的内容变换系统的整体结构。
图1中，便携电话(外部装置)2、4、6可通过通信网8相互通话和发送接收文件。这里，设定便携电话2、4是可进行后述的数据格式的多媒体文件的再现的机型，但便携电话6是不对应于该多媒体文件的机型。在这些便携电话2、4、6之间进行文件的发送接收时，作为文件配送装置的服务器10暂时存储该文件，根据需要进行变换文件形式等的处理。
服务器10内部的发送接收部12和通信网8之间发送接收各种文件和其他信息。CPU14根据后述的程序通过总线20控制其他构成元件。ROM18中存储初始程序装入程序等。RAM16是用作CPU14的工作存储器。在硬盘(存储装置)22中存储：终端信息数据库24，存储与包含上述便携电话2、4、6的各便携电话有关的信息；变换引擎(变换ェンヅン)26，是根据需要变换发送给各便携电话的文件的文件形式的程序；其他各种程序以及数据。这里，在终端信息数据库24中对应地存储便携电话2、4、6等的各便携电话的识别号码和这些便携电话可对应的文件形式。
2.实施例的数据结构
下面，参照图3A、图3B说明本实施例中采用的多媒体文件的数据格式。本数据格式是基于本申请人提出的SMAF(注册商标)方式的格式。在本实施例中，“多媒体内容”是指由图像数据、音频数据、文本数据、演奏数据等多种内容构成的内容，不管构成多媒体内容的内容是否容纳在一个文件中。另一方面，“多媒体文件”是指将多媒体内容容纳在一个文件中而成的文件。
首先，图3A示出了多媒体文件的整体结构。图3A中，信息块210中存储内容的类型(接收旋律、卡拉OK系统、广告节目(CM)系统)、文字信息的语言、文字代码体系等。在可选数据块220中存储显示在显示器等中的字母串(文本数据对象)，同时，存储特定代表图像等的信息(代表内容指定信息，详细描述见后)。而且，存在一个或多个、即至少一个乐曲磁道块230，……，230，分别容纳乐曲的演奏信息(MIDI)。PCM音频磁道块240，……，240存在一个或多个。一个PCM音频磁道块240由多个波形数据(音频数据对象)和规定再现这些波形数据的时刻的顺序信息构成。
另外，一个或多个图形磁道块250，……，250容纳相对于显示设备的描绘顺序。这里，“描绘顺序”是指例如由“在画面上的指定位置描绘所指定的图像数据对象(位图图像)”、“从画面上删除所指定的图像数据对象)等一连串的命令构成。因此，也可以通过在变更描绘位置的同时反复进行对象的“描绘”和“删除”来表现动画图像。主磁道块260容纳整个乐曲的曲调、拍子、节奏等信息和控制多媒体文件的再现系统本身的事件(例如暂停和跳跃等)。通过这些块210～260构成文件块。“文件块”和“多媒体文件其本身”的意思一样。
下面，参照图3B说明上述各块200～260的数据结构。图3B中，设定块300是上述块200～260中的任何一个。在块300的开头部分设置固定长度(8字节)的块标题部310。在块标题部310中记录固有的块ID和该块的数据大小。
在主体部320中容纳该块300的数据主体。在CRC部330中存储用规定的CRC生成多项式对块标题部310和主体部320内的数据列进行运算的运算结果。该CRC部330是仅相对于文件块而设置，用于检查该文件块200是否遭到破坏。
3.实施例的动作
3.1.上载处理
下面说明本实施例的动作。这里，作为一个例子，说明将便携电话4、6作为发送目的地而从便携电话2上载多媒体文件30(参照图1)的情况的动作。这种情况下，从便携电话2通过通信网8给服务器10发送上载请求。当收到该上载请求时，在服务器10中启动图2A所示的上载请求接收步骤。在图2A中，当处理进入步骤SP2(存储过程)时，通过通信网8从便携电话2发送该多媒体文件，在服务器10接收的同时将该文件存储在硬盘22中。接着，当处理进入步骤SP4时，把已有文件的上载的情况通知给作为发送目的地终端装置的便携电话4、6。从而，结束对上载请求的处理。
3.2.下载处理
上载多媒体文件后，便携电话4、6的用户可以随时向服务器10请求下载文件。这里，当收到来自便携电话4或6的下载请求时，在服务器10启动图2B所示的下载请求接收步骤。在图2B中，当处理进入步骤SP22(请求接收过程)时，通过通信网8取得下载请求方的便携电话的终端信息。接着，当处理进入步骤SP24(判断过程)时，参照终端信息数据库24，判断与取得的终端信息有关的便携电话是否能再现上载的多媒体文件。
例如，如果进行下载请求的终端是便携电话4，则在此判断为“是”，处理进入步骤SP28(发送过程)。这时，将该多媒体文件原样发送给下载请求方的便携电话4。另一方面，如果进行下载请求的终端是便携电话6等与多媒体文件不对应的终端，则在步骤SP24中判断为“否”，处理进入步骤SP26(变换过程)。在步骤SP26中，启动变换引擎26，将该多媒体文件变换为一个或多个代表内容文件32(参照图1)。
这里，“代表内容”是指多媒体文件中所包含的作为动画图像的一个场景的静止图像、在该动画图像中叠加的文本数据、与该动画图像同步再现的音频数据等作为可在请求方终端再现的内容而基于多媒体内容生成的内容。后面将描述代表内容文件的生成方法。接着，当处理进入步骤SP28时，将生成的代表内容发送给请求方的便携电话。通过以上处理，结束下载请求接收步骤的处理。
3.3.多媒体文件的再现处理
这里，参照图4说明在便携电话4等中再现多媒体文件的动作概要。
图4中，横轴是开始再现内容后经过的时刻，图4中长方形的横轴方向的长度表示再现各对象的期间。例如，在时刻t1开始再现音频数据对象110，继续再现该音频数据直至时刻t10。在时刻t2开始再现图像数据对象(静止图像)102，在时刻t3开始再现文本数据对象108。因此，当将相关的多媒体内容显示在便携电话4等的显示器上时，在时刻t3之后的时刻t101显示在图像数据对象102中叠加文本数据对象108而形成的图像。
时刻t101之后，在时刻t4开始再现图像数据对象106，在时刻t5结束图像数据对象102的再现，在时刻t6开始再现图像数据对象104。从而，在时刻t6之后的时刻t102，将在图像数据对象104、106中叠加文本数据对象108而形成的图像显示在显示器等上。在构成多媒体内容的对象中，除了上面描述的以外，还可以包含乐曲磁道块230中记录的演奏信息对象(例如MIDI(SMF)方式)等。
3.4.数据变换处理(SP26)
下面，参照图3A、3B详细说明图2B的上述步骤SP26中的数据变换处理。首先，在上述可选数据块220中包含用于指定一个或多个代表内容的信息(代表内容指定信息)。这样，代表内容指定信息大致分为两类。第一类信息是指定哪个对象本身作为代表内容的信息。例如，在图4的例子中，分别将“图像数据对象102”“文本数据对象108”“音频数据对象110”等分别指定为代表内容。第二类信息是指定“某个时刻的显示器的显示内容”作为代表内容的信息。例如，在图4的例子中，将“时刻t101的显示状态”“时刻t102的显示状态”等指定为代表内容。但是，实际上，指定为代表内容的内容根据下载请求方的便携电话6的对应状态而不同，因此，下面分情况进行说明。
3.4.1与所有代表内容对应时
便携电话6与所有代表内容对应时，在上述步骤SP26中，读出全部的包含在可选数据块220中的代表内容指定信息。而对于第一类的信息，生成单独存储与该信息有关的对象的文件作为代表内容文件。即，如果由代表内容指定信息指定图像数据对象，则生成位图文件作为代表内容文件32，如果指定文本数据对象，则生成文本文件作为代表内容文件32，如果指定音频数据对象，则生成波形数据文件作为代表内容文件32。
另外，在代表内容指定信息是第二类的信息的情况下，在指定的时刻把应显示的图像数据对象全部提取出来，通过将它们合成起来，生成一个位图文件。在图4的例子中，例如，如果指定“时刻t102”作为第二类信息，则检索在该时刻应显示的图像数据对象104、106，通过将它们合成起来，生成作为代表内容文件32的位图文件。在生成位图文件时，还可以将在该时刻t102显示的文本数据对象108的内容叠加到该位图文件中。
3.4.2对可对应的代表内容有限制时
在便携电话6中对可对应的代表内容有限制时，在步骤SP26中，仅对可对应的代表内容生成代表内容文件32。例如，在便携电话6仅与文本数据对应的情况下，仅生成文本文件。还有这样的情况，即虽然便携电话6是可再现图像数据文件的机型，但仅能接收一个文件。在这种情况下，针对图像数据，仅生成基于指定图像数据对象(或时刻)的最初的代表内容指定信息的图像数据文件。
另外也有这种情况，即使便携电话6可再现图像数据，但也仅对应于一部分的文件形式。例如，代表内容的原来的图像数据对象是JPEG形式、便携电话6仅对应于PNG形式时，就将图像数据文件从JPEG形式变换为PNG形式。另外，在指定用MIDI形式记录的演奏信息作为代表内容时，也有便携电话6仅对应于PCM数据或MFI形式的数据的情况。在这种情况下，基于原来的演奏信息合成PCM数据的音乐信号，或者将演奏信息的形式变换为MFI形式。
根据上述本发明的实施例，对应于下载请求方的便携电话等的机型而自动生成可对应的代表内容。而且，根据本实施例，因为多媒体文件内的可选数据块220中包含一个或多个代表内容指定信息，所以可以将多媒体内容和代表内容一体化，可以很容易地管理代表图像及其他代表内容。另外，与再现多媒体文件对应的便携电话4的用户根据需要改写可选数据块220的内容，从而也可任意编辑代表内容的内容。当然，也可以将上述第一和第二类的代表内容指定信息混合存储在可选数据块220中。
4.变形例
本发明不限于上述实施例，例如可以是以下所述的各种变形。
(1)在上述各实施例中，通过在服务器10上动作的程序而进行内容数据的变换等的处理，但是，也可以仅将该应用程序存储在CD-ROM、软盘等记录媒体中来发布，或者也可通过传送通路来发布。
(2)上述实施例中的多媒体文件的数据格式不仅用于便携电话和其他设备间的文件配送，例如还可以用于多媒体文件的检索系统等中。即，通过对多个多媒体文件指定静止图像等的代表内容指定信息，可以在个人计算机上进行生成代表内容一览等的处理。从而，用户一看就能把握多个多媒体文件的概要，可以迅速地检索需要的多媒体文件。
(3)在上述实施例中，将代表内容指定信息存储在多媒体文件内，多媒体内容和代表内容指定信息不是必须容纳在同一文件中，也可以将两者容纳在不同的文件中。而且，多媒体内容本身不是必须容纳在同一文件(多媒体文件)中，也可以由每个对象的各个的文件构成多媒体内容。
(4)在上述实施例中，是通过接收代表内容一方的便携电话侧的动作而下载多媒体内容或代表内容，但是每个代表内容可适用不同的发送方法。例如，可以仅将文本数据对象作为电子邮件发送给接收方，同时，在接收方的画面上显示图像数据对象。
本发明的目的是为系统或装置提供记录实现实施例的功能的软件程序代码的存储媒体，通过该系统或装置的计算机(或CPU和MPU等)读出并执行存储在存储媒体中的程序代码也可达成。
这时，从存储媒体读出的程序代码本身可以实现上述实施例的功能，存储该程序代码的存储媒体构成本发明。在通过传输媒体等提供程序代码的情况下，程序代码本身也构成本发明。作为这些情况下的存储媒体，除了ROM外，还可以使用软盘、硬盘、光盘、磁光盘、CD-ROM、CD-R/RW、DVD-ROM、DVD-RAM、DVD-R/RW、DVD+RW、NV-RAM、磁带、永久存储卡或通过网络的下载等。
当然，本发明不仅通过执行计算机读出的程序代码来实现上述实施例的功能，毫无疑问还包括：在计算机上运行的OS(操作系统)等基于该程序代码的指示进行部分或全部的实际处理，通过该处理实现上述实施例的功能。当然，本发明还包含这样的情况：从存储媒体读出的程序代码被写入插入计算机的功能扩展插板或连接计算机的功能扩展单元中设置的存储器中之后，根据程序代码的指示，设在功能扩展插板或功能扩展单元中的CPU等进行部分或全部的实际处理，通过该处理实现上述实施例的功能。