书签 分享 收藏 举报 版权申诉 / 16

一种海量空间信息数据存储管理方法及存储管理系统.pdf

  • 上传人:54
  • 文档编号:6006883
  • 上传时间:2019-04-02
  • 格式:PDF
  • 页数:16
  • 大小:1.19MB
  • 摘要
    申请专利号:

    CN201610832422.4

    申请日:

    2016.09.19

    公开号:

    CN106446126A

    公开日:

    2017.02.22

    当前法律状态:

    实审

    有效性:

    审中

    法律详情:

    实质审查的生效IPC(主分类):G06F 17/30申请日:20160919|||公开

    IPC分类号:

    G06F17/30

    主分类号:

    G06F17/30

    申请人:

    哈尔滨航天恒星数据系统科技有限公司

    发明人:

    王景光; 邹同元; 褚鹏飞; 沈洋; 侯伟; 刘宗玥

    地址:

    150028 黑龙江省哈尔滨市松北区创新路1616号5号楼

    优先权:

    专利代理机构:

    北京睿驰通程知识产权代理事务所(普通合伙) 11604

    代理人:

    乔双双

    PDF完整版下载: PDF下载
    内容摘要

    本发明公开了一种海量空间信息数据存储管理方法,包括步骤:建立主从模式的分布式文件系统,位于分布式文件系统下对空间信息数据进行全生命周期管理的存储管理节点;创建在存储管理节点的指令控制下以文件块为基本单位分布式存储文件数据的、由若干个数据存储节点形成的分布式、可横向平滑扩展的存储集群;数据存储节点采用分布式存储策略,该分布式存储策略是基于哈希取模算法实现的。采用本发明解决了现有的存储管理方法无法对具备海量、多源、异构等特点的空间信息数据进行有效存储和管理的问题。

    权利要求书

    1.一种海量空间信息数据存储管理方法,其中,包括步骤:
    建立主从模式的分布式文件系统,位于分布式文件系统下对空间信息数据进行全生命
    周期管理的存储管理节点;
    创建在存储管理节点的指令控制下以文件块为基本单位分布式存储文件数据的、由若
    干个数据存储节点形成的分布式、可横向平滑扩展的存储集群;
    数据存储节点采用分布式存储策略,该分布式存储策略是基于哈希取模算法实现的。
    2.如权利要求1所述海量空间信息数据存储管理方法,其中,存储管理节点存储分布式
    文件系统的文件系统元数据,并在检测到任何对文件系统元数据产生修改的操作时,将使
    用编辑日志文件进行记录;
    存储管理节点将实际的文件数据存储于数据存储节点前,先将整个文件进行数据切
    分,切分为预定义大小的文件块,并为每个文件块分配一个全局唯一的句柄。
    3.如权利要求2所述海量空间信息数据存储管理方法,其中,所述将实际的文件数据存
    储于数据存储节点前,先将整个文件进行数据切分,切分为预定义大小的文件块,并为每个
    文件块分配一个全局唯一的句柄的操作是外部客户端通过存储管理节点完成的;
    所述的文件块的块规模默认为64MB。
    4.如权利要求2所述海量空间信息数据存储管理方法,其中,所述的文件数据的所有文
    件块都会被复制成多个副本,所述副本的数量称为副本因子,每个文件数据的文件块大小
    和副本因子都是可配置的。
    5.如权利要求4所述海量空间信息数据存储管理方法,其中,在哈希取模算法的基础
    上,采用冗余策略,通过增加冗余分片空间到数据存储节点,并将各个文件块复制成副本;
    若检测到数据存储节点失效或失联时,则利用存储管理节点持续跟踪文件块副本,并
    开启副本的复制。
    6.如权利要求2所述海量空间信息数据存储管理方法,其中,所述的分布式文件系统的
    命名空间、block到文件的映射、文件的属性都存储在所述文件系统元数据中,所述文件系
    统元数据存储在所述存储管理节点中。
    7.如权利要求1所述海量空间信息数据存储管理方法,其中,所述分布式文件系统是基
    于关系型数据库管理系统(RDSMS)实现的;
    当所述数据存储节点出现文件块损坏的情况时,采用文件内容校验和的机制;
    当创建一个新的关系型数据库管理系统(RDSMS)文件时,会计算该文件数据每个文件
    块的校验和,并肩校验和作为一个单独的隐藏文件保存到存储管理节点中。
    8.如权利要求1所述海量空间信息数据存储管理方法,其中,所述的分布式文件系统采
    用信息分离混合索引算法用于索引相关的时空信息,该算法中采用了改进的哈希表,用于
    索引静态信息、动态历史时空信息、当前及未来时空信息。
    9.如权利要求1所述海量空间信息数据存储管理方法,其中,所述的分布式文件系统采
    用了遥感空间数据多尺度组织管理模式,横向以高分应用为基本单位;纵向以多级分辨率
    管理。
    10.一种采用如权利要求1-9任一所述的海量空间信息数据存储管理系统,其中,包括:
    分布式文件系统,采用主从模式建立;
    存储管理节点,位于分布式文件系统下对空间信息数据进行全生命周期管理,并存储
    有分布式文件系统的文件系统元数据;
    存储集群,在存储管理节点的指令控制下以文件块为基本单位分布式存储文件数据
    的、由若干个数据存储节点形成的分布式、可横向平滑扩展;
    耦合于存储管理节点的外部客户端。

    说明书

    一种海量空间信息数据存储管理方法及存储管理系统

    技术领域

    本发明涉及海量空间数据存储关系研究领域,具体涉及一种海量空间信息数据存
    储管理方法及存储管理系统。

    背景技术

    现如今,国内在卫星技术领域的发展如火如荼,但部分地区在卫星应用数据信息
    方面缺乏整合,统筹和信息融合严重不足,其中,如空间信息数据的存储和管理就存在不少
    问题,空间信息数据趋于多源化(天基、航空、临近空间等)、数据量巨大的特点,数据的多源
    性致使数据总量巨大,需要存储数以千万计的文件数据;高分辨率特性使得单个高分空间
    信息数据文件(单体数据)可达到几GB甚至数十GB,建设满足总量巨大、单体数据容量超大
    的民用空间信息数据的能力的存储管理系统成为必然趋势。

    发明内容

    技术问题是现有的存储管理方法无法对具备海量、多源、异构等特点的空间信息
    数据进行有效存储和管理;

    有鉴于此,本发明实施例提供了一种海量空间信息数据存储管理方法及系统,解
    决技术问题。

    问题的解决方案:

    本发明提供了一种海量空间信息数据存储管理方法,包括步骤:

    建立主从模式的分布式文件系统,位于分布式文件系统下对空间信息数据进行全
    生命周期管理的存储管理节点;

    创建在存储管理节点的指令控制下以文件块为基本单位分布式存储文件数据的、
    由若干个数据存储节点形成的分布式、可横向平滑扩展的存储集群;

    数据存储节点采用分布式存储策略,该分布式存储策略是基于哈希取模算法实现
    的。

    进一步的,存储管理节点存储分布式文件系统的文件系统元数据,并在检测到任
    何对文件系统元数据产生修改的操作时,将使用编辑日志文件进行记录;

    存储管理节点将实际的文件数据存储于数据存储节点前,先将整个文件进行数据
    切分,切分为预定义大小的文件块,并为每个文件块分配一个全局唯一的句柄。例如,在关
    系型数据库管理系统(RDSMS)中创建一个文件,存储管理节点会在编辑日志文件(Editlog)
    中记录一条文件创建的日志信息;存储管理节点在本地文件系统中存储这个编辑日志文件
    (Editlog)文件;文件数据预切分为预定义大小的文件块,再以文件块进行分布式存储,可
    以提高存储效率;而文件系统元数据的存在,可以使得分布式文件系统的组织和管理有所
    依据和记录。

    进一步的,所述将实际的文件数据存储于数据存储节点前,先将整个文件进行数
    据切分,切分为预定义大小的文件块,并为每个文件块分配一个全局唯一的句柄的操作是
    外部客户端通过存储管理节点完成的;

    所述的文件块的块规模默认为64MB。本方案中,默认的块规模达到64MB,这远大于
    一般文件系统的块规模,选择较大的块规模的好处是可以减少客户端和存储管理节点之间
    的交互;而且,客户端在一个给定的块上很可能知悉多个操作,与一个数据存储节点保持较
    长时间的连接可以减少网络负载;同时,可以减少存储管理节点上保存的文件系统元数据
    的规模,从而使得可以将文件系统元数据放在内存中,这将会带来管理和存储效率的提升。

    进一步的,所述的文件数据的所有文件块都会被复制成多个副本,所述副本的数
    量称为副本因子,每个文件数据的文件块大小和副本因子都是可配 置的。副本因子可以在
    文件创建的时候配置,以后也可以改变;副本因子的设置,可以提高系统的容错能力。

    进一步的,在哈希取模算法的基础上,采用冗余策略,通过增加冗余分片空间到数
    据存储节点,并将各个文件块复制成副本;

    若检测到数据存储节点失效或失联时,则利用存储管理节点持续跟踪文件块副
    本,并开启副本的复制。存储管理节点负责管理文件块的复制,当一部分存储节点与存储管
    理节点失去联系时,存储管理节点可将无法连接的存储节点标记为失效状态;此时,存储管
    理节点将持续跟踪需要复制的文件块副本,启动文件块副本的复制;当某个文件的副本因
    子减小时,存储管理节点会选择要删除的过剩的文件块副本,并且在下次心跳检测时,将副
    本删除指令传递给某个存储节点,此时,存储节点会移除相应的文件块副本并释放空间;本
    方案如此设置,有效地保证了系统的瓦片数据的安全性和系统的可靠性。

    进一步的,所述的分布式文件系统的命名空间、block到文件的映射、文件的属性
    都存储在所述文件系统元数据中,所述文件系统元数据存储在所述存储管理节点中。block
    是数据库中的最小存储和处理单位,包含块本身的头信息数据或PL/SQL代码。

    进一步的,所述分布式文件系统是基于关系型数据库管理系统(RDSMS)实现的;

    当所述数据存储节点出现文件块损坏的情况时,采用文件内容校验和的机制;

    当创建一个新的关系型数据库管理系统(RDSMS)文件时,会计算该文件数据每个
    文件块的校验和,并肩校验和作为一个单独的隐藏文件保存到存储管理节点中。海量的遥
    感数据以分幅的方式存储在单独的文件中,关系型数据库管理系统负责文件数据及文件块
    等的索引工作,便于应用系统能够快速定位到需要读取的文件数据;这一模式对海量数据
    的管理非常方便,可根据

    数据容量需求,通过不断的增加存储设备或增加存储节点的方式实现扩容。;该校
    验和实际上是保存在存储管理节点的命名空间中;本方案只要是针对:由于存储节点的存
    储设备错误、网络错误或者软件缺陷等原因,可能造成某个存储节点的文件块受到损坏等
    情况;在这种情况下,RDSMS采用文件内容校验和的机制,保证数据的完整性。

    进一步的,所述的分布式文件系统采用信息分离混合索引算法用于索引相关的时
    空信息,该算法中采用了改进的哈希表,用于索引静态信息、动态历史时空信息、当前及未
    来时空信息。本方案解决了海量空间信息的协同性和可生存性问题。

    进一步的,所述的分布式文件系统采用了遥感空间数据多尺度组织管理模式,横
    向以高分应用为基本单位,进而实现不同空间地理资源体类型的数据组织;纵向以多级分
    辨率管理,实现对多层次不同类型资源体的横纵管理功能。横向以高分应用为基本单位,进
    而实现不同空间地理资源体类型的数据组织;纵向以多级分辨率管理,实现对多层次不同
    类型资源体的横纵管理功能。

    本发明还提供了一种采用如本发明公开的任一所述的海量空间信息数据存储管
    理系统,包括:

    分布式文件系统,采用主从模式建立;

    存储管理节点,位于分布式文件系统下对空间信息数据进行全生命周期管理,并
    存储有分布式文件系统的文件系统元数据;

    存储集群,在存储管理节点的指令控制下以文件块为基本单位分布式存储文件数
    据的、由若干个数据存储节点形成的分布式、可横向平滑扩展;

    耦合于存储管理节点的外部客户端。

    本发明的有益效果:采用上述技术方案,本发明至少可取得下述技术效果:由于本
    发明采用主从模式的分布式文件系统,存储能力具备易扩展性,通过增加数据存储节点容
    量和/或数据存储节点数据,很容易能够实现整个存 储系统的水平扩容,并且能够对数据
    的存取应用屏蔽数据存储节点容量和数目变化的物理细节,能够较好的满足海龙空间信息
    数据的扩展性存储需求;而数据存储节点采用分布式存储策略,可以保证每个数据存储节
    点存储几乎相同数量的数据,同时又使得在并行检索时,每个数据存储节点检索的瓦片数
    据量近似相同,有效的通告了系统的并发查询性能和负载均衡性;而哈希取模算法是一种
    原理简单易于实现的分布式策略,该策略的最大优点是具备非常优秀的分散性,可以有效
    地保证系统的负载。

    附图说明

    为了更清楚地说明本发明实施例中的技术方案,下面将对本发明实施例描述中所
    需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施
    例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据本发明实施
    例的内容和这些附图获得其他的附图。

    图1是本发明一种海量空间信息数据存储管理方法的流程图;

    图2是本发明本发明海量空间信息数据存储管理系统的示意图;

    图3所示是本发明的一种海量空间信息数据存储管理系统的软件架构图;

    图4是本发明存储管理系统的网络部署示意图。

    贯穿附图,应该注意的是,相似的标号用于描绘相同或相似的元件、特征和结构。

    具体实施方式

    提供以下参照附图的描述来帮助全面理解由权利要求及其等同物限定的本公开
    的各种实施例。以下描述包括帮助理解的各种具体细节,但是这些细节将被视为仅是示例
    性的。因此,本领域普通技术人员将认识到,在不脱离本公开的范围和精神的情况下,可对
    本文所述的各种实施例进行各种改变和 修改。另外,为了清晰和简洁,公知功能和构造的
    描述可被省略。

    以下描述和权利要求书中所使用的术语和词汇不限于文献含义,而是仅由发明人
    用来使本公开能够被清晰和一致地理解。因此,对于本领域技术人员而言应该明显的是,提
    供以下对本公开的各种实施例的描述仅是为了示例性目的,而非限制由所附权利要求及其
    等同物限定的本公开的目的。

    应该理解,除非上下文明确另外指示,否则单数形式也包括复数指代。因此,例如,
    对“组件表面”的引用包括对一个或更多个这样的表面的引用。

    实施例一:

    图1是本发明一种海量空间信息数据存储管理方法的流程图,参考图1,本发明公
    开了一种海量空间信息数据存储管理方法,包括步骤:

    S1:建立主从模式的分布式文件系统,位于分布式文件系统下对空间信息数据进
    行全生命周期管理的存储管理节点;

    S2:创建在存储管理节点的指令控制下以文件块为基本单位分布式存储文件数据
    的、由若干个数据存储节点形成的分布式、可横向平滑扩展的存储集群;

    S3:数据存储节点采用分布式存储策略,该分布式存储策略是基于哈希取模算法
    实现的。

    本发明的有益效果:采用上述技术方案,本发明至少可取得下述技术效果:由于本
    发明采用主从模式的分布式文件系统,存储能力具备易扩展性,通过增加数据存储节点容
    量和/或数据存储节点数据,很容易能够实现整个存储系统的水平扩容,并且能够对数据的
    存取应用屏蔽数据存储节点容量和数目变化的物理细节,能够较好的满足海龙空间信息数
    据的扩展性存储需求;而数据存储节点采用分布式存储策略,可以保证每个数据存储节点
    存储几乎相同数量的数据,同时又使得在并行检索时,每个数据存储节点检索的瓦片数据
    量近似相同,有效的通告了系统的并发查询性能和负载均衡性;而哈希取模算法是一种原
    理简单易于实现的分布式策略,该策略的最大优点是具备 非常优秀的分散性,可以有效地
    保证系统的负载。

    其中,哈希取模算法是一种原理简单易于实现的分布式策略,该策略最大的优点
    是具备非常优秀的分散性,可以有效地保证系统的负载。

    哈希取模算法采用基于取模运算的哈希函数,对key进行取模运算,运算的结果作
    为该key对应的哈希表入口地址。假如N个节点,需将一个对象key均匀的映射到N个节点,根
    据Hash(key)%N的结果决定存储在哪个节点上,此方法简单,数据的分散性很优秀,能很好
    的满足均匀哈希的要求。

    本发明分布策略的核心思想即借鉴哈希取模算法:其公式为:

    H(key)=(3*row+col)%K

    H(key)为分片空间号,K为最大虚拟节点数,K>H(key)>0,row为瓦片左下角的行
    号,col为左下角的列号。分片空间号在瓦片文件树结构最上层目录。

    这样得到的任意3*3瓦片请求,其中9个分片空间号都不一样。根据现有瓦片大小
    512*512pixel以及主流显示窗口大小1280*1024pixel的情况,这样设置较为合理。

    对于分片空间号与实际物理节点的映射,比如实际物理节点个数为n(n<=K),此
    时每个节点分配的分片空间号个数应介于(INT)K/n和(INT)K/(n+1)之间,并且每个节点相
    邻分片空间号之差为n。在本发明中将存储节点个数最大值(K)定为255(该值要根据实际存
    储量估算而来,一旦设定不能更改),假设n=9时,分片空间号信息如表1:空间分片示例所
    示。

    表1:空间分片示例





    K=255,每个瓦片存储的分片空间号信息详见表2所示。

    表2:瓦片空间分片











    50
    51
    52
    53
    54







    0
    1

    53
    54







    0
    1
    2
    3
    4







    0
    1
    2
    3
    4
    5
    6
    7






    2
    3
    4
    5
    6
    7
    8
    9
    0




    0
    1
    5
    6
    7
    8
    9
    0
    1
    2
    3

    0
    1
    2
    3
    4
    8
    9
    0
    1
    2
    3
    4
    5
    6

    3
    4
    5
    6
    7
    1
    2
    3
    4
    5
    6
    7
    8
    9

    6
    7
    8
    9
    0
    4
    5
    6
    7
    8
    9
    0
    1
    2

    9
    0
    1
    2
    3















    42
    43
    44
    45
    46
    47
    48
    49
    50

    37
    38
    39
    40
    41
    45
    46
    47
    48
    49
    50
    51
    52
    53

    40
    41
    42
    43
    44
    48
    49
    50
    51
    52
    53
    54



    43
    44
    45
    46
    47
    51
    52
    53
    54






    46
    47
    48
    49
    50
    54









    49
    50
    51
    52
    53

    整个表可以看作是原始遥感影像数据,表中每一个小格代表一块瓦片影像数据,
    可以理解为原始影像数据经过分割处理后生成大量的瓦片数据。从表中可以发现对于任意
    3*3请求,其中涉及到的9张瓦片数据均存储在不同 分片空间上并且分片空间号连续,这样
    请求时并发请求被最大程度的均匀到各个节点上,并发程度最高,效率最快。即使是n*n的
    请求,其中各个瓦片分布的节点也比较分散,并不会集中在某些节点中,使得效率有一定保
    障。从每一行来看,每一行都包括所有连续的分片空间号(0到254),每个分片空间存储的瓦
    片数量都相等,那么每个物理节点实际存储的瓦片数量也几乎近似相等。因此整幅遥感影
    像数据经过处理所生成的瓦片数据按照本发明的哈希分布策略将会被均匀的分散到不同
    存储节点,每个存储节点的存储瓦片数据量也近似相等,达到了查询效率和负载均衡的要
    求。

    本实施例优选的,存储管理节点存储分布式文件系统的文件系统元数据,并在检
    测到任何对文件系统元数据产生修改的操作时,将使用编辑日志文件进行记录;

    存储管理节点将实际的文件数据存储于数据存储节点前,先将整个文件进行数据
    切分,切分为预定义大小的文件块,并为每个文件块分配一个全局唯一的句柄。空间信息数
    据的具有“一次写入,多次读取”的特点,一旦处理、生成不同级别的空间信息数据产品,原
    则上不允许对数据本身进行修改;而文件系统元数据对此有所帮助,例如,在关系型数据库
    管理系统(RDSMS)中创建一个文件,存储管理节点会在编辑日志文件(Editlog)中记录一条
    文件创建的日志信息;存储管理节点在本地文件系统中存储这个编辑日志文件(Editlog)
    文件;文件数据预切分为预定义大小的文件块,再以文件块进行分布式存储,可以提高存储
    效率;而文件系统元数据的存在,可以使得分布式文件系统的组织和管理有所依据和记录。

    本实施例优选的,将实际的文件数据存储于数据存储节点前,先将整个文件进行
    数据切分,切分为预定义大小的文件块,并为每个文件块分配一个全局唯一的句柄的操作
    是外部客户端通过存储管理节点完成的;

    文件块的块规模默认为64MB。本方案中,默认的块规模达到64MB,这远大于一般文
    件系统的块规模,选择较大的块规模的好处是可以减少客户端和 存储管理节点之间的交
    互;而且,客户端在一个给定的块上很可能知悉多个操作,与一个数据存储节点保持较长时
    间的连接可以减少网络负载;同时,可以减少存储管理节点上保存的文件系统元数据的规
    模,从而使得可以将文件系统元数据放在内存中,这将会带来管理和存储效率的提升。

    本实施例优选的,文件数据的所有文件块都会被复制成多个副本,副本的数量称
    为副本因子,每个文件数据的文件块大小和副本因子都是可配置的。副本因子可以在文件
    创建的时候配置,以后也可以改变;副本因子的设置,可以提高系统的容错能力。

    本实施例优选的,在哈希取模算法的基础上,采用冗余策略,通过增加冗余分片空
    间到数据存储节点,并将各个文件块复制成副本;

    若检测到数据存储节点失效或失联时,则利用存储管理节点持续跟踪文件块副
    本,并开启副本的复制。硬件存储设备和网络设备的错误是常态,而非异常情况,当局部存
    储设备或网络设备失效时,系统应具有能够进行自动错误检测和快速、自动的数据恢复的
    能力;而本方案中,存储管理节点负责管理文件块的复制,当一部分存储节点与存储管理节
    点失去联系时,存储管理节点可将无法连接的存储节点标记为失效状态;此时,存储管理节
    点将持续跟踪需要复制的文件块副本,启动文件块副本的复制;当某个文件的副本因子减
    小时,存储管理节点会选择要删除的过剩的文件块副本,并且在下次心跳检测时,将副本删
    除指令传递给某个存储节点,此时,存储节点会移除相应的文件块副本并释放空间;本方案
    如此设置,有效地保证了系统的瓦片数据的安全性和系统的可靠性。

    对于其中所提及的冗余策略:

    基于哈希取模法的分布式策略能够很好的保证系统的负载均衡性,但是缺乏对系
    统安全性和可靠性的设计,即一旦某个存储节点失效,那么相应的存储节点的瓦片数据就
    会丢失,给系统带来巨大的损失。当前大多数分布式存储系统倾向采用容错的方法增加系
    统的可靠性。所谓容错准确讲就是容忍 故障,其允许系统发生故障并且要求当故障出现时
    相关功能和服务不会失效,通常可以采用副本形式设计容错功能,这种方法的本质是一种
    冗余策略。

    冗余策略的基本思想是在哈希取模算法的基础之上设计了一种“分片空间副本”
    的分布式冗余部署方案,也就是通过增加冗余分片空间到物理节点上为该系统增加副本,
    有效地提高了系统的容错性,从而保证分布式系统的可靠性和安全性。具体方法是:将哈希
    取模获得的分片空间号增加两个副本,将两个副本分别放入前一个节点和后一个节点。这
    样每个瓦片数据将在三个节点上存储三分数据,有两份副本,如果空间分片对应的主物理
    节点故障,则可以从其他两个备用物理节点获取数据,每个节点的空间分片号也有原来的
    一个列表变为三个列表,如表3描述。

    表3:第i个物理存储节点对应的分片空间号表

    i-1节点的副本
    i节点
    i+1节点的副本
    (i-1)-1
    i-1
    (i+1)-1
    (i-1)-1+n
    i-1+n
    (i+1)-1+n
    (i-1)-1+2n
    i-1+2n
    (i+1)-1+2n
    (i-1)-1+3n
    i-1+3n
    (i+1)-1+3n



    (i-1)-1+kn
    i-1+kn
    (i+1)-1+kn

    多分辨率瓦片数据结构是目前海量遥感影像数据存储管理的常用策略,该策略充
    分利用多分辨率影像金字塔和影像分块技术,能够有效地应用于海量遥感数据的无缝组织
    和可视化,解决基于影像的现实世界的真实表达与呈现;具有高空间分辨率,高时间分辨率
    或高光谱分辨率特点的高分辨率卫星遥感技术为遥感定量化、动态化、网络化、实用化和产
    业化及利用遥感数据进行地物特征的提取,提供了丰富的数据源。

    本实施例优选的,分布式文件系统的命名空间、block到文件的映射、文件的属性
    都存储在文件系统元数据中,文件系统元数据存储在存储管理节点中。block是数据库中的
    最小存储和处理单位,包含块本身的头信息数据或PL/SQL代码。

    本实施例优选的,分布式文件系统是基于关系型数据库管理系统(RDSMS) 实现
    的;

    当数据存储节点出现文件块损坏的情况时,采用文件内容校验和的机制;

    当创建一个新的关系型数据库管理系统(RDSMS)文件时,会计算该文件数据每个
    文件块的校验和,并肩校验和作为一个单独的隐藏文件保存到存储管理节点中。海量的遥
    感数据以分幅的方式存储在单独的文件中,关系型数据库管理系统负责文件数据及文件块
    等的索引工作,便于应用系统能够快速定位到需要读取的文件数据;这一模式对海量数据
    的管理非常方便,可根据数据容量需求,通过不断的增加存储设备或增加存储节点的方式
    实现扩容。;该校验和实际上是保存在存储管理节点的命名空间中;本方案只要是针对:由
    于存储节点的存储设备错误、网络错误或者软件缺陷等原因,可能造成某个存储节点的文
    件块受到损坏等情况;在这种情况下,RDSMS采用文件内容校验和的机制,保证数据的完整
    性。

    本实施例优选的,分布式文件系统采用信息分离混合索引算法用于索引相关的时
    空信息,该算法中采用了改进的哈希表,用于索引静态信息、动态历史时空信息、当前及未
    来时空信息。本方案解决了海量空间信息的协同性和可生存性问题。

    本实施例优选的,分布式文件系统采用了遥感空间数据多尺度组织管理模式,横
    向以高分应用为基本单位,进而实现不同空间地理资源体类型的数据组织;纵向以多级分
    辨率管理,实现对多层次不同类型资源体的横纵管理功能。横向以高分应用为基本单位,进
    而实现不同空间地理资源体类型的数据组织;纵向以多级分辨率管理,实现对多层次不同
    类型资源体的横纵管理功能。

    实施例二:

    图2是本发明本发明海量空间信息数据存储管理系统的示意图,参考图2可知,本
    发明还提供了一种采用如本发明公开的任一所述的海量空间信息 数据存储管理系统,包
    括:

    分布式文件系统1,采用主从模式建立;

    存储管理节点10,位于分布式文件系统下对空间信息数据进行全生命周期管理,
    并存储有分布式文件系统的文件系统元数据;

    存储集群20,在存储管理节点的指令控制下以文件块为基本单位分布式存储文件
    数据的、由若干个数据存储节点形成的分布式、可横向平滑扩展;

    耦合于存储管理节点的外部客户端。

    本发明的有益效果:采用上述技术方案,本发明至少可取得下述技术效果:由于本
    发明采用主从模式的分布式文件系统,存储能力具备易扩展性,通过增加数据存储节点容
    量和/或数据存储节点数据,很容易能够实现整个存储系统的水平扩容,并且能够对数据的
    存取应用屏蔽数据存储节点容量和数目变化的物理细节,能够较好的满足海龙空间信息数
    据的扩展性存储需求;而数据存储节点采用分布式存储策略,可以保证每个数据存储节点
    存储几乎相同数量的数据,同时又使得在并行检索时,每个数据存储节点检索的瓦片数据
    量近似相同,有效的通告了系统的并发查询性能和负载均衡性;而哈希取模算法是一种原
    理简单易于实现的分布式策略,该策略的最大优点是具备非常优秀的分散性,可以有效地
    保证系统的负载。

    图3所示是本发明的一种海量空间信息数据存储管理系统的软件架构图,参考图2
    和图3可知:

    本系统还包括设置在存储管理节点和存储集群之间的存储虚拟化层,该存储虚拟
    化层存储有资源元数据和接口协议与规范,其中资源元数据包含有存储节点心跳信息等,
    而接口协议与规范则存储有存储管理节点心跳信息上报接口等,详见图3;除此之外,从图3
    中,我们可以知道,数据存储节点可以是linux服务器、uinx服务器以及windows服务器等,
    除此之外,图3中还展示了本系统的一些内容,鉴于该部分内容非本发明主要发明点,便不
    再一一赘述。

    图4是本发明存储管理系统的网络部署示意图,参考图4可知:

    a)客户端计算机是海量空间信息数据存储及管理系统的媒介。客户端计算机在用
    B/S模式与后台的存储服务器进行交互,存储服务器与客户端计算机之间传递的是数据;权
    属单位可以通过计算机在服务器上登录自己账号,享受自己应有的权限。

    b)专线接入路由器负责专线接入空间信息数据中心,提供数据通信链路。专线接
    入路由器向下与各权属单位的客户端计算机相连,向上与空间信息数据中心的核心交换机
    相连。

    c)核心交换机为空间信息数据中心的数据通信核心,为存储服务器与管理服务器
    通信提供高速的包交换能力。核心交换机向下与空间信息数据中心的接入路由器相连,向
    上与接入交换机相连。

    d)接入交换机提供足够的接口,为存储服务器和管理服务器提供接入能力。接入
    交换机向上与存储服务器、管理服务器相连,向下与核心交换机相连。

    e)存储服务器负责运行权属单位的服务器,权属单位通过存储服务器使用自己的
    账号登录空间信息数据存储及管理系统获取服务。存储服务器向下与接入交换机相连。

    f)管理服务器对存储服务器进行组织管理,管理服务器与接入交换机相连。

    应该注意的是,如上所述的本公开的各种实施例通常在一定程度上涉及输入数据
    的处理和输出数据的生成。此输入数据处理和输出数据生成可在硬件或者与硬件结合的软
    件中实现。例如,可在移动装置或者相似或相关的电路中采用特定电子组件以用于实现与
    如上所述本公开的各种实施例关联的功能。另选地,依据所存储的指令来操作的一个或更
    多个处理器可实现与如上所述本公开的各种实施例关联的功能。如果是这样,则这些指令
    可被存储在一个或更多个非暂时性处理器可读介质上,这是在本公开的范围内。处理器 可
    读介质的示例包括只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光学数
    据存储装置。另外,用于实现本公开的功能计算机程序、指令和指令段可由本公开所属领域
    的程序员容易地解释。

    尽管已参照本公开的各种实施例示出并描述了本公开,但是本领域技术人员将理
    解,在不脱离由所附权利要求及其等同物限定的本公开的精神和范围的情况下,可对其进
    行形式和细节上的各种改变。

    关 键  词:
    一种 海量 空间 信息 数据 存储 管理 方法 系统
      专利查询网所有文档均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    0条评论

    还可以输入200字符

    暂无评论,赶快抢占沙发吧。

    关于本文
    本文标题:一种海量空间信息数据存储管理方法及存储管理系统.pdf
    链接地址:https://www.zhuanlichaxun.net/p-6006883.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服 - 联系我们

    copyright@ 2017-2018 zhuanlichaxun.net网站版权所有
    经营许可证编号:粤ICP备2021068784号-1