一种多源多时相卫星影像瓦片数据的处理方法及检索方法
【技术领域】
[0001] 本发明属于对地观测与导航的技术领域,具体地涉及一种多源多时相卫星影像瓦 片数据的处理方法、处理系统,以及基于该处理方法的多源多时相卫星影像瓦片数据的检 索方法、检索系统。
【背景技术】
[0002] 随着我国对地观测技术地快速发展,具有时空协调、全天候、全天时的对地观测系 统已形成,并可获取海量的遥感影像数据。遥感影像数据正以几何级的速度增长,并且具有 多种来源、多种类型、多种分辨率、多种时态和多种版本的特点,对其存储、处理和发布共享 带来了很大的问题和挑战。
[0003] 海量遥感影像数据的处理主要存在两个问题:一是随着影像数据海量增长,采用 何种方法才能合理高效的组织存储与处理这些具有多源异构、多时相和多版本的地理上分 布的影像数据,实现统一的存储组织规范和实时共享与快速发布服务;二是随着用户对遥 感影像数据的需求越来越广泛与要求越来越高,怎样从海量的遥感数据源中快速准确的查 找到满足用户不同需求的遥感影像数据。
[0004] 通过对国内外遥感影像数据处理系统研宄,不难发现采用多分辨率影像金字塔和 影像块技术是实现遥感影像信息存储、组织、处理、实时显示和高速服务的有效途径,基于 球面坐标的多分辨率金字塔瓦片数据模型是解决海量影像数据的无缝组织处理和可视化 的有效方式,但是现有的瓦片数据处理方式在对多源多时相影像数据的处理上,还存在以 下几个问题:
[0005] 1.缺乏对同一区域的多源、多时相、多版本的影像数据的处理
[0006] WorldWind,GoogleMaps,GoogleEarth,BingMaps,天地图等数据存储系统都属 于基于球面格网的多分辨率金字塔瓦片,主要应用于遥感数据的无缝组织和可视化视图, 解决基于影像的现实世界的真实表达与呈现,但在"横向上",都欠缺同一区域的多源数据 处理,也没有多时相多版本影像数据的处理。虽然对多时态瓦片数据组织与索引存在很多 解决方法,但是对于具有多源异构和多版本影像瓦片数据都没有有效的组织处理方法。
[0007] 2.瓦片数据空间特性之外的其他元数据没有有效处理
[0008] 传统瓦片组织结构能够描述瓦片的空间特性,但是对于瓦片的其他元数据,比如 瓦片卫星来源、传感器类型、产品登记、成像时间等信息都没有高效的处理起来,更没有提 供多样化的空间搜索。
[0009] 要支持多源多时相的多分辨率金字塔瓦片数据组织处理必须要解决三个问题,一 是如何构建具有时空特性、多源异构特性的海量瓦片数据组织结构;二是如何处理多源异 构卫星数据瓦片的元数据;三是提供海量瓦片数据的快速检索机制。所以,必须提供一种多 源多时相卫星影像瓦片数据的处理方法与快速检索机制。
【发明内容】
[0010] 本发明的技术解决问题是:克服现有技术的不足,提供一种多源多时相卫星影像 瓦片数据的处理方法,其能够构建具有时空特性、多源异构特性的海量瓦片数据组织结构, 并能够处理多源异构卫星数据瓦片的元数据。
[0011] 本发明的技术解决方案是:这种多源多时相卫星影像瓦片数据的处理方法,包括 以下步骤:
[0012] (1)输入多个卫星影像数据,每个卫星影像数据包括元数据和像素数据;
[0013] (2)接收数据入库请求;
[0014] (3)将每个卫星影像数据的元数据基于空间数据库BeyonDB的影像元数据表来存 储,影像元数据表的每一行记录描述了来源于同一卫星影像的瓦片数据的元数据,多个瓦 片数据对应于同一个卫星元数据记录;
[0015] (4)像素数据采用横向分块、纵向分层的瓦片结构,并采用具有多源多时相的金字 塔瓦片数据文件树组织处理后存储海量瓦片数据。
[0016] 还提供了一种多源多时相卫星影像瓦片数据处理系统,其包括:
[0017] 输入单元,其配置来输入多个卫星影像数据;
[0018] 接收单元,其配置来接收数据入库请求;
[0019] 第一存储单元,其配置来将每个卫星影像数据的元数据基于空间数据库BeyonDB 的影像元数据表来存储,影像元数据表的每一行记录描述了来源于同一卫星影像的瓦片数 据的元数据,多个瓦片数据对应于同一个卫星元数据记录;
[0020] 第二存储单元,将像素数据按照横向分块、纵向分层,并采用具有多源多时相的金 字塔瓦片数据文件树组织处理后存储海量瓦片数据。
[0021] 还提供了一种多源多时相卫星影像瓦片数据的检索方法,所述瓦片数据由以上的 处理方法得到;该检索方法包括步骤:首先,获得用户的瓦片数据查询请求,将查询请求转 换成SQL语句,通过空间数据库BeyonDB进行模糊检索并获得满足查询条件的精确瓦片 数据,空间数据库BeyonDB通过扩展SQL,支持空间操作与分析算子,提供空间-属性和矢 量-栅格一体化的查询检索;然后,根据精确的检索条件通过文件树结构直接进行寻址定 位,检索条件包含瓦片的卫星类型、传感器类型、成像时间、版本号、所在层级和瓦片行列 号,根据文件树结构构造出完整的存储路径和瓦片名,然后查看相应的路径下的瓦片影像 数据是否存在,如果不存在则反馈给客户端,如果数据存在,则直接返回瓦片数据。
[0022] 还提供了一种多源多时相卫星影像瓦片数据的检索系统,所述瓦片数据由以上的 处理系统得到;该检索系统包括:
[0023] 查询单元,其配置来结合空间数据库BeyonDB的空间操作与分析算子,通过扩展SQL提供空间-属性和矢量-栅格一体化的查询检索;
[0024] 构造单元,其配置来根据精确的检索条件构造出完整的存储路径和瓦片名,其中 检索条件包含瓦片的卫星类型、传感器类型、成像时间、版本号、所在层级和瓦片行列号;
[0025] 处理单元,其配置来查看相应的路径下的瓦片影像数据是否存在,如果不存在则 反馈给服务器并由服务器通知客户端,如果数据存在则由服务器通知用户并返回瓦片数 据。
[0026] 本发明的瓦片数据处理采用卫星影像元数据表+瓦片文件树的标准化结构模型, 卫星影像元数据表记录了卫星类型、成像时间等多源异构瓦片的元数据信息,瓦片文件树 结构充分考虑多源多时相特性,将瓦片的卫星类型、传感器类型、成像时间以及数据版本信 息作为瓦片文件树的上层节点,从而能够构建具有时空特性、多源异构特性的海量瓦片数 据组织结构,并能够处理多源异构卫星数据瓦片的元数据。
【附图说明】
[0027] 图1为本发明所采用的全部技术的流程图;
[0028] 图2为本发明中的多源多时相的金字塔瓦片模型示意图;
[0029] 图3为本发明中的全球影像划分示意图;
[0030] 图4为本发明中的多源多时相卫星影像数据入库流程图。
【具体实施方式】
[0031] 如图1所示,这种多源多时相卫星影像瓦片数据的处理方法,包括以下步骤:
[0032] (1)输入多个卫星影像数据,每个卫星影像数据包括像素数据和元数据;
[0033] (2)接收数据入库请求;
[0034] (3)将每个卫星影像数据的元数据基于空间数据库BeyonDB的影像元数据表来存 储,影像元数据表的每一行记录描述了来源于同一卫星影像的瓦片数据的元数据(包括栅 格对象、卫星类型、传感器类型、产品等级、成像时间、版本号、金字塔层级、行起始块序号、 行结束块序号、列起始块序号、列结束块序号、顶层金字塔、影像外包块),多个瓦片数据对 应于同一个卫星元数据记录,参考表1 ;
[0035] 表 1
[0036]
[0037] (4)像素数据采用横向分块、纵向分层的瓦片结构,并采用具有多源多时相的金字 塔瓦片数据文件树组织处理后存储海量瓦片数据。
[0038] 另外,所述步骤(2)包括以下步骤:
[0039] (2. 1)接收多源异构卫星数据;
[0040] (
2. 2)提取卫星元数据;
[0041] (2. 3)计算影像对应金字塔层级和分块范围;
[0042] (2. 4)注册卫星影像数据表;
[0043] (2. 5)影像切片;
[0044] (2. 6)构造瓦片路径,存储到瓦片文件树。
[0045] 另外,所述步骤(4)中的瓦片结构采用WGS84坐标的空间参考系统;瓦片为正方 形,像素大小为256*256、512*512或1024*1024 ;瓦片采用文件形式存储,文件格式支持 JPEG/PNG/GeoTiff〇
[0046] 另外,所述步骤(4)中的瓦片结构基于四叉树的瓦片数据层叠加技术来组织影像 数据,对WGS84地图投影的全球地图。
[0047] 另外,对WGS84地图投影的全球地图中,在0层级,将球面按照180°X180。瓦片 大小划分为2X1个正方形瓦片;层级1在层级0基础之上提高四倍分辨率,将每个瓦片进 行4等分划分,划分成每个瓦片大小为90°X90°,共8个瓦片;层级2分辨率提高到含有 32块45°X45°的瓦片,参见图3;依次类推,最后按照设定的层级,采用固定像素大小的 瓦片影像对应每个层级下的每个网格瓦片。
[0048] 另外,对全球影像数据进行多分辨率金字塔分层管理,总共分为21层。
[0049] 另外,所述步骤(4)中的文件树结构包括两个元素:目录和端点文件;目录是仅仅 包含本身的文件,其中每个目录会含有〇到多个子目录,子目录是由目录或者断点文件构 成;端点文件不含有目录。
[0050] 另外,所述步骤(4)中的具有多源多时相的金字塔瓦片数据文件树结构由上到下 依次为:数据存储的根目录、卫星类型、传感器类型、成像时间、版本号、瓦片层级、瓦片文 件。
[0051] 还提供了一种多源多时相卫星影像瓦片数据的检索系统,所述瓦片数据由以上的 处理系统得到;该检索系统包括:
[0052] 输入单元,其配置来输入多个卫星影像数据;
[0053] 接收单元,其配置来接收数据入库请求;
[0054] 第一存储单元,其配置来将每个卫星影像数据的元数据基于空间数据库BeyonDB 的影像元数据表来存储,影像元数据表的每一行记录描述了来源于同一卫星影像的瓦片数 据的元数据,多个瓦片数据对应于同一个卫星元数据记录;
[0055] 第二存储单元,将像素数据按照横向分块、纵向分层,并采用具有多源多时相的金 字塔瓦片数据文件树组织处理后存储海量瓦片数据。
[0056] 还提供了一种多源多时相卫星影像瓦片数据的检索方法,所述瓦片数据由以上的 处理方法得到;该检索方法包括步骤:首先,获得用户的瓦片数据查询请求,将查询请求转 换成SQL语句,通过空间数据库BeyonDB进行模糊检索并获得满足查询条件的精确瓦片 数据,空间数据库BeyonDB通过扩展SQL,支持空间操作与分析算子,提供空间-属性和矢 量-栅格一体化的查询检索;然后,根据精确的检索条件通过文件树结构直接进行寻址定 位,检索条件包含瓦片的卫星类型、传感器类型、成像时间、版本号、所在层级和瓦片行列 号,根据文件树结构构造出完整的存储路径和瓦片名,然后查看相应的路径下的瓦片影像 数据是否存在,如果不存在则反馈给客户端,如果数据存在,则直接返回瓦片数据。
[0057] 还提供了一种多源多时相卫星影像瓦片数据的检索系统,所述瓦片数据由以上的 处理系统得到;该检索系统包括:
[0058] 查询单元,其配置来结合空间数据库BeyonDB的空间操作与分析算子,通过扩展 SQL提供空间-属性和矢量-栅格一体化的查询检索;
[0059] 构造单元,其配置来根据精确的检索条件构造出完整的存储路径和瓦片名,其中 检索条件包含瓦片的卫星类型、传感器类型、成像时间、版本号、所在层级和瓦片行列号;
[0060] 处理单元,其配置来查看相应的路径下的瓦片影像数据是否存在,如果不存在则 反馈给服务器并由服务器通知客户端,如果数据存在则由服务器通知用户并返回瓦片数 据。
[0061] 本发明的瓦片数据处理采用卫星影像元数据表+瓦片文件树的标准化结构模型, 卫星影像元数据表记录了卫星类型、成像时间等多源异构瓦片的元数据信息,瓦片文件树 结构充分考虑多源多时相特性,将瓦片的卫星类型、传感器类型、成像时间以及数据版本信 息作为瓦片文件树的上层节点,从而能够构建具有时空特性、多源异构特性的海量瓦片数 据组织结构,并能够处理多源异构卫星数据瓦片的元数据。
[0062] 下面结合附图和实施例进一步说明本发明的技术方案。
[0063] 实施案例一
[0064] 参见图4,本发明实施案例一提供了一种多源多时相卫星影像数据入库的流程,包 含四个步骤:提取元数据、注册元数据、数据切片、瓦片数据存储。
[0065] 步骤一:提取影像元数据。从卫星影像数据文件中读取卫星元数据,包括空间范 围、卫星类型、传感器类型、产品等级、成像时间和版本号等信息。根据影像的空间范围和瓦 片结构,计算影像所在瓦片结构层级、行列方向起止块序号等信息。
[0066] 步骤二:注册元数据。将影像元数据注册到影像元数据表中。
[0067] 步骤三:数据切片。根据影像的空间范围和瓦片结构对影像数据进行横向分块纵 向分层的切片处理,形成具有空间特性的瓦片数据。
[0068] 步骤四:将切片形成的瓦片数据根据瓦片的空间特性、卫星类型、传感器类型、成 像时间和版本信息,存储到瓦片文件树结构中。
[0069] 下面对各步骤进行详细说明:
[0070] 步骤一种所述的从卫星影像数据文件中读取卫星元数据,即从卫星影像数据的 XML元数据文件中,读取对应的元素的文本值作为对应的元数据,比如XML元数据文件中 〈SatellitelD〉的文本内容即为卫星类型。
[0071] 步骤一中所述的根据影像的空间范围和瓦片结构,计算影像所在瓦片结构层级、 行列方向起止块序号等信息。首先,根据影像数据的空间分辨率,确定影像数据所在的金字 塔层级n,参考表2。
[0072]表 2
[0074] 从影像元数据中,获得影像在WGS-84坐标系下的四至范围坐标分别为ulx,uly, lrx,lry,那么影像对应的瓦片行列方向的起止块序号分别为:
[0075]行起始序号rowstart=floor((ulx+180) / (180/2n))
[0076]行结束序号rowend = upper ((lrx+180) / (180/2n))
[0077]行起始序号colstart=floor((90-uly)/(180/2n))
[0078]行结束序号colend=upper((90-lry)/(180/2n))
[0079] 步骤二所述的注册元数据是指将步骤一提取出来的元数据,构造成SQL语句,注 册到影像元数据表中。即针对每幅影像添加一行记录,记录卫星类型、传感器类型、产品等 级、成像时间、版本号、瓦片层级、行列方向起止块序号等元数据信息。同时使用空间数据库 BeyonDB的ST_Raster栅格类型存储原始影像,使用ST_Geometry空间几何类型存储影像的 外包框。
[0080] 步骤三所述的数据切片。根据瓦片的地理空间范围和所在层级,对影像数据进行 横向切片,并通过重采样产生上一级瓦片数据,并以此类推。
[0081] 步骤四所述的将切片形成的瓦片数据根据瓦片的空间特性、卫星类型、传感器 类型、成像时间和版本信息,存储到瓦片文件树结构中,即通过瓦片数据的空间特性和 元数据信息,构造瓦片数据的物理存储路径,然后将给瓦片数据存储到该路径。比如瓦 片数据的卫星类型为HJ,传感器类型为(XD1,成像时间是2014-08-07,数据版本号为 1. 0,瓦片金字塔层级是5,行列号分别是3, 6,则瓦片数据的物理存储位置为"R00T\HJ\ CCDl\2014-08-07\l. 0\5\3
_6.tif",其中ROOT表示瓦片文件树的根目录。
[0082] 实施案例二
[0083] 本发明实施案例二提供了一种海量多源多时相瓦片数据的快速检索机制,包含如 下步骤:
[0084] 步骤一:根据模糊查找条件,搜索数据库中符号条件的影像元数据记录。
[0085] 步骤二:根据检索空间区域计算目标瓦片的行列号范围。
[0086] 步骤三:根据影像元数据记录和目标瓦片的行列号范围,组合成精确的瓦片信息。
[0087] 步骤四:对步骤三中的精确的瓦片检索条件进行基于直接定位寻址,获得瓦片数 据。
[0088] 下面对各步骤进行详细说明:
[0089] 步骤一中所述的搜索数据库中符号条件的影像元数据记录,即基于空间数据 库BeyonDB的"空间-属性"和"矢量-栅格" 一体化的查询检索,从卫星影像元数据表 中检索出符号条件的影像元数据记录。比如,现在要查询环境卫星影像数据,从2014年 3月9日至2014年8月3日期间,和北京市行政区划相交的最新瓦片影像数据,瓦片金 字塔层级为3。那么可以在影像元数据表中,执行如下SQL语句进行搜索:selectid,sa tellitetye,sensor,receivetime,version,level,rowstart,rowend,colstart,colend fromimagemeta,Beijingwhereimagemeta.extentst_intersectsBeijing,shapeand level〉= 3anduplevel〈 = 3andreceivetime〉=TIMESTAMP-LOCAL( '2014-3-9' )and receivetimeK=TMESTAMP_LOCAL( '2014-8-3'),得出卫星类型、传感器类型、版本号、成 像时间和行列起止号信息。其中slintersects为空间操作符,表示空间几何对象相交。
[0090] 步骤二所述的根据检索空间区域计算目标瓦片的行列号范围和实施案例一步骤 一种所述的计算影像数据的行列号范围一致。
[0091] 步骤三所述的根据影像元数据记录和目标瓦片的行列号范围,组合成精确的瓦片 检索条件组,首先从步骤一种获取到符号条件的影像记录及其元数据信息(卫星类型、传 感器类型、版本号、成像时间和行列起止号信息),
[0092] 再根据步骤二中目标区域对应的瓦片起止号信息,得出精确的瓦片数据的详细信 息。
[0093] 比如符号条件的影像记录及其元数据信息如表3所示。
[0094] 表 3
[0096] 目标区域对应的瓦片起止号信息如下:
[0097] 行方向起止号为:3_4
[0098] 列方向起止号为:10-12
[0099] 那么精确的瓦片数据信息如表4所示。
[0100]表 4
[0102] 上述结果,对于某些瓦片存在多份数据,再根据查询条件中是需要获得最新的瓦 片数据,对相同瓦片进行时间比较,得出最新的瓦片数据信息如表5所示。
[0103] 表 5
[0105] 所述步骤四中对步骤三中的精确的瓦片检索条件进行基于直接定位寻址,获得瓦 片数据,即根据步骤三种的精确瓦片信息,分别构造瓦片的绝对存储路径,获得瓦片数据。
[0106] 以上所述,仅是本发明的较佳实施例,并非对本发明作任何形式上的限制,凡是依 据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰,均仍属本发明 技术方案的保护范围。
【主权项】
1. 一种多源多时相卫星影像瓦片数据处理方法,其特征在于:包括以下步骤: (1) 输入多个卫星影像数据,每个卫星影像数据包括像素数据和元数据; (2) 接收数据入库请求; (3) 将每个卫星影像数据的元数据基于空间数据库BeyonDB的影像元数据表来存储, 影像元数据表的每一行记录描述了来源于同一卫星影像的瓦片数据的元数据,多个瓦片数 据对应于同一个卫星元数据记录; (4) 像素数据采用横向分块、纵向分层的瓦片结构,并采用具有多源多时相的金字塔瓦 片数据文件树组织处理后存储海量瓦片数据。2. 根据权利要求1所述的多源多时相卫星影像瓦片数据处理方法,其特征在于:所述 步骤⑵包括以下步骤: (2. 1)接收多源异构卫星数据; (2. 2)提取卫星元数据; (2. 3)计算影像对应金字塔层级和分块范围; (2. 4)注册卫星影像数据表; (2. 5)影像切片; (2.6)构造瓦片路径,存储到瓦片文件树。3. 根据权利要求2所述的多源多时相卫星影像瓦片数据处理方法,其特征在于:所述 步骤(3)中的具有多源多时相的金字塔瓦片数据文件树结构由上到下依次为:数据存储的 根目录、卫星类型、传感器类型、成像时间、版本号、瓦片层级、瓦片文件。4. 一种多源多时相卫星影像瓦片数据处理系统,其特征在于:其包括:输入单元,其配 置来输入多个卫星影像数据; 接收单元,其配置来接收数据入库请求; 第一存储单元,其配置来将每个卫星影像数据的元数据基于空间数据库BeyonDB的影 像元数据表来存储,影像元数据表的每一行记录描述了来源于同一卫星影像的瓦片数据的 元数据,多个瓦片数据对应于同一个卫星元数据记录; 第二存储单元,将像素数据按照横向分块、纵向分层,并采用具有多源多时相的金字塔 瓦片数据文件树组织处理后存储海量瓦片数据。5. -种多源多时相卫星影像瓦片数据的检索方法,其特征在于:所述瓦片数据由权利 要求1-3中任一项的处理方法得到;该检索方法包括步骤:首先,获得用户的瓦片数据查询 请求,将查询请求转换成SQL语句,通过空间数据库BeyonDB进行模糊检索并获得满足查询 条件的精确瓦片数据,空间数据库BeyonDB通过扩展SQL,支持空间操作与分析算子,提供 空间-属性和矢量-栅格一体化的查询检索;然后,根据精确的检索条件通过文件树结构直 接进行寻址定位,检索条件包含瓦片的卫星类型、传感器类型、成像时间、版本号、所在层级 和瓦片行列号,根据文件树结构构造出完整的存储路径和瓦片名,然后查看相应的路径下 的瓦片影像数据是否存在,如果不存在则反馈给客户端,如果数据存在,则直接返回瓦片数 据。6. -种多源多时相卫星影像瓦片数据的检索系统,其特征在于:所述瓦片数据由权利 要求4的处理系统得到;该检索系统包括: 查询单元,其配置来结合空间数据库BeyonDB的空间操作与分析算子,通过扩展SQL提 供空间-属性和矢量-栅格一体化的查询检索; 构造单元,其配置来根据精确的检索条件构造出完整的存储路径和瓦片名,其中检索 条件包含瓦片的卫星类型、传感器类型、成像时间、版本号、所在层级和瓦片行列号; 处理单元,其配置来查看相应的路径下的瓦片影像数据是否存在,如果不存在则反馈 给服务器并由服务器通知客户端,如果数据存在则由服务器通知用户并返回瓦片数据。
【专利摘要】本发明公开一种多源多时相卫星影像瓦片数据的处理方法,其能够构建具有时空特性、多源异构特性的海量瓦片数据组织结构,并能够处理多源异构卫星数据瓦片的元数据。包括步骤:(1)输入多个卫星影像数据,每个卫星影像数据包括像素数据和元数据;(2)接收数据入库请求;(3)将每个元数据基于BeyonDB的影像元数据表来存储,影像元数据表的每一行记录描述来源于同一卫星影像的瓦片数据的元数据,多个瓦片数据对应同一条卫星元数据记录;(4)像素数据采用横向分块、纵向分层的瓦片结构,并采用具有多源多时相的金字塔瓦片数据文件树组织处理后存储海量瓦片数据。还提供了处理系统,和基于该处理方法的检索方法、检索系统。
【IPC分类】G06F17/30
【公开号】CN104899282
【申请号】CN201510294342
【发明人】姜平, 谢炯, 陈荣国, 李翔翔, 张攀攀
【申请人】北京博阳世通信息技术有限公司, 航天恒星科技发展有限公司
【公开日】2015年9月9日
【申请日】2015年6月2日