用户名
密码
(30天内有效)
注册
注册
首页 > 资料下载 >

【干货】吴张峰:基于FME的地理信息共享研究

我要收藏
2017-09-18

2017FME世界之旅(FME World Tour)携手众多FME应用行业专家成功举办深圳站活动FME是世界领先空间数据转换软件及数据整合平台,它就如一把为你的数据量身定制的瑞士军刀,只要一个工具,就能解决N个棘手问题!

没到现场,错过了精彩?派友不怕!城市数据派www.udparty.com作为深圳站的独家合作媒体,从今日起将为派友们持续分享本次会议的系列精彩干货。本文最后有FME的下载地址和应用案例介绍。



本期干货


上海市测绘院主要关注在测绘领域,我们从2009年开始转型发展,在地理信息的应用上有非常多的扩展。总体而言,测绘地理在我们的行业里面,主要是关注最基础的地理信息资源。




FME本次会议邀请函上的英文是“Magic of Transformation”,我觉得FME就是把日常接触的各种业务数据、地理信息数据跟我们想知道的增强现实的信息关联起来,进行转换,使之更有效的为我们所应用。


今天我主要介绍四个方面,我们在上海的空间数据发展、共享情况。我们立足于如何更好的使用数据,更好的收集和分析,基于FME做了很多尝试,包括地理信息如何在公共平台上进行云服务,基于FME如何对多种来源多种时空的POI数据进行融合。大家都知道现在不是没有数据,是有很多不同来源的数据,如何抽出需要的想要的能用的数据是很重要的。


基于地理信息的变化检测,我们每年都在不断的采集。如何把信息里面发现变化的地方,能够更好的为我们专业,为城市管理提供深层次的更好的服务。


首先介绍一下上海市地理数据的发展情况。现在上海有三大库建设:人口库、法人库、空间地理库。空间地理库建设主体单位是上海市测绘院,人口库和法人库更多是以描述性的信息为主。如何把人口库、法人库和空间库进行深度融合后期也在慢慢推进。今年我们马上要推进的是法人库和空间库的融合,把所有的法人信息在地图上落地下来,之后就可以进行深层次分析。


目前围绕的是八大数据库,重要的基础地理数据资源,包括地形、影像、管线、地址门牌、三维数据模型、公开版地图数据、导航基础数据库、基准数据库为主的8大数据库,以及正在进行的地理国情普查数据,形成多年份多时空的基础空间数据资源。


我们当时总结“五既五有”,有地上地下,有影像,有现状也有历史,有二维有三维,有基础和空间数据。这“五既五有”的数据构成了上海市全覆盖的地理信息资源,也为各行各业的应用提供更深层次的基础。


目前上海的地理信息数据实现每年全覆盖更新,原来提出的更新周期是“0512”,但是随着城市建设,郊区建设频度加大,中心城区的建设量和变化量的减少进行了适度调整,形成每年全覆盖的更新。


在这个基础上建成的全要素数据库,这个数据库不是地形数据库,而是地理数据库,从数据的采集、生产、检查的开始,全过程都是以地理信息的数据库为要求来采集各类数据的形成,形成9大类80小类分门别类,可以为各行各业的数据使用提供快捷的信息提取。


在历史影像数据积累方面有像无人机、航空影像、卫星影象等各类数据。


最早有上海1948年的航空影像数据,在近十年形成每年一次的数据更新。通过数据的提取最后做数据分析,不止是为了看,而是要进行深度的分析,如何把影像数据里隐含的信息提取出来。比如违章建筑的自动提取,通过数据提取和分析,快速为城市管理提供大范围的数据依据。

我们的定位是要做好专业的事情,把我们看得到的看不到的信息收集整理出来,为各行各业提供深层次的数据应用基础。

这是在上海收集的近200万条的全覆盖地名、地址数据,以及1948年、1979年的历史数据。每年形成周期性的更新,更好的为公共服务平台提供服务。


同时在这个基础上慢慢融合各行业的数据,包括公安的、百度的,各种来源数据进行深度的整合。我们知道地理信息的重要性,我们做地理信息平台,做数据交换、数据共享,非常重要的是如何把描述性的信息进行空间化和落地。通过地址库的采集,地址模型地址算法的研究,更好的把数据进行空间化。只有空间化以后,这个数据才能近来深入的基于GIS的分析。



上海目前已经完成近700平方公里的三维模型的制作,通过重要的地区,实现非常大的技术尝试。比如在迪士尼上通过BIM模型直接转成三维模型。迪士尼上的城堡非常复杂,上面有很多雕塑,这个BIM模型转到三维模型,有一千万个面,是非常复杂的模型,通过不同数据的转化有非常好的使用。


地理国情普查和监测信息,2013、2014、2015、2016年都形成周期性的监测,不断的数据监测为其他行业积累了非常好的数据资源。


刚刚看到的八大类数据,通过地理信息公共服务平台更好的为市里面各个委办局提供服务,形成数据共享。


这是目前已经应用于其他政府部门、企事业单位等等。目前在政府市级委办局的有44家,特别是上海市消防局、120这种应急电话,提供各行各业的数据基础和权威的数据服务。


上海市在数据共享方面有很多举措,包括数据服务内容,把各行各业其他的数据综合在一起,进行数据的分析和共享。但是很多数据的收集更多是描述性的电子文档为主,如何把这个数据更好的应用起来,需要把这些数据进行深度的融合分析。这时候就需要更多的把像FME这种工具,将这种转换的核心技术应用于这个行业。


这是我总结的面临的几点问题

第一个,面临增加的空间数据提取和转换需求。我们前面看了这么多数据,会面临很多格式。这些格式有存在的原因,也不能完全统一,这时候如何进行实时的提取跟转换。另外一个,会面对各种坐标系,每一个地方都有地方坐标系,有西安80、WGS-84等等,这些坐标系如何实现转化。



第二个,全要素更新不够灵活。

未来的数据更新模式是面向对象的地理要素更新。在上海,更多是一种年度更新,对快速变化的地方如何快速解决,比如兴趣点、导航、交通要素,这些大家都比较关心的,能够增加更新频率,融合不同的数据,比如出租车信号数据、手机数据信号,更好的为信息采集提供服务。


还有更新频率慢的地方,其他新的数据进来后冗余数据如何处理。另外数据来源多,各种采集数据。以前可能一张图解决,现在非常多数据,数据爆炸时代如何把数据用起来用得好,需要做深度挖掘。


当时我们做了这方面的研究,如何通过自动变化检测,加强变化区域发现的速度,为数据挖掘打下更好的基础。特别是影像技术,每年航飞一次,这几年增加无人机的飞行,数据采集越来越快,越来越精准,但如何把隐含的信息,有用的信息提取出来,是目前面临的非常大的问题。



第三方面,跨行业的应用,特别是三维空间的应用。

刚才看到三维数据、三维模型,有700平方公里,但是是分几年周期性完成的,如何形成常态化的更新,是目前面临的非常重要的问题。因为现实社会不断变化中。如果只是看虚拟模型,它不会起到任何作用。我们当时想接下来的发展方向是如何通过BIM,通过建筑审批环节,把BIM模型接入到大的三维平台中。




面临的这些问题,如何实现不同数据格式,不同坐标体系,不同文件格式,能够进行快速的定制化。因为目前的应用,不是说花点时间,再去转换,花几天时间再转化,现在很多要求都是实时性的。


我们在地理信息平台提供服务的时候要求用户是可定制的方式,可以非常快速把数据提取出来转化好,像购物车一样,我定制一下,要了解几个配置要求,等待一段时间就可以拿到自己要的产品,而且是可开发的,灵活进行调整和定制化的需求。我们在FME上的结合,因为FME有非常强大的转换核心功能,我们也把FME Server技术很好的应用起来。


基于FME的地理信息共享云服务,以FME Server为核心,构建了FME Server。

把前面介绍的所有上海市空间数据结合起来,在地理信息平台形成有关数据资源的服务功能。我们的用户非常方便,上来就可以进行分门别类的采集,对各种坐标系、格式,包括自定义格式和各种不同的比例尺进行选择,还有可定制化。




用户更多是非常简单的操作,我们的后台是充分采用FME强大的转化功能,把各种数据之间进行转化。这是可扩展的。我们上海院里面也有自己制定的格式,我们跟其他行业融合也会发现非常多的格式,它需要什么格式,我们在FME核心功能上定制,可以在这个平台上提供在线服务。


影像方面是我们目前面临的非常大的问题。从2016年开始我们采集的地面分辨率是0.1米,这么高分辨率的影像数据,在全上海有6300平方公里的情况下,以前传统做法是全部拼接好以后形成一个文件,做整体的坐标转换。目前面临的问题是我在0.01米分辨率的数据,全拼接是无法实现在线转换,而且非常复杂。


我们做了非常多的尝试,会发现这种数据基本上不会转换成功。通过FME我们做了新的思路,我们在原始数据采集方面都是采用1:2000的分布,我们基于FME基于1:2000的网格分布,进行重采样镶嵌融合,能够非常快速的非常好的解决在线的数据使用和制作。同时我们在公共平台提供遥感影像的在线服务。这些数据的服务包括原始数据等,都可以非常快速的在这上面制定可定制化的数据模型。


目前重点研究是通过BIM模型、管线数据和三维大平台进行深层次的融合,希望通过FME的快速转换功能,实现BIM跟三维数据之间的关系。



同时我们也深度整合,为了更好在地理信息公共平台上服务,把工作流、还有监控信息,深度整合以后,能够非常好的在平台上提供在线服务,而且可以分析用户的数据需求,能够为后期改进服务提供更好的依据。


第二方面,基于FME的POI信息融合。

现在信息太多,光说POI,我们自己采集的每年都有200万条的信息。地形上有非常多的注记,还有各种来源的公开版数据,比如政府公开数据,百度POI数据,消防系统、气象系统等等,各个系统都有自己的数据,但这些数据很多时候存在冗余,存在表达上的不同。有可能我对一个地址不同行业的表达是不一致,如何把这些信息用起来。我们做了研究,希望每年把提供给用户使用的信息是经过提取融合以后比较可信的信息,而不是一堆信息给用户使用。



 这方面我们进行几个步骤的数据处理,包括基础母库的建立,形成周期性的,通过数据分析融合,把POI信息跟门址信息挂接,形成既有门牌号信息也有兴趣点的应用模式。



这样看比较简单,但其实深层次分析,会面临很多需要考虑的因素。比如POI的信息,在中心城区和郊区尺度不同会造成模型参数优化上有非常多讲究,比如中心城区密度高,郊区稀疏,但是郊区重点城区和农村地区,模型的选择和参数的设置,需要进行重点分析,所以不能一概而论,需要对数据进行全方位的细化。这是我们做的一些融合的成果。



第三方面,地理信息变化检测研究。为什么要给予这上面做变化检测,因为我们现在积累的数据蛮多。比如上海市近十年以来的建筑物数据是全部覆盖采集的。原来规划系统的时候非常关心做2040年规划的时候我们这十年来的建筑物发生什么变化,建筑物、棚房、简房发生什么变化,通过这个数据分析能够分析出每年的。


比如我比较关心浦东新区,它建新区以来,建筑面如何变化,是不是从六层的简房不停拆除,百米以上的房子不停增加,需要数据积累。我们通过点、线、面要素针对不同的数据情况进行深度的分析。







这是形成一个可定制的操作。我们每年因为要出公开版地图数据,对于作业员说工作量蛮大,因为要做全覆盖抽取和检查。通过这个工具,就把两边的数据做比对,通过属性和位置分析,能够非常快速的检查出哪些数据发生了变化,哪些数据发生移动。





特别是这几年做地理国情监测的时候,通过影像上的变化检测,能发现哪些房子拆了,哪些房子长高了。这些地区是我重点需要关注的地方,而且可以控制图斑的面积等,通过这种方式可以快速做定量的分析。这个在做上海2040年规划的时候发生了很大的作用。


最后我想说的是通过FME Transformation为公共服务平台提供核心技术支撑。


对于上海市测绘院而言更多是面向空间数据的采集、收集、制作。但是如何把它更好的用起来,更好的提供服务。我们不止要做数据采集,还要做数据粗加工,为各行各业提供精品的数据。想通过FME Transformation 把这个作为公共平台核心的技术支撑,更好的为整个平台的数据共享提供服务。


我们未来有更多发展的空间,特别是现在国家提要建智慧时空云平台,不止是现状的数据,有过去的数据,未来的数据,把二维、三维,各种定位信息、分析信息、行业信息更好的整合在平台里,为地理信息的共享提供更好的服务。我相信地理信息共享的未来是非常美好的,谢谢大家!


(以上文字由城市数据派编辑整理,未经演讲者审核。未经授权,禁止转载)



本站声明

本文仅代表作者观点,不代表城市数据派立场;
本文系作者授权城市数据派发表,未经许可,不得转载;
本网站上的所有内容均为虚拟服务,一经购买成功概不退款,请您理解。

点赞0
  • 联系微信客服
    xiaopaipai_udparty
  • 顶部