用户名
密码
(30天内有效)
注册
注册

首页 > 案 例 >

全景记录:【城市数据趴Online3】交通大数据先锋丘建栋:大数据+未来城市交通

我要收藏
2015-08-04

阅读数:34

收藏数 0

城市数据派www.udparty.com推出【城市数据趴Online】每月多次在实名制QQ群(343933087,申请入群请备注:单位-真名)举行2小时的在线沙龙。和派姐一起来趴一趴关于大数据干货背后的故事,趴一趴PPT里看不到的那些被隐藏的技术环节!


点击可查看往期全景记录:

【城市数据趴Online1】高颜值高智商华东院规划师叶锺楠告诉你:大数据时代我们这样认识城市


【城市数据趴Online 2】+技术咖李苗裔:基于多源数据的城市、区域空间结构与功能探究



什么是【城市数据Online】

论坛扎堆遍地开花,可你忙着上班上课,无法做空中超人亲临现场?

派姐每日派发PPT干货,可你只能走马观花,无法深入理解学习技能?

小派有百位大数据达人,可你却不知如何联系,无法亲自请教交流学习?

现在,有了城市数据趴Online 

派姐将根据近期城市数据派微信及网站上推荐的达人分享,选出关注度高的干货,把作者本人请到线上,让你免费问个够!


【主持人】

派姐


【本期达人】

丘建栋


科技创新中心副主任,未来交通实验室主要负责人,高级工程师,交通模型师

毕业于华南理工大学交通信息工程及控制专业。就职于深圳市城市交通规划设计研究中心


以下为分享实景全文

  

感谢城市数据派,很荣幸和大家交流。第一次使用互联网这样来和大家交流,我今天会讲到一些心得体会,是我在做研究过程中会碰到的问题和走过的弯路,可以作为参考。


今天带来的主题是大数据环境下新一代城市交通综合评估技术。汇报内容分为三个方面:

第一个:简单介绍下大数据,

第二个:是交通综合评估中的关键技术,

第三个:是我们近些年的实践以及今年发起的未来交通实验室这个面向全球的创新合作平台。




这些漫画让大家理解数据在生活中的价值。数据代表了工作中的客观东西,尤其是做考核的时候需要客观评价,就需要数据来说话。但是如何在数据海洋中找到有价值的信息,这是我们目前碰到的问题。


在大数据背景下,需要更强的洞察力和决策力,发现关键信息,将这些数据信息转换为生产力。其实目前在交通行业中,很多政府、企业都收集了大量数据,这些数据并不一定都是有价值的,所以用怎么样的洞察力,用什么方法来处理这些数据,将这些数据作为一个资产,变为具有核心价值的东西,这里就有很多需要做的事情。



大数据的4V特征大家都比较熟悉,数据量很大、类型多、价值密度低等。现在很多IT人都会讲PB级,就是有1000多个TB


在交通研究中用到的数据不一定会到那个级别,就是除了视频监控有超大量数据之外,其他流水或电子收费数据很难到达PB级,很多到TB级就能做很多事情。包括我们拿到的公交IC卡的数据,一天几个G ,一年就几个所以到后面ZPEP这些都是另外层次的东西,在交通领域碰到比较少。


第二个特点就是非结构化,不是传统可以理解的关系型数据。像规划中,会碰到很多GIS数据、CAD数据、图片数据。尤其交通的会碰到很多城市规划的数据,这些数据很多是用地规划图CAD,这些数据如何转换成可以处理的数据,是比较难的。


还有就是很多数据价值不高,如何提取有用的数据,也是面临的问题。


另外一个就是数据的时效性高,尤其我们在做交通相关的工作,对时效性要求很高,包括实时路况,动态导航这些都要求实时,没有实时就没有价值,历史数据只在做规划的时候有价值,对用户来说价值很低


现在提到智慧城市一定会和大数据绑在一起,有好几个热门话题,比如物流网、移动互联网、云平台、云计算等。这些话题有什么关系呢?尤其在交通研究中,智慧城市中相当大一块是和交通相关的,而且交通数据敏感度较低,政府相对容易开放,所以智慧城市的框架都会把交通数据放在早期突破的方向。很多智慧城市规划方案中都将动态交通数据放在重要的位置。



这个HADOOP的框架是我们的一个合作伙伴华傲数据提供的。



这个是起初在做城市信息化时用的。最初很简单,一个节点对应一个数据库,是最简单的IT系统。后面会发现节点越来越多,存储的服务也会逐渐增多,再过段时间,面对不同的需求和方案,我们会把越来越多的东西都会放到互联网和计算机,整个系统都搬到云平台去了。在庞大的系统里我们会像盲人摸象一样,在海量数据中逐步探索。因此在描述一个个体的时候,希望更好的透过这些数据分析通过融合整合分析到一个人


这个图是百度做的一个迁徙图,百度通过大数据来做可视化,革新了我们对可视化的理解和研究的一些思路。我们现在也尝试做一些不同的数据,但融合这块刚刚起步,比如手机数据和IC卡的融合,流量的数据和浮动车的数据的融合


那么多数据库我们处理过的也就这么几个流程:采集存储分析到评价,最后我们是面向政府和规划,要做很多方案的制定。最早我们做大数据挖掘并不是为了挖据数据,而是为了面向规划设计方案、做政府决策和评估的时候来逐渐反映过来可以慢慢用这些数据。和传统IT公司不一样,他们是从数据开始做,然后再想怎么用,我们是有需求了才去想要怎么处理数据。


后面讲了数据的获取,其实早期我们做了大量传统的居民出行调查,很少会用大量动态数据来做。到目前为止居民出行调查在传统规划院中占很大比例,尤其在数据分析方面。目前百分百转到这面来的可能全世界目前都还没有。


一方面规划院对IT技术掌握不够,海量数据处理能力、数据挖掘归类能力都没那么强;另一方面居民出行调查有着成熟的理论,可以获得相当可靠的结果。所以说以前我们更多都是在传统调查中进行,现在逐步转变。我们交通中心就在不断转变升级,对大的数据不断挖掘,通过比较小的样本调查,来获取更多居民出行行为。


更多人类行为用大数据来做,这也是我们一个初步考虑方向。其实去做大数据挖掘研究,发现投入人力很多,不一定会出成果,真正做下去会发现缺少很多东西,精度不够颗粒度不够等。我们内部有这么个观点,不是说要很多数据就是大数据,数据的关联性比较重要,特别是人的出行行为,要把数据关联起来,不一定要数据量非常大,另外还要有好的分析方法。


关于大数据的关键技术,目前我们主要用的关系型数据库的方法,包括OracleHadoop是近几年用的方法,是基于文本的分布式存储计算的方法,处理起来更快。Hadoop是个分布式框架,主要核心有两点,第一把文件的分布式存储,第二点是分步式计算,实现大数据的存储和计算。我们认为Hadoop体系还是比较笨重的,如果数据量不是特别大用Hadoop不是很合算。


这个方法我也简单介绍下:第一块是个数据整合技术,包括很多数据怎么整合怎么结构化,非结构化的存储。Hadoop里大部分用的是基于文本的方法,像我们前阵子做的一个轨道数据刷卡的匹配,如果没有用好的分布式计算,要算很久,一个月的数据可能需要好几周的时间去算。做客流OD分析,会租用腾讯云等去实现快速的计算。


下面重点介绍下交通评估的关键技术。在做交通时面临几大关键问题:

第一个要用很多数据评估时,以前很难做的,现在变成可能的,所以评估边界不断扩张,评估范围越来越大,评估节点越来越细。


第二点技术怎么去深化,很多新的技术进来了,互联网云计算等,现在可以实现了,要怎么做。

版权声明

本文仅代表作者观点,不代表城市数据派立场,
本文系作者授权城市数据派发表,未经许可,不得转载。

分享:
点赞0

全站浏览排行

TOP ARTICLES