用户名
密码
(30天内有效)
注册
注册

首页 > 数 据 >

FME模板—出租车GPS轨迹创建(点处理方式&点云处理方式)

我要收藏
2017-09-30

阅读数:152

收藏数 1

该模板和样例数据为9月会员专享沙龙】传统空间数据处理人员如何操作开放(大)数据配套沙龙干货:

1 FME模板—出租车GPS轨迹创建(点处理方式)

2 FME模板—出租车GPS轨迹创建(点云处理方式)

推荐阅读:把数据当作点云:高效的数据处理技巧

如需下载,请成为【城市数据派会员】


本次沙龙其他资料包括:

1 沙龙演讲材料PDF(点击下载)

2 FME软件免费一年的使用权(点击下载)

3 沙龙回看视频(视频正在处理中,将于国庆后推出,敬请关注)




车租车轨迹创建

1、FME算法思路

出租车轨迹点数据处理时,惯性的思维都是用文本读模块(如Excel或CSV)等读取进来,创建点、Sorter排序、点连线这样的过程。但是一天的出租车数据大约有1000万条记录,为了确保生成连续的、方向正确的轨迹线,需要一次性读取所有数据进行处理。

 

为了提高运行效率,把出租车点当作点云处理,效率会大大提高。关于点云应用处理技巧,可参考附件的文章。

整个思路如下:

(1)   利用点云格式point cloud xzy读模块读取所有出租车轨迹文件;

(2)   使用PointCloudCombiner把所有文件合并为一个点云;

(3)   PointCloudFilter过滤GPS定位不准的无效数据,以上海市经纬度范围为判断标准;

(4)   PointCloudSorter按照设备号、日期、时间、进行排序;

(5)   PointCloudCorcer提取每个位置为独立的点要素;

(6)   PointConnector按照设备号进行连线,PointConnector输出的三个端口分别代表出租车不同的状态,Point端口代表静止的出租车;Line端口输出轨迹线;Polygon端口表示起始点和终点相同的轨迹。

 

2、效率

测试一:

我们把用Excel方式读取文件的方法叫做老方法,把数据当作点云处理的方法(即上面描述的方法)叫做新方法。两种方法运行数据的效率对比如下图所示:

1506741447756274.png

1506741470851780.png

横坐标:文件数

 

可以看到,在文件数量较少、数据较小的情况下,两种方法差异不大。但是随着文件的增多,老方法的时间呈指数增长,新方法的时间线性增长,在20个文件,近90万个有效记录的情况下,两种方法的时间差约8分钟。在每天的记录数约2000个文件,近6000多万个记录的情况下,新方法可以说显著提高了效率。

 

测试二:

模拟生成2000个文件,约9000万个记录,按照新方法创建轨迹线:

1506741509986625.png

在虚拟机和物理机分别进行测试,其中物理机使用测试一中的同一台计算机。


在运行时,计算机没有做其他任何操作。

在物理机中运行2000个文件,9000多万个有效记录,花费时间9.5小时;

在虚拟机中运行2000个文件,9000多万个有效记录,花费时间20.5小时。

 因此,建议对于大数据量的处理,建议在物理机中处理。

 

3、数据问题

对数据进行了一些简单的分析,暂时发现两个方面的问题:

(1)  无效数据

在数据中发现一些异常的点,如下图所示:

1506741541799119.png

 

分析这些数据的坐标,如下图。发现这些数据的坐标不在上海市范围内,可能是由于GPS采集时定位的原因导致。所以在处理过程中PointCloudFilter过滤这些点(以上海市经纬度范围为判断标准,以东经120~123,北纬30~32进行判断)。

55.png

 

(2)  异常点

处理多个文件时,对同一设备号按照时间进行排序连线,会生成如下所示的异常图形:

1506741593609852.png

分析原因,相邻时间点的GPS位置相差较大。如上图,第0点和第1点的经度相差约0.3度,纬度相差约0.5度,而第1点与第2点又呈现这样的规律。

验证第0点和第1点、第2点的时间确实也是从早到晚的排序:

 1506741629576241.png


本站声明

本文仅代表作者观点,不代表城市数据派立场;
本文系作者授权城市数据派发表,未经许可,不得转载;
本网站上的所有内容均为虚拟服务,一经购买成功概不退款,请您理解。

分享:
点赞0

全站浏览排行

TOP ARTICLES
  • 联系城市数据派
    info@udparty.com
  • 顶部