用户名
密码
(30天内有效)
注册
注册

+ 我要发布数据
分享数据、代码、工具、产品等等
让资源传播的更猛烈吧!向分享者致敬!
  • 绿点

    FME模板—出租车GPS轨迹创建(点处理方式&点云处理方式)

    该模板和样例数据为【9月会员专享沙龙】传统空间数据处理人员如何操作开放(大)数据配套沙龙干货:1 FME模板—出租车GPS轨迹创建(点处理方式)2 FME模板—出租车GPS轨迹创建(点云处理方式)推荐阅读:把数据当作点云:高效的数据处理技巧如需下载,请成为【城市数据派会员】本次沙龙其他资料包括:1 沙龙演讲材料PDF(点击下载)2 FME软件免费一年的使用权(点击下载)3 沙龙回看视频(视频正在处理中,将于国庆后推出,敬请关注)车租车轨迹创建1、FME算法思路出租车轨迹点数据处理时,惯性的思维都是用文本读模块(如Excel或CSV)等读取进来,创建点、Sorter排序、点连线这样的过程。但是一天的出租车数据大约有1000万条记录,为了确保生成连续的、方向正确的轨迹线,需要一次性读取所有数据进行处理。 为了提高运行效率,把出租车点当作点云处理,效率会大大提高。关于点云应用处理技巧,可参考附件的文章。整个思路如下:(1) 利用点云格式point cloud xzy读模块读取所有出租车轨迹文件;(2) 使用PointCloudCombiner把所有文件合并为一个点云;(3) PointCloudFilter过滤GPS定位不准的无效数据,以上海市经纬度范围为判断标准;(4) PointCloudSorter按照设备号、日期、时间、进行排序;(5) PointCloudCorcer提取每个位置为独立的点要素;(6) PointConnector按照设备号进行连线,PointConnector输出的三个端口分别代表出租车不同的状态,Point端口代表静止的出租车;Line端口输出轨迹线;Polygon端口表示起始点和终点相同的轨迹。 2、效率测试一:我们把用Excel方式读取文件的方法叫做老方法,把数据当作点云处理的方法(即上面描述的方法)叫做新方法。两种方法运行数据的效率对比如下图所示:横坐标:文件数 可以看到,在文件数量较少、数据较小的情况下,两种方法差异不大。但是随着文件的增多,老方法的时间呈指数增长,新方法的时间线性增长,在20个文件,近90万个有效记录的情况下,两种方法的时间差约8分钟。在每天的记录数约2000个文件,近6000多万个记录的情况下,新方法可以说显著提高了效率。 测试二:模拟生成2000个文件,约9000万个记录,按照新方法创建轨迹线:在虚拟机和物理机分别进行测试,其中物理机使用测试一中的同一台计算机。在运行时,计算机没有做其他任何操作。在物理机中运行2000个文件,9000多万个有效记录,花费时间9.5小时;在虚拟机中运行2000个文件,9000多万个有效记录,花费时间20.5小时。 因此,建议对于大数据量的处理,建议在物理机中处理。 3、数据问题对数据进行了一些简单的分析,暂时发现两个方面的问题:(1) 无效数据在数据中发现一些异常的点,如下图所示: 分析这些数据的坐标,如下图。发现这些数据的坐标不在上海市范围内,可能是由于GPS采集时定位的原因导致。所以在处理过程中PointCloudFilter过滤这些点(以上海市经纬度范围为判断标准,以东经120~123,北纬30~32进行判断)。 (2) 异常点处理多个文件时,对同一设备号按照时间进行排序连线,会生成如下所示的异常图形:分析原因,相邻时间点的GPS位置相差较大。如上图,第0点和第1点的经度相差约0.3度,纬度相差约0.5度,而第1点与第2点又呈现这样的规律。验证第0点和第1点、第2点的时间确实也是从早到晚的排序:
    2017-09-30 151 次查看 14 次下载
没有更多数据……
  • 联系城市数据派
    info@udparty.com
  • 顶部