用户名
密码
(30天内有效)
注册
注册

小派认证达人

佩特张

TA的分享: 5
星级值: 0
单位:
职位:
个性标签:
  • 绿点

    广州市地铁站点数据

    【城市数据派会员】还可获得该城市的地铁线路数据(点击下载)地域范围:广州市数据时间:2017年10月数据格式: CSV格式,可用记事本或excel打开Mdb 格式,可用ARCGIS打开数据大小:1 mdb数据:0.4M2 CSV数据:0.04M坐标系统:火星坐标CSV数据包含字段:城市,公交名,首末班车时间,起始站,起始站经度,起始站纬度,终点站,终点站经度,终点站纬度,站点名,最高价,英文名,站数,经度,纬度,性质,线路ID,线路区域ID,站点编码,站点ID,总站数,发车间隔,线路总长度,基础价格,站点状态,ICCARDCSV数据条数:197mdb数据整体缩略图(此图包含了线路): mdb数据局部缩略图(此图包含了线路): CSV数据顶部缩略图: CSV数据底部缩略图: 使用说明:1 此内容仅作为学习交流。2 此内容为【城市数据派会员】专享。如需下载,请成为【城市数据派会员】,点击我要成为会员。3 如有问题,请咨询客服QQ 3149339017。
    2017-11-01 93 次查看 6 次下载
  • 绿点

    FME模板—出租车GPS轨迹创建(点处理方式&点云处理方式)

    该模板和样例数据为【9月会员专享沙龙】传统空间数据处理人员如何操作开放(大)数据配套沙龙干货:1 FME模板—出租车GPS轨迹创建(点处理方式)2 FME模板—出租车GPS轨迹创建(点云处理方式)推荐阅读:把数据当作点云:高效的数据处理技巧如需下载,请成为【城市数据派会员】本次沙龙其他资料包括:1 沙龙演讲材料PDF(点击下载)2 FME软件免费一年的使用权(点击下载)3 沙龙回看视频(点击观看)车租车轨迹创建1、FME算法思路出租车轨迹点数据处理时,惯性的思维都是用文本读模块(如Excel或CSV)等读取进来,创建点、Sorter排序、点连线这样的过程。但是一天的出租车数据大约有1000万条记录,为了确保生成连续的、方向正确的轨迹线,需要一次性读取所有数据进行处理。 为了提高运行效率,把出租车点当作点云处理,效率会大大提高。关于点云应用处理技巧,可参考附件的文章。整个思路如下:(1) 利用点云格式point cloud xzy读模块读取所有出租车轨迹文件;(2) 使用PointCloudCombiner把所有文件合并为一个点云;(3) PointCloudFilter过滤GPS定位不准的无效数据,以上海市经纬度范围为判断标准;(4) PointCloudSorter按照设备号、日期、时间、进行排序;(5) PointCloudCorcer提取每个位置为独立的点要素;(6) PointConnector按照设备号进行连线,PointConnector输出的三个端口分别代表出租车不同的状态,Point端口代表静止的出租车;Line端口输出轨迹线;Polygon端口表示起始点和终点相同的轨迹。 2、效率测试一:我们把用Excel方式读取文件的方法叫做老方法,把数据当作点云处理的方法(即上面描述的方法)叫做新方法。两种方法运行数据的效率对比如下图所示:横坐标:文件数 可以看到,在文件数量较少、数据较小的情况下,两种方法差异不大。但是随着文件的增多,老方法的时间呈指数增长,新方法的时间线性增长,在20个文件,近90万个有效记录的情况下,两种方法的时间差约8分钟。在每天的记录数约2000个文件,近6000多万个记录的情况下,新方法可以说显著提高了效率。 测试二:模拟生成2000个文件,约9000万个记录,按照新方法创建轨迹线:在虚拟机和物理机分别进行测试,其中物理机使用测试一中的同一台计算机。在运行时,计算机没有做其他任何操作。在物理机中运行2000个文件,9000多万个有效记录,花费时间9.5小时;在虚拟机中运行2000个文件,9000多万个有效记录,花费时间20.5小时。 因此,建议对于大数据量的处理,建议在物理机中处理。 3、数据问题对数据进行了一些简单的分析,暂时发现两个方面的问题:(1) 无效数据在数据中发现一些异常的点,如下图所示: 分析这些数据的坐标,如下图。发现这些数据的坐标不在上海市范围内,可能是由于GPS采集时定位的原因导致。所以在处理过程中PointCloudFilter过滤这些点(以上海市经纬度范围为判断标准,以东经120~123,北纬30~32进行判断)。 (2) 异常点处理多个文件时,对同一设备号按照时间进行排序连线,会生成如下所示的异常图形:分析原因,相邻时间点的GPS位置相差较大。如上图,第0点和第1点的经度相差约0.3度,纬度相差约0.5度,而第1点与第2点又呈现这样的规律。验证第0点和第1点、第2点的时间确实也是从早到晚的排序:
    2017-09-30 475 次查看 39 次下载