用户名
密码
(30天内有效)
注册
注册

+ 我要发布数据
分享数据、代码、工具、产品等等
让资源传播的更猛烈吧!向分享者致敬!
  • 绿点

    FME模板——多规融合

    此模板为城市数据派会员专享,如需下载,请成为城市数据派会员。模板功能说明:根据地类性质,比对土地利用总体规划数据图斑和城市总体规划图斑差异,生成差异图斑图层。安装说明详见下载包。
    2017-12-08 57 次查看 14 次下载
  • 绿点

    FME模板——GDB地理国情检测

    此模板为城市数据派会员专享,如需下载,请成为城市数据派会员。模板功能说明:1、自相交检查检查内容:线和面自相交的情况2、微小面检查检查极小面积值的面要素。3、面压盖检查检查面要素之间是否发生重叠,并输出重叠部分。4、点面关系检查 检查点要素是否落入了正确的面中。如房屋注记必须落在房屋面内。5、图层命名检查检查数据的图层命名是否符合标准。6、属性结构检查检查数据的属性结构是否与数据生产标准一致。7、属性值域检查检查属性字段值不在正确取值范围内的情况,该规则只能检查字段类型为数值型的字段,比如检查字段“技术等级”,范围值为(0,1,2,3,4,9),如果某数据技术等级属性值为8则报错其他说明请参考下载包内说明文件。
    2017-11-30 25 次查看 0 次下载
  • 绿点

    FME模板——DWG地形图检查

    此模板为城市数据派会员专享,如需下载,请成为城市数据派会员。模板功能说明:1、自相交检查检查内容:线和面自相交的情况2、微小面检查检查极小面积值的面要素。3、属性空值检查检查内容:数据必填属性是否填写。4、属性值域检查检查属性字段值不在正确取值范围内的情况,该规则只能检查字段类型为数值型的字段,比如检查字段“技术等级”,范围值为(0,1,2,3,4,9),如果某数据技术等级属性值为8则报错其他说明请参考下载包内说明文件。
    2017-11-30 25 次查看 2 次下载
  • 绿点

    FME模板——POI下载

    此模板为城市数据派会员专享,如需下载,请成为城市数据派会员。模板功能说明:根据提供的数据范围(范围要求:shp格式、WGS84坐标系),下载互联网POI数据(高德和百度两个地图厂商的数据)。其他说明请参考下载包内说明文件。
    2017-11-30 31 次查看 5 次下载
  • 绿点

    FME模板—出租车GPS轨迹创建(点处理方式&点云处理方式)

    该模板和样例数据为【9月会员专享沙龙】传统空间数据处理人员如何操作开放(大)数据配套沙龙干货:1 FME模板—出租车GPS轨迹创建(点处理方式)2 FME模板—出租车GPS轨迹创建(点云处理方式)推荐阅读:把数据当作点云:高效的数据处理技巧如需下载,请成为【城市数据派会员】本次沙龙其他资料包括:1 沙龙演讲材料PDF(点击下载)2 FME软件免费一年的使用权(点击下载)3 沙龙回看视频(点击观看)车租车轨迹创建1、FME算法思路出租车轨迹点数据处理时,惯性的思维都是用文本读模块(如Excel或CSV)等读取进来,创建点、Sorter排序、点连线这样的过程。但是一天的出租车数据大约有1000万条记录,为了确保生成连续的、方向正确的轨迹线,需要一次性读取所有数据进行处理。 为了提高运行效率,把出租车点当作点云处理,效率会大大提高。关于点云应用处理技巧,可参考附件的文章。整个思路如下:(1) 利用点云格式point cloud xzy读模块读取所有出租车轨迹文件;(2) 使用PointCloudCombiner把所有文件合并为一个点云;(3) PointCloudFilter过滤GPS定位不准的无效数据,以上海市经纬度范围为判断标准;(4) PointCloudSorter按照设备号、日期、时间、进行排序;(5) PointCloudCorcer提取每个位置为独立的点要素;(6) PointConnector按照设备号进行连线,PointConnector输出的三个端口分别代表出租车不同的状态,Point端口代表静止的出租车;Line端口输出轨迹线;Polygon端口表示起始点和终点相同的轨迹。 2、效率测试一:我们把用Excel方式读取文件的方法叫做老方法,把数据当作点云处理的方法(即上面描述的方法)叫做新方法。两种方法运行数据的效率对比如下图所示:横坐标:文件数 可以看到,在文件数量较少、数据较小的情况下,两种方法差异不大。但是随着文件的增多,老方法的时间呈指数增长,新方法的时间线性增长,在20个文件,近90万个有效记录的情况下,两种方法的时间差约8分钟。在每天的记录数约2000个文件,近6000多万个记录的情况下,新方法可以说显著提高了效率。 测试二:模拟生成2000个文件,约9000万个记录,按照新方法创建轨迹线:在虚拟机和物理机分别进行测试,其中物理机使用测试一中的同一台计算机。在运行时,计算机没有做其他任何操作。在物理机中运行2000个文件,9000多万个有效记录,花费时间9.5小时;在虚拟机中运行2000个文件,9000多万个有效记录,花费时间20.5小时。 因此,建议对于大数据量的处理,建议在物理机中处理。 3、数据问题对数据进行了一些简单的分析,暂时发现两个方面的问题:(1) 无效数据在数据中发现一些异常的点,如下图所示: 分析这些数据的坐标,如下图。发现这些数据的坐标不在上海市范围内,可能是由于GPS采集时定位的原因导致。所以在处理过程中PointCloudFilter过滤这些点(以上海市经纬度范围为判断标准,以东经120~123,北纬30~32进行判断)。 (2) 异常点处理多个文件时,对同一设备号按照时间进行排序连线,会生成如下所示的异常图形:分析原因,相邻时间点的GPS位置相差较大。如上图,第0点和第1点的经度相差约0.3度,纬度相差约0.5度,而第1点与第2点又呈现这样的规律。验证第0点和第1点、第2点的时间确实也是从早到晚的排序:
    2017-09-30 475 次查看 39 次下载
没有更多数据……
  • 联系城市数据派
    info@udparty.com
  • 顶部