【课程说明】
此课程为【城市数据派会员】专享课程,如需观看课程视频并获得课程配套课件包,请先成为【城市数据派会员】
非会员可直接付费购买该课程。
点击观看视频后,请到“讨论”栏目下获得课程配套课件包的下载地址。
如遇任何问题,请加会员客服小派派微信咨询(ID:xiaopaipai_udparty):
赶快加我,等你哦
【讲师自我介绍】
毕业于美国哥伦比亚大学城市规划专业。专业的数据分析师,曾任职于国内一流城市规划院、摩拜单车,现就职于国内一流的城市交通规划设计研究机构。既经历过传统规划院的训练,又在最火热的互联网企业中得到过熏陶。在城市大数据研究、空间数据挖掘、机器学习等领域,均积累了丰富的城市研究与规划的实战经验。
【课程主要内容】
此课程为【使用Python进行城市研究系列课程】的专题课程2。
Python语言自身灵活性的特点,加之成熟的第三方模块,使Python成为最适合编写网络爬虫、抓取互联网数据的工具语言之一。本专题课程将对当下最主要的两类爬虫方法——网页爬虫和API爬虫——进行入门讲解和实战演练。通过对网页结构的基础知识进行介绍,同时对网络爬虫的概念、逻辑、设计思路和实施方法进行详细的演示,使零基础学员能够对网络爬虫有系统的了解与认识,并建立自己抓取数据的能力。
Why Python?
应用最为广泛的编程语言之一,在数据分析行业有着较为广泛的应用
兼容性、拓展性较好,适合多语言多场景的开发协作
对规划师熟悉的ArcGIS、Rhino等,已有较好的支持与成熟的应用
应用场景遍及数据分析的各个环节:抓取、清洗、可视化、机器学习建模
语法清晰易懂,上手较快
学会Python,你可以:
定制抓取所需的互联网数据,不受抓取软件限制
快速批量处理同格式文件,提高文件处理效率
轻松计算、更改和处理大体量文件,弥补Excel不足
构建机器学习模型,解决更多城市分析问题
购买课程后,将能在讨论区与老师持续交流切磋,解答疑惑!
【使用Python进行城市研究系列课程】点击查看其它课程
【课程大纲】
第1节课:HTML、网页爬虫与网络上常用城市数据源
1、HTML简介、概念介绍
2、网页爬虫概念与实现原理
3、规划研究中常用网络数据来源介绍
第2节课:Python爬虫获取58同城与大众点评数据
1、爬虫的编写实战
2、了解典型列表型网页的爬取规则与方法
3、对带有经纬度信息的数据进行获取
第3节课:python调用API获取POI数据
1、API概念的理解
2、调用API类爬虫的编写方法
3、爬虫逻辑系统化、复杂化,加深对爬取逻辑的理解
【局部内容展示】