【城市数据派9月会员福利】手把手教规划师玩转大数据9:用八爪鱼获取大众点评数据

推广:【《城市数据师人才培养计划》大牛公开课火热招生中】

910日成都班】综合课程1规划师大数据基础公开课 (理论基础到技术实操全程手把手教学)点击查看详情

827日成都班】综合课程2ArcGIS应用与分析:空间数据处理技巧、分析方法与可视化技术(解决数据分析任务中80%的问题就靠这个啦)点击查看详情

索取以上课程说明资料可加客服QQ 3070403320,或电话咨询 17727931461 李小姐



【派姐说说】

亲爱的城市数据派会员们,2016年9月的会员福利之新技术迷你教学1终于来啦!完整版教学内容+工具+样例数据都将发送至会员邮箱,请注意查收哦!



应用实例请参考该文:

【七夕单身汪美食攻略】大数据告诉你如何寻找城市美味



如果你也想获得诸多会员福利,需要成为城市数据派的会员哦!

会员费:599元/人/年=超过100份的大数据“干货”资料+最多20次大数据在线沙龙+最多20次新技术迷你教学+各类线下活动+行业专家亲自指导。如何成为会员,点击可查看:【小派求供养】城市数据派2016年度会员招募

亲们,你想get什么大数据相关的新技能呢?都请留言告诉派姐哦!小派一定努力送达!如果你有新技能愿意分享,也欢迎有偿投稿给小派哦udparty@qq.com!


【局部精彩内容呈现】

登录八爪鱼账号(请先注册:http://www.bazhuayu.com/)后,点击左下角的快速开始,然后点新建任务


右栏会弹出下面这个页面,输入你想命名的任务名和备注后,点击下一步


点击流程设计器的打开网页按钮,在右方的url写入要抓取的网页地址,下方即刻就会显示你要抓取的页面。因为大众点评最多只能显示50页数据,所以为更多抓取数据,建议大家以较小分类来抓取数据。比如,演示的是天河区按口味排名的页面。


由于希望抓取天河区所有类型的美食数据,所以需要完成三个循环,

第一个是单页面相同结构的数据循环,意思是按顺序抓取单个页面上的15个数据;

第二个是选定类型比如说第一个快餐简餐标签下的50页数据,所以我需要建立一个翻页循环;

第三个循环是美食类型的循环,需要前面这个循环完成后进入下一个美食标签,继续抓取50页数据。

 

这里请注意,亲测当嵌套多于2个时,八爪鱼会限定一次性的抓取条数,可能一次只能抓200多条就ban掉你的IP了,所以建议大家可以多建立一些任务,每个任务都不超过2个嵌套。

 

由于嵌套在内部的循环是最先完成的,所以咱们先来构建单个页面上的循环。首先点击,然后选择,最后点击创建一列元素。



会显示已添加一个元素,点击继续编辑列表,选择下一个美食元素,会显示当前页所有元素都添加,点击创建列表完成,最后点击循环。



        然后点击.....



后面还有几个步骤就可以完成啦!如需查看请成为城市数据派的会员哦!



猜你喜欢

城市数据派会员福利

游客

599元/人/年=100+份的大数据“干货”资料+最多20次大数据在线沙龙+最多20次新技术教学+线下活动+行业专家指导

© 2015 城市数据派 粤ICP备15036603号

copyright © 城市数据派UDParty.com-深圳数派互动传媒科技有限公司.ALL Rights Reserved