2个小时爬出链家4k二手房数据
17 Feb 2019一整天的功夫,利用 selenium 和 python3.7 爬出了链家4k的数据,成就感爆棚。
140多行代码,如果重构一下应该还能更少。有兴趣的可以到我的WIKI看看。我会不断完善python的相关编程方法,整理出来供大家参考。
附带的源码我会逐一慢慢的放在的GITHUB上供有兴趣的人下载。
整体思路是通过selenium模仿认为操作想要的数据不断迭代通过python获取并存进数据库。 看到链家 53375条二手房的数据,再看看100页每页30条的数据我笑了,但笑过品后发现按照地域查找的数据又一次颠覆了我的三观,一个东城88页 ,这也就是说接下来还得通过不同的维度来获取。
WIKI搭建的技术文档如下我也会在整理之后贴出来地址给供大家把玩。
第一部分开篇已经完成