Jiang Zerui 极简-Live a little

2个小时爬出链家4k二手房数据

一整天的功夫,利用 selenium 和 python3.7 爬出了链家4k的数据,成就感爆棚。

140多行代码,如果重构一下应该还能更少。有兴趣的可以到我的WIKI看看。我会不断完善python的相关编程方法,整理出来供大家参考。

附带的源码我会逐一慢慢的放在的GITHUB上供有兴趣的人下载。

整体思路是通过selenium模仿认为操作想要的数据不断迭代通过python获取并存进数据库。 看到链家 53375条二手房的数据,再看看100页每页30条的数据我笑了,但笑过品后发现按照地域查找的数据又一次颠覆了我的三观,一个东城88页 ,这也就是说接下来还得通过不同的维度来获取。

WIKI搭建的技术文档如下我也会在整理之后贴出来地址给供大家把玩。

第一部分开篇已经完成

在pycharme上Python3+selenium+mysql爬去链家2手房数据-1

今儿做的几件事情

今儿抽了个空晚上把github的个人空间又整理了一下。真的觉得往往静态的感觉更纯净。所以…我决定——找个时间好好整理一下创建个人主页的好办法告诉大家!教会一个从来都没有碰过Coding的人,或许会有一些许困难,但是掌握以后真的其乐无穷! 这是真正你的地盘,随性发挥。

为了将这件事情做下去,我已经做了以下几件事情:

  1. 整理了静态文档的结构,使自己的项目文档结构更加的清新

  2. 搭建了静态的个人WIKI,以便将我的知识和blog分开

而且将来还会要做的事情有

  1. 整理出一套我这个建站的一套方法和相关语言语法

  2. 给大家介绍这个Tiddlywiki 非常好用,尤其是图标特别可爱

麦田里的守望者

早上做了一个非常诡异的梦,梦见儿子和我的脑壳里在快过年的头两天里突然分别钻进了一条十几厘米的大虫。且虫子浑身有着塑料质感的透明白,两须,螳螂眼和米其林的身段, 四腿如钢针般细,五分处对折,透着一丝寒光,整体看来不令人作呕,但透着人似的那种精干气。 梦里的缘由和细节也很奇葩。 我突然接到医院的电话,告知儿子被孕妇一不小心吃了,关键时刻孕妇在生孩子的时候又把儿子给生了出来,儿子出来后无任何一样,在这期间我进入 医院,不知什么原因我开始脑瓜子疼,然后就有一位热心医生从我的脑壳里拿只镊子取出一只大虫。感谢之余我就想到儿子出来后也说脑袋疼,且从肚子里排出一只虫。虽没亲眼所见但是估计类似。 不知什么原因,灵光一现去拍了个片子,发现我和儿子脑袋里最外层注满了那虫的卵。白色,如西瓜子大小。随后又一一取出。

不管梦是什么样子的,脑瓜子还是有些疼,细想原因可能是昨天在弗弗西里的书店里面随手翻了一下山海经的原因,另外就是买了本《麦田里的守望者》并一气读完的缘由。 这本译林出版社的纪念版还是有些印刷的错误,稍许的错字和字体大小不一的现象。很难想象除了书皮的精美包装外这是一本价值35元的正版图书,很为这样的出版社捏一把汗,反正以后我是不会再去买 这个出版社的书了。说其内容,感觉就是一个叛逆少年的一段离校历史,值得一读,之前忘记在哪里看到过对此书的评价,深层的含义就是少年在长大的过程中对于成年人的虚伪的一种叛逆和想守住 年少的这种纯洁。摘抄了几段,留查。

  1. “不管怎样,我喜欢现在这样,”我说。”我是说就想现在这样。跟你坐在一块儿,聊聊天,逗着——” “这不是什么真正的东西!” “这是真正的东西!当然是的!他妈的为什么不是?人们就是不把真正的东西当东西看。我他妈的对这都腻烦透了。”

  2. 不管怎样,我老是在想象,有那么一群小孩子在一块大麦田里做游戏。几千几万个小孩子,附近没有一个人——没有一个大人,我是说——除了我。我呢,就站在那混账的悬崖边。我得职务是在那儿守望,要是有那个孩子往悬崖上奔来,我就把他捉住——我是说孩子们都在狂奔 ,也不知道自己是往哪儿跑,我得从什么地方出来,把他们捉住。我就整天干这样的事。我只想当个麦田里的守望者。

  3. 一个不成熟男子的标志是他愿意为某种事业英勇地死去,一个成熟男子的标志是他愿意为某种事业卑贱地活着。

写给儿子的话

“在你步入社会需要自己承担起义务之前,我说的之前可能仅仅需要准备1年的时间或者保守些说需要准备3年的时间去学习一样技能,这个技能使你能够在你进入社会的那个时期让你成为一个有用的人。而在这之前你说要学习并且用心领会的是如何在现在或者未来你有足够的能力去体验和感受你的生活!”

贫穷的本质

总结概括,思想意识决定是否会走向贫穷,导致思想意识的原因是信息的不对称-缺乏。而外部环境的政策机制是是否保护穷人的重要因素。

心无执念

心无执念终得自在

一月一星,少些遗憾

这有平台~跳不跳

怎么了是,能跳出来吗? 想跳出来吗? 跳出来吗?6.13

构建区块链

前置安装环境搭建:

  1. docker

  2. Homebrew

/usr/bin/ruby -e “$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)”

  1. Go语言
    $ brew install go

  2. nvm $ curl -o- https://raw.githubusercontent.com/creationix/nvm/v0.33.7/install.sh | bash

    环境变量设置: jiangzeuideMBP2:~ jiangzerui$ export NVM_DIR=”$HOME/.nvm” jiangzeuideMBP2:~ jiangzerui$ [ -s “$NVM_DIR/nvm.sh” ] && . “$NVM_DIR/nvm.sh”

  3. node.js

  4. 下载fabric jiangzeuideMBP2:fabric-sample jiangzerui$ curl https://raw.githubusercontent.com/hyperledger/fabric/master/scripts/bootstrap.sh |bash -s 1.1.0

  5. 启动第一个网络 2.3 创建第一个Fabric网络

参考:http://hyperledger-fabric.readthedocs.io/en/release-1.1/build_network.html

(1)进入samples

cd fabric-samples/first-network

(2)生成必要文件

./byfn.sh -m generate

(3)启动网络

./byfn.sh -m up

参考文档: https://blog.csdn.net/xieamy/article/details/70270039 https://blog.csdn.net/lengxue789/article/details/78850216

github提交无用.classes .setting

由于Eclipse创建的项目,无论是普通的java项目或者maven项目,Eclipse会在项目的根目录下生成了以下几个文件。

.classpath .project .settings

.classpath 用于记录了Eclipse项目的依赖关系以及class输出路径等。

.porject 用于记录了项目的相关配置,例如项目名称、是否对JavaScript进行代码验证等。

.settings 是一个文件夹,也是用户保存Eclipse项目的相关设置。

使用Eclipse的用户环境也并不一定和我一致,从而导致了把项目导入到开发工具出现许多错误的情况,因为默认使用了我本机的配置信息。

所以,不得不把已经提交的这些Eclipse配置文件给删除,同时保证下次不会再提交这些信息。

开工:

git rm -r –cache .classpath .project .settings/

命令执行结束后,需要修改 .gitignore 文件,把.classpath .porject .settings 添加到忽略内容里面去。

提到到远程服务器。

git commit -m “你的说明内容” git push

步子放慢一点-总结docker 容器安装

赶紧总结,要不跳骚多了不咬人,就不愿意总结了。

Docker

  1. docker ps -a #查看所有容器

2.[root@iz2zedfcmy8eilslc0eu3wz ~]# docker exec -it f53b1a7f09b1 /bin/bash #进入容器

3.mysql -u root -p #进入mysql

password : sa123 #提示输入密码

4.use mysql

5.select host,user from user; +———–+———–+ | host | user | +———–+———–+ | % | root | | localhost | mysql.sys | | localhost | root | +———–+———–+

note:

  1. dacker 运营mysql、redis容器 定制重启后自动运行命令:

docker run –restart=always –name mysql-sc -p 3309:3306 -e MYSQL_ROOT_PASSWORD=sa123 -d mysql/er01:5.7 –character-set-server=utf8

docker run –restart=always -it -d -p 6379:6379 –name redis-container docker.io/redis

-p 参数第一个是用来定义容器对外端口,第二个为容器内端口

  1. docker 安装mysql后需要根据查看host对应的用户给与权限方可通过远程连接到数据库

  2. GRANT ALL PRIVILEGES ON . TO ‘root’@’%’ IDENTIFIED BY ‘sa123’ WITH GRANT OPTION;

  3. flush privileges

更加注意的是:阿里云需要通过策略打开相关端口

另外一个mysql_model的问题

查看mysql的sql_mode

mysql> SELECT @@GLOBAL.sql_mode; +——————————————————————————————————————————————-+ | @@GLOBAL.sql_mode | +——————————————————————————————————————————————-+ | ONLY_FULL_GROUP_BY,STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION | +——————————————————————————————————————————————-+ 1 row in set

如果在系统连接mysql,进行查询语句后报GROUP_BY一类的错误,可以定向到这里,去掉这个ONLY_FULL_GROUP_BY就好使了

参考文档

http://blog.csdn.net/wang704987562/article/details/73460005