资料推荐 这里只是学习资料的一个笔记与总结, 更详细、仔细的学习还请各位看官自行看看原始的资料。在此罗列一下参考到的有用的资料。 主要参考资料: Python并行编程 中文版 译者非常的用心, 原著(英文版)的代码译者应该大部分都亲自测试过。 因为原著很多疑似疏漏的地方, 译者都做了特别的标识。在此鄙视一下由张龙翻译并出版成书的版本。 翻译狗屁不通, 上面的代码应该也没跑过。 使用Python进行并发编程-asyncio篇( 一 ) 使用Python进行并发编程-asyncio篇( 二 ) 异步编程讲得还是满详细的…

2019年07月07日 0条评论 4001点热度 0人点赞 阅读全文

国内pip源列表 本节参考: 让PIP源使用国内镜像 清华:https://pypi.tuna.tsinghua.edu.cn/simple 阿里云:http://mirrors.aliyun.com/pypi/simple/ 中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/ 华中理工大学:http://pypi.hustunique.com/ 山东理工大学:http://pypi.sdutlinux.org/ 豆瓣:http://pypi.douban.com/sim…

2018年01月19日 0条评论 7960点热度 0人点赞 阅读全文

0. 简介 前天(10-14)看到新浪头版之中有一条新闻《政策泼冷水 南京楼市成交量现“断崖式下降”》非常兴奋:我的手里面正好有这样的数据,正好来验证一下新闻的说法是否属实。 数据来源就是南京网上房地产网,相应的爬虫程序在上一篇文章之中已有说明。可以直接到GitHub上来看。 文章来源:http://www.flyml.net/2016/10/16/house-stat-nanjing-policy-impact/ 1. 搭建Zeppelin来做数据展示 笔者之前主要使用Zeppelin来做数据分析的相关工作,对于…

2016年10月16日 0条评论 9115点热度 1人点赞 阅读全文

笔者生活、工作在南京,因此首先想到如何抓取南京相关的数据。 1. 数据来源 百度搜索“南京房产交易数据”,发现查询结果还不错,第一条就是我们想要: 数据地址:http://www.njhouse.com.cn/index_tongji.php 经过不断的尝试,发现这个网站虽然看起来技术不咋地,但是数据还算是靠谱。 看起来下面这些数据值得我们去解释: (1) 准实时交易统计数据   另外我们还可以从其他页面解析出其他的数据。比如: (2)南京各个区的住宅类销售数据: 网页地址:http://www.njho…

2016年10月15日 0条评论 29269点热度 0人点赞 阅读全文

0. 引言 本小节主要介绍用到的主要使用了哪些技术,算是一个开场~ 真正做的东西,请看后续的文章 如果您对这方面正好并没有太多的经验,这篇文章是一个比较好的提示文档。注意:具体如何一步步的操作,还需要您自行到官网查找相关说明。 在后面的实际操作之中,还会用到其他的技术,会在后面相应的进行说明。 文章来源:http://www.flyml.net/2016/10/15/house-stat-basic-setup/ 1. 选择爬虫框架 构建爬虫,首先要选择一个适合自己、使用称手的爬虫框架。 这方面笔者大力推荐基于Ja…

2016年10月15日 0条评论 7755点热度 0人点赞 阅读全文

现在房产交易市场虽然出了各种限制政策,但是整个市场还是非常癫狂! 我们也听到很多很多声音说,开发商捂盘惜售,或者是花钱请托,营造很多很多人在抢购房子的假象。 但是目前我们小老百姓 怎么知道是不是假象呢? 怎么知道当前的房产交易走势是涨还是跌呢? 怎么知道整体的资金走势是进入还是离开房市? 小老百姓整体苦哈哈的干活,要是无脑撞进房市,万一又为国接盘,岂不太悲哀了?我们不是富人,没有各种内部消息渠道,怎么办呢? 有一种方法就是看新闻。但是这种方法个人觉得并不靠谱,各种水军充斥网络。个人更加相信真实的房产交易数据。数据,…

2016年10月14日 0条评论 7100点热度 0人点赞 阅读全文