引言 最近使用MySQL做一些数据统计比较多。 有时候为了省事直接写出了一个略复杂的SQL查询, 直接获得最后的结果。 但是总是觉得比较慢。 下面做了一个改动,简述如下: * 原来: 纯粹使用SQL查询, 得到最后的结果 * 改进: 使用SQL查询原始数据+Pandas进行数据处理 * 结论: 改进方案的性能提升了300% 原方案: select t2_id, name, col2 from ( select sum(col1) as col1_sum, col2, t2.name, t2_id FROM t1 l…

2019年03月25日 2条评论 4281点热度 0人点赞 阅读全文

前言 这本书的作者真是一位大神啊, 在命令行里面出神入化的完成了数据科学的常见步骤: 数据抽取、清洗、建模, 等等。 不过从目前我自己的角度来看, 主力开发语言应该还是Python, 但是可以使用命令行的方式加速、优化之前简单的数据预览的过程。 举个例子: 之前在命令行之中, 指挥简单的head -n / tail -n / jq 命令。 但是比如预览一个CSV文件, 如何更清晰的进行展示? 下面总结一下书中提到的并且个人觉得比较实用的一些命令行工具 注意: 在这里仅仅只是提一下相应的一些工具, 具体的详细的使用教…

2019年03月25日 0条评论 1897点热度 0人点赞 阅读全文

前天也就是2019年02月26日, 网上冒出一个大新闻“全南京一天成交2596套,创历史新高!!市场即将迎来新一轮上涨” 我的天, 这也太恐怖了吧? 抱着怀疑的态度, 我默默的打开了 南京网上房地产网。 这个网站虽然改版了, 但是数据统计这一块依然是古老的那一套。 最重要的, 看之前的数据很不直观。不过, 好歹能看到真实的成交数据。 2019年02月26日成交统计数据: http://www.njhouse.com.cn/2016/news/tzgg_detail.php?news_id=14569 简单的说: 2…

2019年02月27日 0条评论 2137点热度 0人点赞 阅读全文

引言 翻了一下以前写的Cassandra相关的教程, 发现最开始是2016年写的博客了. 也没想到坚持了这么久. 经过这么长一段时间使用Cassandra作为基础数据承载的基础架构, 有一些实战获得的经验. 总而言之, Cassandra并不适合类似金融方向这种需要高可靠性\事务性的业务. 但是对数据分析, 确实有一些功能比较好用. 省心的重复数据处理 在批量导入数据到数据库之中的时候, 难免有重复导入的时候. 如果使用MySQL等等, 就需要事先按照时间或者其他条件, 先把历史数据删除. 而Cassandra并不…

2018年06月20日 0条评论 4116点热度 0人点赞 阅读全文

0. 简介 前天(10-14)看到新浪头版之中有一条新闻《政策泼冷水 南京楼市成交量现“断崖式下降”》非常兴奋:我的手里面正好有这样的数据,正好来验证一下新闻的说法是否属实。 数据来源就是南京网上房地产网,相应的爬虫程序在上一篇文章之中已有说明。可以直接到GitHub上来看。 文章来源:http://www.flyml.net/2016/10/16/house-stat-nanjing-policy-impact/ 1. 搭建Zeppelin来做数据展示 笔者之前主要使用Zeppelin来做数据分析的相关工作,对于…

2016年10月16日 0条评论 8463点热度 1人点赞 阅读全文

笔者生活、工作在南京,因此首先想到如何抓取南京相关的数据。 1. 数据来源 百度搜索“南京房产交易数据”,发现查询结果还不错,第一条就是我们想要: 数据地址:http://www.njhouse.com.cn/index_tongji.php 经过不断的尝试,发现这个网站虽然看起来技术不咋地,但是数据还算是靠谱。 看起来下面这些数据值得我们去解释: (1) 准实时交易统计数据   另外我们还可以从其他页面解析出其他的数据。比如: (2)南京各个区的住宅类销售数据: 网页地址:http://www.njho…

2016年10月15日 0条评论 28661点热度 0人点赞 阅读全文

0. 引言 本小节主要介绍用到的主要使用了哪些技术,算是一个开场~ 真正做的东西,请看后续的文章 如果您对这方面正好并没有太多的经验,这篇文章是一个比较好的提示文档。注意:具体如何一步步的操作,还需要您自行到官网查找相关说明。 在后面的实际操作之中,还会用到其他的技术,会在后面相应的进行说明。 文章来源:http://www.flyml.net/2016/10/15/house-stat-basic-setup/ 1. 选择爬虫框架 构建爬虫,首先要选择一个适合自己、使用称手的爬虫框架。 这方面笔者大力推荐基于Ja…

2016年10月15日 0条评论 7355点热度 0人点赞 阅读全文

现在房产交易市场虽然出了各种限制政策,但是整个市场还是非常癫狂! 我们也听到很多很多声音说,开发商捂盘惜售,或者是花钱请托,营造很多很多人在抢购房子的假象。 但是目前我们小老百姓 怎么知道是不是假象呢? 怎么知道当前的房产交易走势是涨还是跌呢? 怎么知道整体的资金走势是进入还是离开房市? 小老百姓整体苦哈哈的干活,要是无脑撞进房市,万一又为国接盘,岂不太悲哀了?我们不是富人,没有各种内部消息渠道,怎么办呢? 有一种方法就是看新闻。但是这种方法个人觉得并不靠谱,各种水军充斥网络。个人更加相信真实的房产交易数据。数据,…

2016年10月14日 0条评论 6744点热度 0人点赞 阅读全文

原创声明: 本文为原创文章 如需转载需要在文章最开始显示本文原始链接 为了更好的阅读体验,请回源站查看文章。有任何修改、订正只会在源站体现 最后更新时间:2016年08月28日

2016年08月28日 3条评论 10426点热度 0人点赞 阅读全文

原创声明: 本文为原创文章 如需转载需要在文章最开始显示本文原始链接 为了更好的阅读体验,请回源站查看文章。有任何修改、订正只会在源站体现 最后更新时间:2016年08月24日

2016年08月26日 5条评论 18256点热度 0人点赞 阅读全文