原文来自100offer:文章链接 【简评】 (1) 文章开头一个工作4年的人拿到了40W年薪。 吓死我了~   但是真的属于个例 (2) Python 的关注度越来越高 (3) Python 的应用范围越来越广。比如SEO等,在数据处理上面得心应手, 同时在运维上面的应用也越发广泛。 (4) Python 一般都是自学,因此职业素养较高,总体薪资较高 【正文】 「27k,16薪,虽然不太理想,但是达到基本预期。」 张建对最终接受的offer似乎有些不太满意。 细算下来,这位Python工程师的税前年薪为43.2万…

2016年10月18日 0条评论 11397点热度 0人点赞 阅读全文

PPT: https://pan.baidu.com/s/1geKsAL9   http2 from Google SPDY 浏览器的兼容性: ie 11 才开始支持了http2. TLS 是SSL的升级版。 增加了新的特性,在握手的时候就可以进行协商,等等新feature, 对协议做了升级。 ALPN 客户端指定,用得比较多。 http2 正在大规模使用了, 因为浏览器跟服务器都开始更新到http2. 已经比较成熟了。 http2 优点与作用: 试图减少终端用户的延迟。 解决head of line b…

2016年10月17日 0条评论 7945点热度 0人点赞 阅读全文

0. 简介 前天(10-14)看到新浪头版之中有一条新闻《政策泼冷水 南京楼市成交量现“断崖式下降”》非常兴奋:我的手里面正好有这样的数据,正好来验证一下新闻的说法是否属实。 数据来源就是南京网上房地产网,相应的爬虫程序在上一篇文章之中已有说明。可以直接到GitHub上来看。 文章来源:http://www.flyml.net/2016/10/16/house-stat-nanjing-policy-impact/ 1. 搭建Zeppelin来做数据展示 笔者之前主要使用Zeppelin来做数据分析的相关工作,对于…

2016年10月16日 0条评论 12593点热度 1人点赞 阅读全文

笔者生活、工作在南京,因此首先想到如何抓取南京相关的数据。 1. 数据来源 百度搜索“南京房产交易数据”,发现查询结果还不错,第一条就是我们想要: 数据地址:http://www.njhouse.com.cn/index_tongji.php 经过不断的尝试,发现这个网站虽然看起来技术不咋地,但是数据还算是靠谱。 看起来下面这些数据值得我们去解释: (1) 准实时交易统计数据   另外我们还可以从其他页面解析出其他的数据。比如: (2)南京各个区的住宅类销售数据: 网页地址:http://www.njho…

2016年10月15日 0条评论 35380点热度 0人点赞 阅读全文

0. 引言 本小节主要介绍用到的主要使用了哪些技术,算是一个开场~ 真正做的东西,请看后续的文章 如果您对这方面正好并没有太多的经验,这篇文章是一个比较好的提示文档。注意:具体如何一步步的操作,还需要您自行到官网查找相关说明。 在后面的实际操作之中,还会用到其他的技术,会在后面相应的进行说明。 文章来源:http://www.flyml.net/2016/10/15/house-stat-basic-setup/ 1. 选择爬虫框架 构建爬虫,首先要选择一个适合自己、使用称手的爬虫框架。 这方面笔者大力推荐基于Ja…

2016年10月15日 0条评论 9773点热度 0人点赞 阅读全文

现在房产交易市场虽然出了各种限制政策,但是整个市场还是非常癫狂! 我们也听到很多很多声音说,开发商捂盘惜售,或者是花钱请托,营造很多很多人在抢购房子的假象。 但是目前我们小老百姓 怎么知道是不是假象呢? 怎么知道当前的房产交易走势是涨还是跌呢? 怎么知道整体的资金走势是进入还是离开房市? 小老百姓整体苦哈哈的干活,要是无脑撞进房市,万一又为国接盘,岂不太悲哀了?我们不是富人,没有各种内部消息渠道,怎么办呢? 有一种方法就是看新闻。但是这种方法个人觉得并不靠谱,各种水军充斥网络。个人更加相信真实的房产交易数据。数据,…

2016年10月14日 0条评论 9272点热度 0人点赞 阅读全文

原文出处:http://www.bennorthrop.com/Essays/2016/reflections-of-an-old-programmer.php?utm_source=wanqu.co&utm_campaign=Wanqu+Daily&utm_medium=social 直接贴原文作者的Humble Advice(卑微的建议): 目标:不那么资深的专家,有个人生活,至少工作生活平衡(资深专家如Martin Flower) 首先:不要着眼于眼前的薪资,而更在乎长远来看,你做的事情能否让…

2016年10月07日 0条评论 8690点热度 0人点赞 阅读全文

0. 引言 NoSQL 在设计理念上面就与传统的RDBMS就不一样,因此删除数据的处理方式非常不一样。然而,虽然NoSQL的选择很多,但是在数据删除的处理方式上,各家的处理方法又有很多共通的地方。 本文将带着大家以Cassandra为例,深入了解NoSQL是如何 来删除数据的。 原文链接:http://www.flyml.net/2016/09/18/cassandra-tutorial-dive-deep-into-data-deletion-in-nosql/ 1. Cassandra 删除数据原理 在Cass…

2016年09月18日 0条评论 17642点热度 3人点赞 阅读全文

1.什么是二级索引? 我们前面已经介绍过Cassandra之中有各种Key,比如Primary Key, Cluster Key 等等。如果您对这部分概念并不熟悉,可以参考之前的文章:[Cassandra教程] (四)使用Key的正确姿势  对于Cassandra来说,一级索引就是Primary Key. 因为查询的时候,可以直接根据Key算出token然后直接获取对应的记录。 而二级索引,作为辅助索引就是为了找到一级索引。然后再通过一级索引找到真正的值 原文链接:http://www.flyml.net/2016…

2016年09月16日 0条评论 19866点热度 6人点赞 阅读全文

搜索,一个数据库无法绕过的话题。之前我们已经知道,在Cassandra之中并没类似MySQL的like查询。 要想完成一致的实现like查询,估计就要上Spark进行全表扫描,将like操作放到Spark App来实现。 如果想实现一个不一样(而不是不同)的like查询,可以使用Lucene进行搜索。有两种现成的实现方案: DSE(付费企业版)集成的solr 开源免费的Lucene插件   我们主要使用的是第二个lucene插件。 项目地址:https://github.com/Stratio/cassa…

2016年09月16日 0条评论 12565点热度 2人点赞 阅读全文