原创声明: 本文为原创文章 如需转载需要在文章最开始显示本文原始链接 为了更好的阅读体验,请回源站查看文章。有任何修改、订正只会在源站体现 最后更新时间:2016年08月24日

2016年08月26日 5条评论 19212点热度 0人点赞 阅读全文

原创声明: 本文为原创文章 如需转载需要在文章最开始显示本文原始链接 为了更好的阅读体验,请回源站查看文章。有任何修改、订正只会在源站体现 最后更新时间:2016年08月24日

2016年08月24日 3条评论 20482点热度 0人点赞 阅读全文

原创声明: 本文为原创文章 如需转载需要在文章最开始显示本文原始链接 为了更好的阅读体验,请回源站查看文章。有任何修改、订正只会在源站体现

2016年08月24日 0条评论 10448点热度 1人点赞 阅读全文

原创声明: 本文为原创文章 如需转载需要在文章最开始显示本文原始链接 为了更好的阅读体验,请回源站查看文章。有任何修改、订正只会在源站体现  

2016年08月22日 2条评论 18896点热度 5人点赞 阅读全文

0. 简介 Spark 是一个非常好的计算平台,支持多种语言,同时基于内存的计算速度也非常快。整个开源社区也很活跃。 但是Spark在易用性上面还是有一些美中不足。 对于刚接触的人来说,上手以及环境搭建还是有一些困难。 另外,如果希望将结果绘制成图表分享给别人,还需要很长一段路程。 目前已经有一些解决方案: 【TBD】Jupyter Notebook 使用很广泛,但是看起来主要还是以前ipython-notebook的增强版。 目前笔者对其了解不多 Spark 母公司DataBricks提供的DataBricks …

2016年08月19日 8条评论 30232点热度 5人点赞 阅读全文

在学习Spark的时候,当然可以搞一个单机的Spark集群。 在写代码的时候,自然没有什么太大的问题了。但是是不是总有一种意犹未尽、隔靴骚扰的感觉? 如果你的答案是否,好吧,你可以关闭此页了。   首先,有一个新人经常遇到的问题: Spark集群是否一定需要Hadoop集群呢? 答案是否。 Spark的集群一共分3种: Standalone Hadoop-Yarn Mesos 今天我们主要涉及的就是Standalone这种模式。在这种模式之下,我们完全可以使用NFS来代替Hadoop / HDFS. 并且…

2016年08月18日 0条评论 8305点热度 2人点赞 阅读全文

原文是知乎的一个热门问题,博主看了大部分的回答,即使很长也基本上看完了。 里面有很多很精彩的回答。推荐! 原文链接: https://www.zhihu.com/question/31116099 我就说说我自己的看法:如果可以选择的话,请到大公司的小团队 理由如下: 大公司保证了你的简历的镀金程度以及教会你做事情的标准做法 比如如何与不同的部门/团队之间的沟(che)通(dan) 看一下大公司的工程经验 体验一下大公司才有的数据量级别 如果你是刚毕业的学生,强烈推荐到大公司 以后换小公司,可以用平台换级别,从大公…

2016年08月17日 0条评论 5412点热度 1人点赞 阅读全文

本文主要内容参考Spark Summit 2016 & 2015 的油管视频 如果您能直接听懂英语,建议直接观看视频。 视频连接已经添加到文末 如果您无法穿墙,也可以下载Slides: 链接: https://pan.baidu.com/s/1kVllFgj 密码: k4uf 原文作者:Holden Karau  请用She/Her来称呼Ta 请不要小看此人,此人已经出了不少Spark的书啦!   为什么pyspark会慢? 参考上面的图,可以看到, Driver: 需要将对象、内容序列化传递给j…

2016年08月17日 0条评论 16134点热度 2人点赞 阅读全文

原文链接: https://imququ.com/post/first-half-of-2016-blog-analytics.html 简单介绍说一下内容,这是一个坚持了8个年头的独立博客,目前流量在2000~5000 IP 不算非常多,但是也难能可贵。 况且还没有任何广告存在。 算是给我的那不安的心一些心灵鸡汤,让我能够继续坚持下去~ 要知道,现在各种专门抓取文章的聚合网站,更容易跑到搜索引擎的排名前头。比如什么tuicool、outofmemory、techhug 等网站,他们没有任何原创的文章,都是各种爬虫…

2016年08月17日 0条评论 6172点热度 0人点赞 阅读全文

http://zhihu.com/question/34874564/answer/60828531    

2016年08月16日 0条评论 7719点热度 0人点赞 阅读全文