原创声明: 本文为原创文章 如需转载需要在文章最开始显示本文原始链接 为了更好的阅读体验，请回源站查看文章。有任何修改、订正只会在源站体现 最后更新时间：2016年08月24日
原创声明: 本文为原创文章 如需转载需要在文章最开始显示本文原始链接 为了更好的阅读体验，请回源站查看文章。有任何修改、订正只会在源站体现
原创声明: 本文为原创文章 如需转载需要在文章最开始显示本文原始链接 为了更好的阅读体验，请回源站查看文章。有任何修改、订正只会在源站体现
原创声明: 本文为原创文章 如需转载需要在文章最开始显示本文原始链接 为了更好的阅读体验，请回源站查看文章。有任何修改、订正只会在源站体现 在机器学习中，通常我们要衡量一个分类器分类结果的好坏，用于评价并改进分类器。本文将整理总结常见的度量指标并举例说明该指标在sklean中是如何实现的。 1. 准确率 所有测试样本中，被正确分类的比例。当然这个比例越高越好。最大值为1。在sklean中的计算也非常简单 [crayon-662ae826139ed401462537/] 1.1 混淆矩阵 为了更加精细的…
应用程序处理的数据越来越多，对并发访问的要求越来越大，程序的性能却并没有提升。发布日期越近，我们的心情就越想热锅上的蚂蚁，那叫一个急啊！不停的做性能剖析，做性能调优，却百思不得其解。幸好，我们及时遇到了Redis，让性能瞬间提升了百倍，真的有一种山穷水尽疑无路，柳暗花明又一村的感觉！今天我们就简单介绍一下Redis的一些用法，给大家的性能调优提供一种新的思路。 Redis简介 Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API, …
Spark summit 2016 正式发布了spark 2.0 + Databricks Spark 云套件（$_$） Spark 2.0 作为一次重大的版本更新，n多的新feature和性能提升自不必说，推荐大家去官网查看，今儿咱们侃点儿别的 <(￣︶￣)> — — Databricks Spark Cloud。 是个啥： 说白了就是Databricks捞钱的，老是开源spark 也不收你钱，大家也要吃饭不是，干脆搞个 spark on cloud，服务懒人或小公司，你既不用搭建集群也不用维护，交点…
0. 简介 Spark 是一个非常好的计算平台，支持多种语言，同时基于内存的计算速度也非常快。整个开源社区也很活跃。 但是Spark在易用性上面还是有一些美中不足。 对于刚接触的人来说，上手以及环境搭建还是有一些困难。 另外，如果希望将结果绘制成图表分享给别人，还需要很长一段路程。 目前已经有一些解决方案： 【TBD】Jupyter Notebook 使用很广泛，但是看起来主要还是以前ipython-notebook的增强版。 目前笔者对其了解不多 Spark 母公司DataBricks提供的DataBricks …
在学习Spark的时候，当然可以搞一个单机的Spark集群。 在写代码的时候，自然没有什么太大的问题了。但是是不是总有一种意犹未尽、隔靴骚扰的感觉？ 如果你的答案是否，好吧，你可以关闭此页了。 首先，有一个新人经常遇到的问题： Spark集群是否一定需要Hadoop集群呢？ 答案是否。 Spark的集群一共分3种： Standalone Hadoop-Yarn Mesos 今天我们主要涉及的就是Standalone这种模式。在这种模式之下，我们完全可以使用NFS来代替Hadoop / HDFS. 并且…
原文是知乎的一个热门问题，博主看了大部分的回答，即使很长也基本上看完了。 里面有很多很精彩的回答。推荐！ 原文链接： https://www.zhihu.com/question/31116099 我就说说我自己的看法：如果可以选择的话，请到大公司的小团队 理由如下： 大公司保证了你的简历的镀金程度以及教会你做事情的标准做法 比如如何与不同的部门/团队之间的沟（che）通（dan） 看一下大公司的工程经验 体验一下大公司才有的数据量级别 如果你是刚毕业的学生，强烈推荐到大公司 以后换小公司，可以用平台换级别，从大公…
本文主要内容参考Spark Summit 2016 & 2015 的油管视频 如果您能直接听懂英语，建议直接观看视频。 视频连接已经添加到文末 如果您无法穿墙，也可以下载Slides： 链接: https://pan.baidu.com/s/1kVllFgj 密码: k4uf 原文作者：Holden Karau 请用She/Her来称呼Ta 请不要小看此人，此人已经出了不少Spark的书啦！ 为什么pyspark会慢？ 参考上面的图，可以看到， Driver： 需要将对象、内容序列化传递给j…