让Spark如虎添翼的Zeppelin - 基础篇

2016年08月19日 43706点热度 5人点赞 8条评论

0. 简介

Spark 是一个非常好的计算平台,支持多种语言,同时基于内存的计算速度也非常快。整个开源社区也很活跃。

但是Spark在易用性上面还是有一些美中不足。 对于刚接触的人来说,上手以及环境搭建还是有一些困难。 另外,如果希望将结果绘制成图表分享给别人,还需要很长一段路程。

目前已经有一些解决方案:

  • 【TBD】Jupyter Notebook
    • 使用很广泛,但是看起来主要还是以前ipython-notebook的增强版。
    • 目前笔者对其了解不多
  • Spark 母公司DataBricks提供的DataBricks Community Edition, 里面自带Spark集群 + Notebook。
    • 易用性、功能性都很不错。缺点是集群架设在AWS之上,无法跟自己本地的Spark 集群连在一起
  • Apache Zeppelin
    • 这是一个刚刚从Incubation转正的项目
    • 但是已经在各大公司均有采用,比如美团、微软等等
    • 本文主要就是介绍如何在本地搭建一个Zeppelin 使得Spark更易用,同时可以很方便的将自己的工作成功展示给客户

借用别人的一个效果图镇楼^_^

 

注意:

  1. Zeppelin自带Spark实例,您无需自己构建一个Spark 集群就可以学习Zeppelin
  2. Zeppelin 当前(2016年8月19日)最新版本0.6.1, 只兼容2.0+
    1. 如果您本地有Spark 集群并且版本是1.6.1 + Scala 2.10 , 请下载Zeppelin 0.6.0的版本
    2. 如果官网的速度比较慢,可以参考下面的方式到百度盘下载
    3. 链接: http://pan.baidu.com/s/1ctBBJo 密码: e68g

 

1、 下载

如果您需要的是0.6.0的版本,可以参考上面百度盘的下载链接。

如果您需要的是0.6.1+的版本,可以直接到官网下载, 里面的Mirror下载速度一般还不错

2、 安装

版本: Zeppelin 0.6.0 + 自建Spark集群(1.6.1)

感觉Zeppelin还是不太成熟,并开箱就用,还需要不少人工调整才能正常工作

  1. 解压之后,首先需要从模板创建一个新的zeppelin-env.sh, 并设置SPARK_HOME. 比如:

    如果是基于Hadoop 或者 Mesos 搭建的Spark  集群,还需要进行另外的设置。
  2. 从模板创建一个新的zeppelin-site.xml,并将之前的8080端口改到比如8089,避免与Tomcat等端口冲突

    <property>
    <name>zeppelin.server.port</name>
    <value>8089</value>
    <description>Server port.</description>
    </property>

  3. 替换jackson相关类库
    1. 默认自带的是2.5.*, 但是实际使用的时候指定的是2.4.4
    2. 并且可能2.4.4 与 2.5.* 并不完全兼容。
    3. 因此需要使用2.4.4 替换2.5.* , 有下面3个jar需要替换:
      1. jackson-annotations-2.4.4.jar
      2. jackson-core-2.4.4.jar
      3. jackson-databind-2.4.4.jar
    4. 这真的是非常坑人的一个地方。。。

 

做完上诉几步之后,就可以启动啦:

启动/停止命令: bin/zeppelin-daemon.sh stop/start

启动之后,打开http://localhost:8089 就可以看到Zeppelin的主界面啦

 

3. 配置Spark解释器

Spark Interpreter的配置非常简单,可以直接参考下图的配置方式:

 

 

4. 几点使用经验

Zeppline自带比较详细的Tutorial, 各位看自带的notebook tutorial 可能效果更好。 但是我在第一次使用的时候,遇到了不少坑,在此记录下来,给大家做个参考:

(1) 任务提交之后不会自动停止

当Zeppelin 提交任务之后,可以看到Spark Master UI 上面,当前任务即使执行完成了,也不会自动退掉

这是因为,Zeppelin 默认就像人手工运行了spark-shell spark://master-ip:7077 一样, 除非手动关闭shell命令,否则会一直占用着资源

解决办法就是将spark 解释器(interpreter) 重启

手动的重启办法:

  1. 打开Interpreter界面,搜索到Spark部分并点击重启
  2. 推荐: 调用Restful API 进行重启。
    1. 可以通过Chrome的Network 监控看一下点击restart之后具体调用的API的情况。如下图:
    2. 这个ID(2BUDQXH2R)在各自的环境可能各不相同。另外这个API是PUT的方式,可以直接使用下面的python代码在UI上自动重启

 

(2) 异常提示:Cannot call methods on a stopped SparkContext

比如我们在Spark Master UI 上面将当前job kill 之后,在Zeppelin这边重启执行任务就会遇到这个异常信息。

解决办法很简单: 重启解析器

 

(3) 不要主动调用 sc.stop()

这是官方明确说明的:scala 的spark-shell 自动初始化了SparkContext / SqlContext 等等

不能自己调用sc.stop() 之后重启创建一个SparkContext

可能笔者水平原因,尝试自己创建新的sc 之后,各种奇奇怪怪的问题

 

(4) 关于python module

Python Interpreter可以使用当前Zeppelin所在机器的python 所有的model

同时支持python 2 与 python 3

这是一个很有用的功能,比如我使用spark将数据计算完成之后,生成了一个并不太大的csv文件。这个时候完全可以使用Pandas强大的处理能力来进行二次处理,并最终使用Zeppelin的自动绘图能力生成报表

与Tableau之类的BI工具相比功能差了一些,不过各有所长。Zeppelin 对程序员来说可以算是非常方便的一个工具了。 对日常的一些简单报表的工作量大大减小了

(5) 可以设置自动运行时间

在整个Note的最上端,可以设置当前notebook 定期执行。 而且注意: 还可以设置执行完成之后自动重启interpreter 参考下图:

X. 使用Zeppelin Hub 实现协作共赢

官方网址: http://help.zeppelinhub.com/

这一部分将在下一篇文章之中介绍。敬请期待

RangerWolf

保持饥渴的专注,追求最佳的品质

文章评论

  • evenljj

    赞一个!终于找到写关于zeppelin的文章了,去年6月份发现这个工具,自己也折腾了很久,最近要做实验就采用它了,还望博主多指教。jackson的版本确实是一个坑,需要根据连接的Spark的版本来确定使用哪个version的jackson,具体哪个版本可以到spark的源码中去找。最近遇到一个另人挠头的问题,zeppelin对于python的支持貌似不行,运用matplotlib画图,第一开始能画出来,以后运行就会出现莫名其妙的错误。比如:AttributeError: 'PathCollection' object has no attribute 'do_3d_projection。然而我在我部署的zeppelin节点机器上,直接运行同样的代码进行画图却没有问题,很是费解。不知道博主有没有遇到这样的情况。

    2017年03月14日
    • rangerwolf

      没有啊 :sad: 很少画图。。。

      不过Zeppelin这货摊子铺得太大, 好多东西做得不够完善、不够健壮
      很无奈。。。

      2017年03月15日
    • rangerwolf

      我google搜了你说的错误, 感觉有一些说明。 不过哪个跟你的问题相关就不得而知了

      2017年03月15日
      • evenljj

        恩,我感觉还是环境配置的问题,或者是一些缓存导致的。比如说我用numpy的时候报了一个错,然后我将所有的关于numpy的引用删掉运行,还是报刚才的错误。同一段代码,重写之后错误又变了,比如变成:
        SyntaxError: invalid syntax
        File "", line 1
        from mpl_toolkits.mplot3d import Axes3D
        ^
        重启zeppelin有时管用,有时也不管用。我也是没折了。

        2017年03月15日
        • RangerWolf

          Zeppelin的python 不知道最新版的0.7咋样, 在0.6里面的好像是无法直接使用函数的。。。

          反正我这边使用就直接报错

          2017年03月16日