使用Jupyter Notebook 加速PySpark开发

keywords:

docker jupyernotebook pyspark


PS: 看起来因为代码高亮插件的影响, 自动高亮的代码的格式有点问题…
后面会来解决这个问题


目前我们系统的整体架构大概是: Spark Standalone Cluster + NFS FileServer. 自然, 这些都是基于Linux系统.

Windows在开发PySpark程序的时候, 大部分情况都没有什么问题. 但是有两种情况就比较蛋疼了:

  • 读取NFS文件

    Windows底下, 一旦涉及到NFS的文件路径, 就歇菜了: 因为NFS的文件路径都是比如 /mnt/nfs/xxx 这种, 而Windows上面完全无法实现.

  • 消耗性能

    虽然作为client, 理论上不需要太强悍的性能, 但是有的事情并不合适Spark. 这个时候, 能有一个强力的client, 就美滋滋了!

关于NFS的解决方案, 一种很简单的解决方案就是起一个虚拟机. 我这边选择的方案:

基于Docker的JupyerNotebook 作为pyspark的开发工具.

PS: 笔者在这里就不对比两种方案的优劣了. 各位看官可以根据自己的需求进行选取.

安装Docker

这个网上已经很多教程了.

在这里推荐一个: 安装· Docker —— 从入门到实践 – yeasy – GitBook

基础环境

  • 基础镜像

    因为我们主力是python语言, 有时候还需要做一些AI/ML Task.

    我选取的是TensorFlow的镜像: Pull的命令: docker pull tensorflow/tensorflow

  • mount NFS

    首先安装nfs-common. 以ubuntu为例: apt install -y nfs-common

    mount命令:

    sudo mount -t nfs remote_server:remote_dir /mnt/nfs3

  • 启动docker:

    [code lang=bash]
    # 注意: 一定要加上 –net=host –pid=host -e TINI_SUBREAPER=true
    sudo docker run –name spark-learn -d\
    –net=host –pid=host -e TINI_SUBREAPER=true\
    -p 8888:8888 -v /notebooks:/notebooks\
    -v /mnt/nfs3:/mnt/nfs3\
    tensorflow/tensorflow
    [/code]

    否则在后面运行spark脚本之后, 会遇到很诡异的提示”资源不足”

配置环境

这个时候, 已经可以直接打开notebook写python了. 所以,有的操作我就放python代码了.

  • 修改APT源 (使用163)

    [code lang=bash]
    # ipython notebook之中表示执行命令
    !cp /etc/apt/sources.list /etc/apt/sources.list.bak

    import os
    source = '''
    deb http://mirrors.163.com/ubuntu/ xenial main restricted universe multiverse
    deb http://mirrors.163.com/ubuntu/ xenial-security main restricted universe multiverse
    deb http://mirrors.163.com/ubuntu/ xenial-updates main restricted universe multiverse
    deb http://mirrors.163.com/ubuntu/ xenial-proposed main restricted universe multiverse
    deb http://mirrors.163.com/ubuntu/ xenial-backports main restricted universe multiverse
    deb-src http://mirrors.163.com/ubuntu/ xenial main restricted universe multiverse
    deb-src http://mirrors.163.com/ubuntu/ xenial-security main restricted universe multiverse
    deb-src http://mirrors.163.com/ubuntu/ xenial-updates main restricted universe multiverse
    deb-src http://mirrors.163.com/ubuntu/ xenial-proposed main restricted universe multiverse
    deb-src http://mirrors.163.com/ubuntu/ xenial-backports main restricted universe multiverse
    '''

    with open('/etc/apt/sources.list', 'w') as f :
    f.write(source)

    !apt update
    [/code]

  • 安装JDK

    直接APT安装openjdk 不要太方便啊, 比手动安装oracle-jdk 方便多了. 而且目前看来, spark对他的兼容性也是得到保证的.

    !apt-get install openjdk-8-jre -y

  • 安装Maven

    有时候, pyspark需要依赖其他的包的时候, 需要使用maven下载.
    使用APT安装还是最方便的 :
    apt-get install maven -y

  • 修改pip源 + 安装pyspark

    因为pyspark比较大, 网络不好的同学建议修改pip源.

    修改pip源, 推荐我的小工具: https://github.com/RangerWolf/pip-ex

    使用很简单:

    [code lang=python]
    mkdir_p(pip_config_dir)
    change("tsinghua") # 我的网络发现清华的镜像比阿里云还要快!
    [/code]

    之后pip安装飞起来了! 安装pyspark就一句话: pip install pyspark

其他说明:

  • 实时查看Spark运行日志

    Spark的运行log并不会直接在notebook上面显示. 需要使用docker logs命令才能看到.

    如果我们需要在命令自动显示最新的log, 而不需要我们每次手动输入, 可以使用下面的命令:

    docker logs -f --tail 100 spark-learn

  • 网络速度监控

    第一次运行Spark程序的时候, 我发现一个很简单的命令也没有执行弯成. 以为是网络IO太久了.

    想看看是不是网络卡, 我发现下面这个神器:

    [code lang=bash]
    # 安装
    sudo apt-get install speedometer

    # 运行
    speedometer -rx eth0 -tx eth0

    # docker环境下, 可以多试几个
    # 可以使用ifconfig 查看
    speedometer -rx docker0 -tx docker0
    speedometer -rx eno0 -tx eno0
    [/code]

在命令行就直接显示出这种图片, 真是太牛了!

原文地址: FlyML.NET

点赞

发表评论

电子邮件地址不会被公开。 必填项已用*标注