前言 这本书的作者真是一位大神啊， 在命令行里面出神入化的完成了数据科学的常见步骤： 数据抽取、清洗、建模， 等等。 不过从目前我自己的角度来看， 主力开发语言应该还是Python， 但是可以使用命令行的方式加速、优化之前简单的数据预览的过程。 举个例子： 之前在命令行之中， 指挥简单的head -n / tail -n / jq 命令。 但是比如预览一个CSV文件， 如何更清晰的进行展示？ 下面总结一下书中提到的并且个人觉得比较实用的一些命令行工具 注意： 在这里仅仅只是提一下相应的一些工具， 具体的详细的使用教…

前天也就是2019年02月26日， 网上冒出一个大新闻“全南京一天成交2596套，创历史新高！！市场即将迎来新一轮上涨” 我的天， 这也太恐怖了吧？ 抱着怀疑的态度， 我默默的打开了 南京网上房地产网。 这个网站虽然改版了， 但是数据统计这一块依然是古老的那一套。 最重要的， 看之前的数据很不直观。不过， 好歹能看到真实的成交数据。 2019年02月26日成交统计数据： http://www.njhouse.com.cn/2016/news/tzgg_detail.php?news_id=14569 简单的说： 2…

方案选择 当前一种很常用的方式： 使用apt直接安装的方式。 因为对这种方式不太了解， 而且之前尝试过一次之后， 发现安装完成之后会自动创建一个jenkins用户跟用户组。 这个可能对后面的CI有比较强的干扰， 比如权限问题。 所以选择了另外一种手动安装的方案。 另外， 我们还需要build docker 镜像， 所以暂时不太想直接在docker之中运行jenkins。 否则在docker之中运行docker build命令就很尴尬了。（貌似有方案， 但是没有尝试过。） 详细步骤 安装jdk经过这么多年的发展, o…

目标： 将默认的/var/lib/docker数据目录迁移到/data/docker-files之中 步骤： 前期准备 进入root: sudo -i 准备目录： mkdir -p /data/docker-files 修改docker的配置文件: 仅针对17.06-ce之后的版本 [crayon-66276af435b2c810165873/] 重启Docker Servicer [crayon-66276af435b2f420564571/] 检查设置是否生效： [crayon-66276af435b30360…

首先进入root sudo -i 使用fdisk 命令查看磁盘label， 因为我们创建的时候用的是200G， 所以可以用200来加速 fdisk -l | grep 200 输出： [crayon-66276af435cda528623032/] 格式化磁盘 [crayon-66276af435cde781838744/] mount这个磁盘到/data目录 [crayon-66276af435cdf160367195/] 这个时候已经可以使用挂载上去的磁盘了 使用blkid命令查看磁盘ID [crayon-66…

前言 笔者主要的后端项目都是使用Flask。 在使用Python写代码的时候， 最喜欢的打印日志方式， 应该就是使用print了吧。 这种方式最简单， 但是也有一些天生无法克服的缺点。 比如： python2 跟 python3 不兼容 只能打印出消息， 相关的附加信息都没有。 在定位问题的时候， 可能缺少关键信息。 特别是在中大型项目里面， 想构建一个稳定的系统， 日志必不可少。 笔者尝试根据自己实践的经验，基于Flask这个框架，讲清楚以下几个问题： 日志在Flask之中的基础使用方法 如何在Flask之中配置…

今年无论是阿里云还是腾讯云，双十一的活动力度都不小。 不过阿里云依然是新用户是上帝， 老用户不如狗。。。 这一点腾讯云对我等老用户还是很友好的！ 太长，不想读？直接看结论： 阿里云新用户 点这里： https://m.aliyun.com/act/team1111/#/share?params=N.9g4CZ2TwSh.stfe5wwz 备选：腾讯云秒杀 https://cloud.tencent.com/redirect.php?redirect=10172&cps_key=5dbcfb42d5d5464…

前言 写了很多很多Flask的API， 但是一直偷懒， 没有使用Gunicorn来作为Web Server 来运行成。 后来因为某个线上服务， 经常出现timeout的情况。 在已经采用了好一些措施的情况还是无法完全避免的情况下， 想到了Gunicorn。 下面是迁移之前进行的一些简单的性能测试。 真正迁移其实比下面的脚本要复杂一些。 Gunicorn安全与测试命令 安装Gunicorn 安装与运行很简单，直接pip命令即可： [crayon-66276af4363ff152795376/] 性能测试工具： wrk…

目标 将基础指标（机器资源、API响应）的监控最大化的简化部署与维护工作。 目标机器： 适用于20~30台机器或者API进行监控。 其报警标准也适当简化。 目前对于机器， 仅支持*NIX类型的机器。 因为小团队， 可能管理的机器数量也并不大， 但是又需要监控。 目标用户： 全栈开发团队， 需要花费更多的时间与精力在业务开发， 对监控要求不高， 但是又有基础的监控需求。 方案特点 1. 极简部署与运行 通过docker的方式， 只需要一个命令就可以把这一套系统搭建运行起来。 2. 可视化、傻瓜化的配置 无论是Zabb…

前言 Docker安装的文章很多了， 但是我心中最理想的安装方式并没有记录。 或者说记录了但是搜索引擎没有找出来。 在这里多记录一次， 希望能让更多的人看到 首先卸载之前的版本 以前曾经出现过的版本或者名称： * docker-io * docker-engine 现在统称： docker-ce。 为了能够安装最新版， 需要将之前的版本完全卸载： [crayon-66276af4366ca790614577/] 使用安装脚本直接安装 官网记录了几种安装方式， 个人觉得使用脚本自动安装是最方便快速的。 因为Ubunt…