前言 GCP的抢占型(preemptible)机器就类似与AWS的Spot Instance(竞价型机器)。同样的配置,抢占型机器机器能便宜差不多1/3! 但是有一个物理限制:每次开机最长24小时就会被关机。 因此,如果我们有一个小工具能监控这些机器,并且自动启动,岂不美哉? 方式1:使用实例组( Instance Group Manager ) 原理:在创建实例组的时候设置实例数下限。比如可以设置成1. 当这个实例被关闭之后,实例组会将其删除并重新创建。 操作步骤:(因为不是重点, 在此简单写写) 创建实例模板 …

2019年11月04日 0条评论 3980点热度 2人点赞 阅读全文

安装脚本 Ubuntu / Centos Debian的安装貌似有问题, 需要解决安装源的问题。 [crayon-61528fb913152954883777/] 如果在海外的AWS或者GCP等云服务器厂商, --mirror自然不需要加上去了。 Centos在运行完成之后, 还需要手动的sudo systemctl start docker.service 否则会提示docker没有启动之类的错误 日志相关 Grep String 正确的姿势: docker logs nginx 2>&1 | gr…

2019年10月07日 0条评论 3417点热度 0人点赞 阅读全文

推荐指数★★★☆☆ 富人买入资产,穷人只有支出,中产阶级买入他们自以为是资产的负债 资产: 即使你不工作、睡觉也能获得收入。比如: 利息、股息、票据、租金、版税。。。 负债: 把钱从你的口袋之中拿出来, 各种贷款、各种支出。 学习财务知识 其实我第一次读到作者这个观点的时候, 很不以为然: 财务知识,那不就是购买理财产品嘛? 但是后来忽然想到, 财务知识要是就是理财这点知识, 还要那么证书作甚?其实,后来也了解到“理财”也是一门很有学问的学科哦。不过这是后话了~ 总结了一些观点: 重要的不是你挣了多少钱, 而是你能…

2019年07月15日 0条评论 2622点热度 1人点赞 阅读全文

资料推荐 这里只是学习资料的一个笔记与总结, 更详细、仔细的学习还请各位看官自行看看原始的资料。在此罗列一下参考到的有用的资料。 主要参考资料: Python并行编程 中文版 译者非常的用心, 原著(英文版)的代码译者应该大部分都亲自测试过。 因为原著很多疑似疏漏的地方, 译者都做了特别的标识。在此鄙视一下由张龙翻译并出版成书的版本。 翻译狗屁不通, 上面的代码应该也没跑过。 使用Python进行并发编程-asyncio篇( 一 ) 使用Python进行并发编程-asyncio篇( 二 ) 异步编程讲得还是满详细的…

2019年07月07日 0条评论 6053点热度 1人点赞 阅读全文

引言 最近使用MySQL做一些数据统计比较多。 有时候为了省事直接写出了一个略复杂的SQL查询, 直接获得最后的结果。 但是总是觉得比较慢。 下面做了一个改动,简述如下: * 原来: 纯粹使用SQL查询, 得到最后的结果 * 改进: 使用SQL查询原始数据+Pandas进行数据处理 * 结论: 改进方案的性能提升了300% 原方案: select t2_id, name, col2 from ( select sum(col1) as col1_sum, col2, t2.name, t2_id FROM t1 l…

2019年03月25日 2条评论 11431点热度 2人点赞 阅读全文

前言 这本书的作者真是一位大神啊, 在命令行里面出神入化的完成了数据科学的常见步骤: 数据抽取、清洗、建模, 等等。 不过从目前我自己的角度来看, 主力开发语言应该还是Python, 但是可以使用命令行的方式加速、优化之前简单的数据预览的过程。 举个例子: 之前在命令行之中, 指挥简单的head -n / tail -n / jq 命令。 但是比如预览一个CSV文件, 如何更清晰的进行展示? 下面总结一下书中提到的并且个人觉得比较实用的一些命令行工具 注意: 在这里仅仅只是提一下相应的一些工具, 具体的详细的使用教…

2019年03月25日 0条评论 3491点热度 0人点赞 阅读全文

前天也就是2019年02月26日, 网上冒出一个大新闻“全南京一天成交2596套,创历史新高!!市场即将迎来新一轮上涨” 我的天, 这也太恐怖了吧? 抱着怀疑的态度, 我默默的打开了 南京网上房地产网。 这个网站虽然改版了, 但是数据统计这一块依然是古老的那一套。 最重要的, 看之前的数据很不直观。不过, 好歹能看到真实的成交数据。 2019年02月26日成交统计数据: http://www.njhouse.com.cn/2016/news/tzgg_detail.php?news_id=14569 简单的说: 2…

2019年02月27日 0条评论 3535点热度 0人点赞 阅读全文

方案选择 当前一种很常用的方式: 使用apt直接安装的方式。 因为对这种方式不太了解, 而且之前尝试过一次之后, 发现安装完成之后会自动创建一个jenkins用户跟用户组。 这个可能对后面的CI有比较强的干扰, 比如权限问题。 所以选择了另外一种手动安装的方案。 另外, 我们还需要build docker 镜像, 所以暂时不太想直接在docker之中运行jenkins。 否则在docker之中运行docker build命令就很尴尬了。(貌似有方案, 但是没有尝试过。) 详细步骤 安装jdk 经过这么多年的发展, …

2019年02月22日 0条评论 3606点热度 0人点赞 阅读全文

目标: 将默认的/var/lib/docker数据目录迁移到/data/docker-files之中 步骤: 前期准备 进入root: sudo -i 准备目录: mkdir -p /data/docker-files 修改docker的配置文件: 仅针对17.06-ce之后的版本 [crayon-61528fb91435f464118324/] 重启Docker Servicer [crayon-61528fb914362317892213/] 检查设置是否生效: [crayon-61528fb914363236…

2019年02月22日 0条评论 4936点热度 1人点赞 阅读全文

首先进入root sudo -i 使用fdisk 命令查看磁盘label, 因为我们创建的时候用的是200G, 所以可以用200来加速 fdisk -l | grep 200 输出: [crayon-61528fb9145b6208581483/] 格式化磁盘 [crayon-61528fb9145b8965963939/] mount这个磁盘到/data目录 [crayon-61528fb9145b9339350423/] 这个时候已经可以使用挂载上去的磁盘了 使用blkid命令查看磁盘ID [crayon-61…

2019年02月20日 0条评论 5174点热度 2人点赞 阅读全文
1234515