前言 GCP的抢占型(preemptible)机器就类似与AWS的Spot Instance(竞价型机器)。同样的配置,抢占型机器机器能便宜差不多1/3! 但是有一个物理限制:每次开机最长24小时就会被关机。 因此,如果我们有一个小工具能监控这些机器,并且自动启动,岂不美哉? 方式1:使用实例组( Instance Group Manager ) 原理:在创建实例组的时候设置实例数下限。比如可以设置成1. 当这个实例被关闭之后,实例组会将其删除并重新创建。 操作步骤:(因为不是重点, 在此简单写写) 创建实例模板 …

2019年11月04日 0条评论 4062点热度 2人点赞 阅读全文

安装脚本 Ubuntu / Centos Debian的安装貌似有问题, 需要解决安装源的问题。 [crayon-616b194d4495b088626854/] 如果在海外的AWS或者GCP等云服务器厂商, --mirror自然不需要加上去了。 Centos在运行完成之后, 还需要手动的sudo systemctl start docker.service 否则会提示docker没有启动之类的错误 日志相关 Grep String 正确的姿势: docker logs nginx 2>&1 | gr…

2019年10月07日 0条评论 3471点热度 0人点赞 阅读全文

推荐指数★★★☆☆ 富人买入资产,穷人只有支出,中产阶级买入他们自以为是资产的负债 资产: 即使你不工作、睡觉也能获得收入。比如: 利息、股息、票据、租金、版税。。。 负债: 把钱从你的口袋之中拿出来, 各种贷款、各种支出。 学习财务知识 其实我第一次读到作者这个观点的时候, 很不以为然: 财务知识,那不就是购买理财产品嘛? 但是后来忽然想到, 财务知识要是就是理财这点知识, 还要那么证书作甚?其实,后来也了解到“理财”也是一门很有学问的学科哦。不过这是后话了~ 总结了一些观点: 重要的不是你挣了多少钱, 而是你能…

2019年07月15日 0条评论 2664点热度 1人点赞 阅读全文

引言 最近使用MySQL做一些数据统计比较多。 有时候为了省事直接写出了一个略复杂的SQL查询, 直接获得最后的结果。 但是总是觉得比较慢。 下面做了一个改动,简述如下: * 原来: 纯粹使用SQL查询, 得到最后的结果 * 改进: 使用SQL查询原始数据+Pandas进行数据处理 * 结论: 改进方案的性能提升了300% 原方案: select t2_id, name, col2 from ( select sum(col1) as col1_sum, col2, t2.name, t2_id FROM t1 l…

2019年03月25日 2条评论 11605点热度 2人点赞 阅读全文

前言 这本书的作者真是一位大神啊, 在命令行里面出神入化的完成了数据科学的常见步骤: 数据抽取、清洗、建模, 等等。 不过从目前我自己的角度来看, 主力开发语言应该还是Python, 但是可以使用命令行的方式加速、优化之前简单的数据预览的过程。 举个例子: 之前在命令行之中, 指挥简单的head -n / tail -n / jq 命令。 但是比如预览一个CSV文件, 如何更清晰的进行展示? 下面总结一下书中提到的并且个人觉得比较实用的一些命令行工具 注意: 在这里仅仅只是提一下相应的一些工具, 具体的详细的使用教…

2019年03月25日 0条评论 3547点热度 0人点赞 阅读全文

前天也就是2019年02月26日, 网上冒出一个大新闻“全南京一天成交2596套,创历史新高!!市场即将迎来新一轮上涨” 我的天, 这也太恐怖了吧? 抱着怀疑的态度, 我默默的打开了 南京网上房地产网。 这个网站虽然改版了, 但是数据统计这一块依然是古老的那一套。 最重要的, 看之前的数据很不直观。不过, 好歹能看到真实的成交数据。 2019年02月26日成交统计数据: http://www.njhouse.com.cn/2016/news/tzgg_detail.php?news_id=14569 简单的说: 2…

2019年02月27日 0条评论 3583点热度 0人点赞 阅读全文

方案选择 当前一种很常用的方式: 使用apt直接安装的方式。 因为对这种方式不太了解, 而且之前尝试过一次之后, 发现安装完成之后会自动创建一个jenkins用户跟用户组。 这个可能对后面的CI有比较强的干扰, 比如权限问题。 所以选择了另外一种手动安装的方案。 另外, 我们还需要build docker 镜像, 所以暂时不太想直接在docker之中运行jenkins。 否则在docker之中运行docker build命令就很尴尬了。(貌似有方案, 但是没有尝试过。) 详细步骤 安装jdk 经过这么多年的发展, …

2019年02月22日 0条评论 3658点热度 0人点赞 阅读全文

目标: 将默认的/var/lib/docker数据目录迁移到/data/docker-files之中 步骤: 前期准备 进入root: sudo -i 准备目录: mkdir -p /data/docker-files 修改docker的配置文件: 仅针对17.06-ce之后的版本 [crayon-616b194d45d38911131007/] 重启Docker Servicer [crayon-616b194d45d3c675426991/] 检查设置是否生效: [crayon-616b194d45d3d947…

2019年02月22日 0条评论 4996点热度 1人点赞 阅读全文

首先进入root sudo -i 使用fdisk 命令查看磁盘label, 因为我们创建的时候用的是200G, 所以可以用200来加速 fdisk -l | grep 200 输出: [crayon-616b194d45f9f001501163/] 格式化磁盘 [crayon-616b194d45fa3487851699/] mount这个磁盘到/data目录 [crayon-616b194d45fa4655947166/] 这个时候已经可以使用挂载上去的磁盘了 使用blkid命令查看磁盘ID [crayon-61…

2019年02月20日 0条评论 5256点热度 2人点赞 阅读全文

前言 LibFFM 在之前的好几界CTR比赛之中都取得了非常不错的成绩。但是在使用上, 最大的问题莫过于其特殊的libffm格式了。下面会覆盖两个问题: * 简述libffm数据格式 * 单机将pandas DataFrame 转成libffm 的实现(已优化) 什么是libffm格式 这部分内容主要参考: https://www.jianshu.com/p/9c2c2421ef2e 假设有下面数据: 其中: User / Movie / Genre 是类别, 可以进行One Hot Encoder Price是连…

2019年02月19日 0条评论 5376点热度 0人点赞 阅读全文
1234514