LSTM 应该是这段时间应用非常广泛也非常火的一个算法了。关于其理论基础, 已经有非常好的文章了。 在这里, 笔者记录一下自己从一些实际例子来学习LSTM的路程。 不太监的话, 应该会有好几篇文章。 这是第一篇, 主要目的: 从一个简单的例子来看看LSTM是如何预测下一个输出的。 从这个简单的例子, 体会一下什么是Seg2Seg。 大概看看, 如何使用Keras来训练一个LSTM的模型。 主要参考文章: 在keras 上实践,通过keras例子来理解lstm循环神经网络 Understanding Stateful…

2018年08月12日 0条评论 7043点热度 1人点赞 阅读全文

前言: 之前曾经有一篇文章, 详细讲述了如何一步步手动的安装配置环境. 包括: 驱动程序 driver cuda cudnn nividia-docker 但是现在安装相比之前已经简化了非常非常多了. 现在前面3个事情, 一个apt命令就可以搞定. 废话不多说, 开始进入正文. 删除\卸载以前跟NVIDIA相关的东西 [crayon-616b05b1d6087324477857/] 这个会卸载包括驱动以及nvidia-docker命令 安装显卡相关的驱动 写这一篇文章的时候, 当前大版本是390. 相应的命令如下:…

2018年08月10日 0条评论 5668点热度 0人点赞 阅读全文

一个最简单的折线图 有一个小问题: 不知道为什么, y的值画出来是int类型, 不是float类型 [crayon-616b05b1d6376811794066/] 在折线图上面画出阴影背景 (多边形) [crayon-616b05b1d6379978356104/] 注意: 貌似在同一个图形之中不支持多个多边形.

2018年08月09日 1条评论 6698点热度 2人点赞 阅读全文

想解决的问题 一个通用的模型, 希望能适用所有的日志. 比如常见的System Event Log. 尝试从这些大量的日志之中找到异常\不规则的地方 主要架构 分为3个模型: Log Key Anomaly Detection model 主要是根据生成的Log Key, 使用LSTM进行判断下一个Log Key是否是异常信息. 主要是使用了NLP的思想. 个人感觉这一块是DeepLog最有启发的一个模型. Workflows 主要是能识别出并行的日志. 但是具体怎么用, 没有(在Youtube视频上面)详细说明 …

2018年08月06日 2条评论 16561点热度 9人点赞 阅读全文

引言 翻了一下以前写的Cassandra相关的教程, 发现最开始是2016年写的博客了. 也没想到坚持了这么久. 经过这么长一段时间使用Cassandra作为基础数据承载的基础架构, 有一些实战获得的经验. 总而言之, Cassandra并不适合类似金融方向这种需要高可靠性\事务性的业务. 但是对数据分析, 确实有一些功能比较好用. 省心的重复数据处理 在批量导入数据到数据库之中的时候, 难免有重复导入的时候. 如果使用MySQL等等, 就需要事先按照时间或者其他条件, 先把历史数据删除. 而Cassandra并不…

2018年06月20日 0条评论 5952点热度 1人点赞 阅读全文

使用docker的方式部署Cassandra节点 优点 使用Docker 可以更快速的解决很多环境配置问题: 不需要实现安装java 不需要配置supervisor (使用docker来管理进程) 不需要去配置ulimit 等等文件最大数配置(镜像里面已经配置好) 可以直接在命令行修改相应的配置 更新新的版本 相比之前也容易很多. 缺点: 这种方式, 没有办法充分利用双硬盘 部署步骤: 因为是一次性的事情, 所以没有使用Python Paramiko之类的方式远程执行SSH命令 人工登录目标机器 登录docker …

2018年06月16日 0条评论 8827点热度 2人点赞 阅读全文

none镜像的由来 比如我们在更新docker image的时候, 就会产生这种镜像. 或者在删除原始docker image出问题的时候, 也会产生这种现象. 这个跟docker的文件机制有关. 详细可以阅读: https://www.projectatomic.io/blog/2015/07/what-are-docker-none-none-images/ 正确删除的命令 显然不能一个个删除, 要累死. 个人实验, 最保险的做法: docker image prune 官方网址: https://docs.d…

2018年06月08日 0条评论 11094点热度 0人点赞 阅读全文

引言 这是《自控力》的读书笔记。 首先读完之后,最大的感觉, 自控力并不是一种玄学, 跟道德关系不大。 这是一门科学, 是可以被科学解释或者测量的。 算是人类的一种生理或者心理表现。 另外注意原版书的样子(如下图)。 最重要的是要注意 作者: 凯利·麦格尼格尔 。 出版社、封面可能都会有不同, 但是原作者跟翻译者, 请参考下图。 (我在图书馆被另外一个“金XX”写的也叫做《自控力》的书浪费了几天时间。 恨!) CH01 : 我要做, 我不要, 我想要 -- 什么是意志力?为什么以质量至关重要 阅读之后, 我发现, …

2018年05月20日 0条评论 7361点热度 3人点赞 阅读全文

昨晚接到某云的通知: 服务器有异地登录行为。 今天进来一看, 果然, 上次解决过的xmr-stak-cpu病毒又来了。 解决方案跟上次一样, 在此不重复了。 不过为了解决被人暴力破解的问题, 是应该对服务器安全做一些防护措施了。 安装并配置Fail2ban 安装 Fail2Ban能自动把尝试错误的登录IP放到黑名单之中。 可以永久, 也可以暂时禁止。 Ubuntu底下安装很简单: sudo apt install -y fail2ban 配置 安装完成之后, 开始配置: 复制一份本地配置文件: cp /etc/fa…

2018年05月17日 0条评论 5792点热度 0人点赞 阅读全文

最近发现自己的博客反应特别慢, 感觉不应该啊。 无意中在腾讯云的控制台界面发现,CPU已经满负荷运载了 ![cpu 100](http://wordpressblog-10034369.file.myqcloud.com/how-to-delete-xmr-stak-cpu-virus/cpu 100.png) 注: 后面CPU下降下来, 是因为自己已经成功的干掉了这个病毒。 搜了一下, Linux系统也没有什么太好的安全软件或者专杀工具。 于是只能自己手动删除。 第一步: 尝试登录服务器 很悲催, 因为之前一直是…

2018年05月11日 0条评论 8767点热度 9人点赞 阅读全文
1234515