本次命题： 数值预测 上一篇文章我们的小题目是使用LSTM预测字符顺序的下一个字符。 命题虽然简单， 可是实际上应用范围也很广。 比如输入法里面， 就一定会用到相关的技术。 只不过不一定是LSTM， 肯定也不止一维特征。这次这个命题相对来说， 比较实际一些：从历史预测监控数据预测即将来临的监控指标的数值。 比如下图就是本站在友盟上面的监控数据。 最右边的虚线部分就是友盟进行的预测的数值： 本文代码特别鸣谢：https://blog.csdn.net/aliceyangxi1987/article/details/7…
LSTM 应该是这段时间应用非常广泛也非常火的一个算法了。关于其理论基础， 已经有非常好的文章了。 在这里， 笔者记录一下自己从一些实际例子来学习LSTM的路程。 不太监的话， 应该会有好几篇文章。 这是第一篇， 主要目的： 从一个简单的例子来看看LSTM是如何预测下一个输出的。 从这个简单的例子， 体会一下什么是Seg2Seg。 大概看看， 如何使用Keras来训练一个LSTM的模型。 主要参考文章： 在keras 上实践,通过keras例子来理解lstm循环神经网络 Understanding Stateful…
前言: 之前曾经有一篇文章, 详细讲述了如何一步步手动的安装配置环境. 包括: 驱动程序 driver cuda cudnn nividia-docker 但是现在安装相比之前已经简化了非常非常多了. 现在前面3个事情, 一个apt命令就可以搞定. 废话不多说, 开始进入正文. 删除\卸载以前跟NVIDIA相关的东西 [crayon-6623abe5d1407499078345/] 这个会卸载包括驱动以及nvidia-docker命令 安装显卡相关的驱动 写这一篇文章的时候, 当前大版本是390. 相应的命令如下:…
一个最简单的折线图 有一个小问题: 不知道为什么, y的值画出来是int类型, 不是float类型 [crayon-6623abe5d166c521846600/] 在折线图上面画出阴影背景 (多边形) [crayon-6623abe5d1670952552772/] 注意: 貌似在同一个图形之中不支持多个多边形.
想解决的问题 一个通用的模型, 希望能适用所有的日志. 比如常见的System Event Log. 尝试从这些大量的日志之中找到异常\不规则的地方 主要架构 分为3个模型: Log Key Anomaly Detection model 主要是根据生成的Log Key, 使用LSTM进行判断下一个Log Key是否是异常信息. 主要是使用了NLP的思想. 个人感觉这一块是DeepLog最有启发的一个模型. Workflows 主要是能识别出并行的日志. 但是具体怎么用, 没有(在Youtube视频上面)详细说明 …
引言 翻了一下以前写的Cassandra相关的教程, 发现最开始是2016年写的博客了. 也没想到坚持了这么久. 经过这么长一段时间使用Cassandra作为基础数据承载的基础架构, 有一些实战获得的经验. 总而言之, Cassandra并不适合类似金融方向这种需要高可靠性\事务性的业务. 但是对数据分析, 确实有一些功能比较好用. 省心的重复数据处理 在批量导入数据到数据库之中的时候, 难免有重复导入的时候. 如果使用MySQL等等, 就需要事先按照时间或者其他条件, 先把历史数据删除. 而Cassandra并不…
使用docker的方式部署Cassandra节点 优点 使用Docker 可以更快速的解决很多环境配置问题: 不需要实现安装java 不需要配置supervisor (使用docker来管理进程) 不需要去配置ulimit 等等文件最大数配置(镜像里面已经配置好) 可以直接在命令行修改相应的配置 更新新的版本 相比之前也容易很多. 缺点: 这种方式, 没有办法充分利用双硬盘 部署步骤: 因为是一次性的事情, 所以没有使用Python Paramiko之类的方式远程执行SSH命令 人工登录目标机器 登录docker …
none镜像的由来 比如我们在更新docker image的时候, 就会产生这种镜像. 或者在删除原始docker image出问题的时候, 也会产生这种现象. 这个跟docker的文件机制有关. 详细可以阅读: https://www.projectatomic.io/blog/2015/07/what-are-docker-none-none-images/ 正确删除的命令 显然不能一个个删除, 要累死. 个人实验, 最保险的做法: docker image prune 官方网址: https://docs.d…
引言 这是《自控力》的读书笔记。 首先读完之后，最大的感觉， 自控力并不是一种玄学， 跟道德关系不大。 这是一门科学， 是可以被科学解释或者测量的。 算是人类的一种生理或者心理表现。 另外注意原版书的样子（如下图）。 最重要的是要注意 作者： 凯利·麦格尼格尔 。 出版社、封面可能都会有不同， 但是原作者跟翻译者， 请参考下图。 （我在图书馆被另外一个“金XX”写的也叫做《自控力》的书浪费了几天时间。 恨！） CH01 : 我要做, 我不要, 我想要 -- 什么是意志力?为什么以质量至关重要 阅读之后, 我发现, …
昨晚接到某云的通知： 服务器有异地登录行为。 今天进来一看， 果然， 上次解决过的xmr-stak-cpu病毒又来了。 解决方案跟上次一样， 在此不重复了。 不过为了解决被人暴力破解的问题， 是应该对服务器安全做一些防护措施了。 安装并配置Fail2ban 安装 Fail2Ban能自动把尝试错误的登录IP放到黑名单之中。 可以永久， 也可以暂时禁止。 Ubuntu底下安装很简单： sudo apt install -y fail2ban 配置 安装完成之后， 开始配置： 复制一份本地配置文件： cp /etc/fa…