想解决的问题 一个通用的模型, 希望能适用所有的日志. 比如常见的System Event Log. 尝试从这些大量的日志之中找到异常\不规则的地方 主要架构 分为3个模型: Log Key Anomaly Detection model 主要是根据生成的Log Key, 使用LSTM进行判断下一个Log Key是否是异常信息. 主要是使用了NLP的思想. 个人感觉这一块是DeepLog最有启发的一个模型. Workflows 主要是能识别出并行的日志. 但是具体怎么用, 没有(在Youtube视频上面)详细说明 …

2018年08月06日 2条评论 10599点热度 1人点赞 阅读全文

引言 翻了一下以前写的Cassandra相关的教程, 发现最开始是2016年写的博客了. 也没想到坚持了这么久. 经过这么长一段时间使用Cassandra作为基础数据承载的基础架构, 有一些实战获得的经验. 总而言之, Cassandra并不适合类似金融方向这种需要高可靠性\事务性的业务. 但是对数据分析, 确实有一些功能比较好用. 省心的重复数据处理 在批量导入数据到数据库之中的时候, 难免有重复导入的时候. 如果使用MySQL等等, 就需要事先按照时间或者其他条件, 先把历史数据删除. 而Cassandra并不…

2018年06月20日 0条评论 4850点热度 0人点赞 阅读全文

使用docker的方式部署Cassandra节点 优点 使用Docker 可以更快速的解决很多环境配置问题: 不需要实现安装java 不需要配置supervisor (使用docker来管理进程) 不需要去配置ulimit 等等文件最大数配置(镜像里面已经配置好) 可以直接在命令行修改相应的配置 更新新的版本 相比之前也容易很多. 缺点: 这种方式, 没有办法充分利用双硬盘 部署步骤: 因为是一次性的事情, 所以没有使用Python Paramiko之类的方式远程执行SSH命令 人工登录目标机器 登录docker …

2018年06月16日 0条评论 6511点热度 0人点赞 阅读全文

none镜像的由来 比如我们在更新docker image的时候, 就会产生这种镜像. 或者在删除原始docker image出问题的时候, 也会产生这种现象. 这个跟docker的文件机制有关. 详细可以阅读: https://www.projectatomic.io/blog/2015/07/what-are-docker-none-none-images/ 正确删除的命令 显然不能一个个删除, 要累死. 个人实验, 最保险的做法: docker image prune 官方网址: https://docs.d…

2018年06月08日 0条评论 8578点热度 0人点赞 阅读全文

引言 这是《自控力》的读书笔记。 首先读完之后,最大的感觉, 自控力并不是一种玄学, 跟道德关系不大。 这是一门科学, 是可以被科学解释或者测量的。 算是人类的一种生理或者心理表现。 另外注意原版书的样子(如下图)。 最重要的是要注意 作者: 凯利·麦格尼格尔 。 出版社、封面可能都会有不同, 但是原作者跟翻译者, 请参考下图。 (我在图书馆被另外一个“金XX”写的也叫做《自控力》的书浪费了几天时间。 恨!) CH01 : 我要做, 我不要, 我想要 -- 什么是意志力?为什么以质量至关重要 阅读之后, 我发现, …

2018年05月20日 0条评论 5465点热度 3人点赞 阅读全文

昨晚接到某云的通知: 服务器有异地登录行为。 今天进来一看, 果然, 上次解决过的xmr-stak-cpu病毒又来了。 解决方案跟上次一样, 在此不重复了。 不过为了解决被人暴力破解的问题, 是应该对服务器安全做一些防护措施了。 安装并配置Fail2ban 安装 Fail2Ban能自动把尝试错误的登录IP放到黑名单之中。 可以永久, 也可以暂时禁止。 Ubuntu底下安装很简单: sudo apt install -y fail2ban 配置 安装完成之后, 开始配置: 复制一份本地配置文件: cp /etc/fa…

2018年05月17日 0条评论 4418点热度 0人点赞 阅读全文

最近发现自己的博客反应特别慢, 感觉不应该啊。 无意中在腾讯云的控制台界面发现,CPU已经满负荷运载了 ![cpu 100](http://wordpressblog-10034369.file.myqcloud.com/how-to-delete-xmr-stak-cpu-virus/cpu 100.png) 注: 后面CPU下降下来, 是因为自己已经成功的干掉了这个病毒。 搜了一下, Linux系统也没有什么太好的安全软件或者专杀工具。 于是只能自己手动删除。 第一步: 尝试登录服务器 很悲催, 因为之前一直是…

2018年05月11日 0条评论 6677点热度 0人点赞 阅读全文

很早很早之前就知道RSS了. 但是一直感觉RSS没有什么需求, 特别是打开某些RSS客户端之后, 一堆的源可以订阅, 瞬间把我吓怕了. 可以最近在看一些文章,学习一些资料的时候, 忽然感觉"RSS不正是我需要的东西吗?" 比如, 我在学习AutoEncoder的时候, 我分别在简书、CSDN、Youtube找到一些不错的博客文章。 并且发现他们的文章写得都挺好的。但是我又不能人工的一个个去看他们有没有更新一些文章。 这种应用场景,不正是RSS想解决的问题吗? 与此同时, 脑子里面生出许多问题: * RSS为什么会没…

2018年04月06日 2条评论 10441点热度 0人点赞 阅读全文

这一篇文章, 主要讲的是如何优化python client的性能, 不是Cassandra本身的性能优化. Cassandra本身的性能优化, 主要是对DB Schema的设计上面的优化. 那python client 为什么需要优化呢? 正在进行的一个项目就遇到这种情况, 无论如何优化, 性能就是无法提升. 一直维持在2000条/s的水平. 这个时候发现: 1. 只使用了单核cpu 2. 这一颗CPU已经100% 官方其实已经有一些关于性能优化的建议与文章, 但是感觉有的并不实用. 作者根据自己的实际操作的经验,…

2018年03月21日 0条评论 9199点热度 0人点赞 阅读全文

论文标题: From Word Embeddings to Item Recommendation 论文地址: https://arxiv.org/pdf/1601.01356 核心思想 这一篇论文的思想相比起其他的论文来说, 思想非常简单,就是把Item 当成一句话之中的Word。 使用训练Word2Vec模型的方法来训练一个Item2Vec 这种方法我还是比较认同的, 因为需要的数据比较简单, 是实际生产之中的应用场景会多不少. 训练数据 论文之中提到的数据集太老了(2011年), 没找到. 因为论文之中提到的…

2018年03月05日 0条评论 9548点热度 0人点赞 阅读全文
1234514