想解决的问题 一个通用的模型, 希望能适用所有的日志. 比如常见的System Event Log. 尝试从这些大量的日志之中找到异常\不规则的地方 主要架构 分为3个模型: Log Key Anomaly Detection model 主要是根据生成的Log Key, 使用LSTM进行判断下一个Log Key是否是异常信息. 主要是使用了NLP的思想. 个人感觉这一块是DeepLog最有启发的一个模型. Workflows 主要是能识别出并行的日志. 但是具体怎么用, 没有(在Youtube视频上面)详细说明 …

2018年08月06日 2条评论 9441点热度 1人点赞 阅读全文

使用docker的方式部署Cassandra节点 优点 使用Docker 可以更快速的解决很多环境配置问题: 不需要实现安装java 不需要配置supervisor (使用docker来管理进程) 不需要去配置ulimit 等等文件最大数配置(镜像里面已经配置好) 可以直接在命令行修改相应的配置 更新新的版本 相比之前也容易很多. 缺点: 这种方式, 没有办法充分利用双硬盘 部署步骤: 因为是一次性的事情, 所以没有使用Python Paramiko之类的方式远程执行SSH命令 人工登录目标机器 登录docker …

2018年06月16日 0条评论 5979点热度 0人点赞 阅读全文

原创声明: 本文为原创文章 为了更好的阅读体验,请回源站查看文章。有任何修改、订正只会在源站体现 最后更新时间:2016年09月03日

2016年09月04日 4条评论 23136点热度 2人点赞 阅读全文

原创声明: 本文为原创文章,转载需要注明来自http://www.flyml.net 为了更好的阅读体验,请回源站查看文章。有任何修改、订正只会在源站体现 最后更新时间:2016年09月03日

2016年09月03日 1条评论 12792点热度 2人点赞 阅读全文

原创声明: 本文为原创文章 为了更好的阅读体验,请回源站查看文章。有任何修改、订正只会在源站体现 最后更新时间:2016年09月02日

2016年09月02日 8条评论 24433点热度 6人点赞 阅读全文

原创声明: 本文为原创文章 如需转载需要在文章最开始显示本文原始链接 为了更好的阅读体验,请回源站查看文章。有任何修改、订正只会在源站体现 最后更新时间:2016年08月28日

2016年08月28日 3条评论 10796点热度 1人点赞 阅读全文

Spark 在大数据的发展应该是最活跃的一个开源框架了。 博主整理了一些Spark Summit 2016的资源,希望对大家有用: 主页: https://spark-summit.org/2016/ 主办方还提供了可在线观看但需要穿墙的录像视频。 具体可以到这里查看全部的资源 博主会将学习这些视频的笔记放出,以供大家学习、参考

2016年08月13日 0条评论 5070点热度 0人点赞 阅读全文