想解决的问题 一个通用的模型, 希望能适用所有的日志. 比如常见的System Event Log. 尝试从这些大量的日志之中找到异常\不规则的地方 主要架构 分为3个模型: Log Key Anomaly Detect…

引言 翻了一下以前写的Cassandra相关的教程, 发现最开始是2016年写的博客了. 也没想到坚持了这么久. 经过这么长一段时间使用Cassandra作为基础数据承载的基础架构, 有一些实战获得的经验. 总而言之, …

使用docker的方式部署Cassandra节点 优点 使用Docker 可以更快速的解决很多环境配置问题: 不需要实现安装java 不需要配置supervisor (使用docker来管理进程) 不需要去配置ulimi…

这一篇文章, 主要讲的是如何优化python client的性能, 不是Cassandra本身的性能优化. Cassandra本身的性能优化, 主要是对DB Schema的设计上面的优化. 那python client …

之前一直不是非常理解Spark的缓存应该如何使用. 今天在使用的时候, 为了提高性能, 尝试使用了一下Cache, 并收到了明显的效果. 关于Cache的一些理论介绍, 网上已经很多了. 但是貌似也没有一个简单的例子说明…

keywords: docker jupyernotebook pyspark PS: 看起来因为代码高亮插件的影响, 自动高亮的代码的格式有点问题… 后面会来解决这个问题 目前我们系统的整体架构大概是: S…

之前项目组之中一位离职的同事给我们搭建的数据平台， 用的是Suse。 后来因为计算平台需要迁移到Spark之上， 我们就需要让Spark能方便的读取到SUSE之中的数据文件。 方案1：SUSE NFS Server 因为…

Zepplin 前段时间发布了0.7.0新版本， 在尝鲜的同时， 也在尝试将Zeppelin + Cassandra组合起来使用。 根据官方文档， Cassandra Interpreter 还是做了不少事情的， 说不定…

之前尝试使用Spark MLlib 做机器学习，发现不是非常方便，也可能是在使用习惯上面不太适应（相对 python sklearn）. 今天尝试使用Spark MLlib 针对Iris数据做一次实践，之后会尝试写一个包…

在之前的文章《使用nodetool 进行监控之初步使用》我们提到，新版本的Cassandra Nodetool 支持了 –format / -F 这个参数，可以将内容输出成json或者yaml格式。那么具体是…