日志系统架构:kuiper+tdengine

提到Kubernetes的日志系统,大家首先想到的是ELK,但是今天我要给大家介绍另外一个日志系统架构。

ELK有个很大的问题:没有日志的过滤和清洗(fluentd的过滤能力有限),导致很多没有意义的log进入了elasticsearch,这些没有意义的log空耗elasticsearch的cpu和、内存和存储资源,无形中增加了我们的运维和使用成本。

而今天给大家介绍的这个新的日志系统架构就是:kuiper+tdengine。

日志系统架构:kuiper+tdengine-时光屋

kuiper可通过SQL 的方式实现数据的抽取、转换和过滤,支持数据排序、分组、聚合、连接,内置60+ 各类函数,覆盖数学运算、字符串处理、聚合运算和哈希运算等。总之kuiper提供了强大、高效的数据过滤、抽取和转换能力。

而tdengine是比influxDB更优秀的时序数据库,比较适合日志场景。通过列式存储和先进的压缩算法,存储空间不到通用数据库的1/10;由于超强性能,计算资源不到通用大数据方案的1/5。

根据我的测算,采用 kuiper+tdengine 的方案之后,所用的cpu比ELK方案节省40%,而memory则节省60%。

但是,不足也是有的,kuiper+tdengine 的方案不支持全文检索。

现有的ELK方案如果要转换为 kuiper+tdengine 也很简单:kuiper原生支持mqtt source, 只要配置kubernetes里的fluentd 的output为mqtt,这样整个日志流就串通了:fluent-bit -> fluentd -> mqtt broker -> kuiper -> tdengine

最后做一个总结:

如果你想以较低的成本(较少的cpu,memory开销)实现Kubernetes的日志功能(不需要全文检索),那么kuiper+tdengine可能是最适合你的选择。

————下载必看————

1、资源通过互联网渠道公开获取,仅供阅读测试,请在下载后24小时内删除,谢谢合作!
2、本站解压密码统一为:yudouyudou
3、本站微信客服/失效补发:rsst58
4、若版权方认为本站侵权,请联系发邮件至(rsstime@qq.com)处理。
5、关于下载,播放声音字幕,解压等问题,请点击查看>>常见问题
时光屋 » 日志系统架构:kuiper+tdengine

发表评论

至臻视听_发烧收藏

会员介绍 常见问题