admin管理员组

文章数量:1549177

 楔子

本篇所讲为真正的kafka集群环境的全搭建以及应用端如何集成集群环境和包括生产环境中kafka在大交易量情况下又不能停机如何修复各类核心故障之用。

目前网上对于kafka的论述和博客,绝大部分都是错误的和没用的!没错!大家不要惊讶,那些集群搭完后都是假的,根本没有生产价值!目前网上一共分成5大版本,上千篇博文,都是从这5个“母版”中复刻出来的,本身的“母版”就是假的,根不要说复刻的呢!

在当时因为是2017年左右,我们还没有出现flink,在当时流行的流批一体用的是flume。但这不影响我们的流批一体相关架构的应用,核心思想还是使用流批一体技术去解决实际应用中的场景。对于这个大型商场来说,系统存在达25年以上,全国多达300多家大型超市,总部还有上千个超市。你不能上来说:为了实时交易、实时促销的改造把一个25年+的系统整个推翻重造?这里面有太多非技术问题。

因此此时我们需要“无痛的手法”,这个无痛的手法我们用的正是流批一体化技术去做的改造。当然各位在看完这个案例后完全也可以使用flink重写这个方案。

本篇的base版本就是国内某大型超市在上海徐汇的旗舰店秒级10万tps交易文件吞吐量的蓝本以及相应的生产环境为核心原理。要知道上海和国内有不少超大型超市即࿱

本文标签: 联锁系统集群实时大型超市