Flink 是标准的实时处理引擎,基于事件驱动。而 Spark Streaming 是微批( Micro-Batch )的模型。两者的区别在于:
1,SparkStreaming非要凑齐一个batch才处理,而Flink一行一处理。
2,SparkStreaming要形成RDD,这个需要的时间成本略高,而Flink后续处理的时间短。
这两点在数据量被放大,时间放长之后,造成了两者的显著差异。
原创 | 2022-11-23 22:17:06 |浏览:1.6万
Flink 是标准的实时处理引擎,基于事件驱动。而 Spark Streaming 是微批( Micro-Batch )的模型。两者的区别在于:
1,SparkStreaming非要凑齐一个batch才处理,而Flink一行一处理。
2,SparkStreaming要形成RDD,这个需要的时间成本略高,而Flink后续处理的时间短。
这两点在数据量被放大,时间放长之后,造成了两者的显著差异。
Copyright 2005-2020 www.kxting.com 版权所有 | 湘ICP备2023022655号
声明: 本站所有内容均只可用于学习参考,信息与图片素材来源于互联网,如内容侵权与违规,请与本站联系,将在三个工作日内处理,联系邮箱:47085,1089@qq.com