奋笔疾书中……

可可 @ 欢迎邮件联系我

在上一篇我们提到 Flink 基于 checkpoint 机制进行容错，保障了精确一次（exactly-once）语义。那么业界的其他分布式计算框架，如 spark streaming、storm 它们的容错思路与 Flink 相同吗？容错到底是在做什么呢？本篇将从更高的角度了解容错机制，深入理解容错的本质和核心思想。

Flink checkpoint 一直以来都是 Flink 引以为豪的机制之一，它为 Flink 状态流处理保驾护航。但是一直以来笔者都对于 checkpoint 的理解仅限于 Flink 官网和一些博客中的介绍，在实践层面一直是开箱即用的阶段，没有进行过深入的了解和研究。但是作为 Flink 的重要机制之一，无论从一个 Flink 粉的角度，还是从问题定位与优化的角度，都应该对它有更深入、更全面的了解。本篇文章中以问题驱动的方式进行讨论。同时也欢迎在评论区留言，评论区的一些问题会收录到本系列的博客中。

在 2017 年 5 月发布的 Apache Flink 1.2.0 中我们介绍了新特性可扩展状态（rescalable state）。接下来本篇文章会详细介绍 Flink 的状态流处理（stateful stream processing）与可扩展状态。

状态流处理简介

总的来说，我们可以认为状态（state）存储在算子（operator）的内存中，通过存储历史事件的信息来作用于未来事件的处理。

简介

流式作业长时间运行过程中常常会经历不同流量负载的情况。流量负载会出现周期性的变化，如：白天与晚上、周末与工作日、节假日与非节假日，这些波动可能是突发事件或是业务的自然增长。虽然这些波动有些是可预见的，但是如果想要在所有场景下保证相同的服务质量，那么就需要解决如何让作业资源随着需求的变化而动态调整。

Apache Flink 专门为状态流（stateful stream）计算而搭建。那什么是流计算中的状态（state）？我在上一篇博客中定义了状态和状态流计算，简单回顾一下：状态是被定义在算子（operator）中的一块内存空间，通过存储过去事件中的信息来影响未来事件的处理。