黑光技术公众号介绍
本号主要维护人helight ,毕业于西安邮电大学硕士研究生,现任职于腾讯游戏增值服务部数据中心,主要负责游戏大数据应用服务和游戏数据微服务的架构应用落地。
Apache Flink 1.6 Documentation: Jobs and Scheduling
这边文档简要的描述了Flink怎么样调度作业和Flink在JobManager中如何表述和跟踪作业。
Apache Flink 1.6 Documentation: Component Stack
Component Stackhttps://ci.apache.org/projects/flink/flink-docs-release-1.6/internals/components.html#component-stack组件栈 作为一个软件栈,Flink是一个分层设计的系统。不同的层基于底层创建,不断提升程序表现的抽象。
Flink Distributed Runtime Environment
Flink分布式运行时环境
- Tasks and Operator Chains 任务和操作链
- Job Managers, Task Managers, Clients 作业管理器,任务管理器,客户端
- Task Slots and Resources 任务执行槽和资源
- State Backends 转态后端
- Savepoints 保存点
Flink Dataflow Programming Model
Dataflow Programming Model
数据流编程模型
- Levels of Abstraction :数据处理层抽象
- Programs and Dataflows 编程和数据流
- Parallel Dataflows 并行数据流
- Windows 窗口
- Time 时间
- Stateful Operations 带状态的操作
- Checkpoints for Fault Tolerance 容错检查点
- Batch on Streaming 基于流的批处理