Flink

Flink状态监控介绍

对于需要 7 * 24 小时不间断运行的流式计算程序来说,能实时监控程序运行状况、出现异常告警能立即响应并快速定位问题是必须具备的能力。

继续阅读

黑光技术公众号介绍

本号主要维护人helight ,毕业于西安邮电大学硕士研究生,现任职于腾讯游戏增值服务部数据中心,主要负责游戏大数据应用服务和游戏数据微服务的架构应用落地。

继续阅读

Apache Flink 1.6 Documentation: Jobs and Scheduling

这边文档简要的描述了Flink怎么样调度作业和Flink在JobManager中如何表述和跟踪作业。

继续阅读

Apache Flink 1.6 Documentation: Component Stack

Component Stackhttps://ci.apache.org/projects/flink/flink-docs-release-1.6/internals/components.html#component-stack组件栈 作为一个软件栈,Flink是一个分层设计的系统。不同的层基于底层创建,不断提升程序表现的抽象。

继续阅读

Flink Distributed Runtime Environment

Flink分布式运行时环境

  1. Tasks and Operator Chains 任务和操作链
  2. Job Managers, Task Managers, Clients 作业管理器,任务管理器,客户端
  3. Task Slots and Resources 任务执行槽和资源
  4. State Backends 转态后端
  5. Savepoints 保存点

继续阅读

Flink Dataflow Programming Model

Dataflow Programming Model

数据流编程模型

  1. Levels of Abstraction :数据处理层抽象
  2. Programs and Dataflows 编程和数据流
  3. Parallel Dataflows 并行数据流
  4. Windows 窗口
  5. Time 时间
  6. Stateful Operations 带状态的操作
  7. Checkpoints for Fault Tolerance 容错检查点
  8. Batch on Streaming 基于流的批处理

继续阅读