Skip to content

D
dlink
Unverified Commit 8cc95731 authored by aiwenmo's avatar aiwenmo Committed by GitHub
Browse files
Options

[Document-835][doc] Update the home page and basic information of the document (#836) 

Co-authored-by: 's avatarwenmo <32723967+wenmo@users.noreply.github.com>
parent eb0dec6f
Hide whitespace changes
Inline Side-by-side
Showing with 307 additions and 266 deletions
docs/docs/concept_architecture/concept.md
View file @ 8cc95731
...@@ -10,15 +10,15 @@ JobManager 作为 Dinky 的作业管理的统一入口，负责 Flink 的各种 ...@@ -10,15 +10,15 @@ JobManager 作为 Dinky 的作业管理的统一入口，负责 Flink 的各种
**Executor** **Executor**
Executor 是 Dinky 定制的 FlinkSQL 执行器，来模拟真实的 Flink 执行环境，负责 FlinkSQL 的 Catalog 管理、UDF管理、片段管理、配置管理、语句集管理、语法校验、逻辑验证、计划优化、生成 JobGraph、本地执行、远程提交、SELECT 及 SHOW 预览等核心功能。 Executor 是 Dinky 定制的 FlinkSQL 执行器，来模拟真实的 Flink 执行环境，负责 FlinkSQL 的 Catalog 管理、UDF管理、全局变量管理、配置管理、语句集管理、语法校验、生成 JobGraph、本地执行、远程提交、SELECT 及 SHOW 预览等核心功能。
**Interceptor** **Interceptor**
Interceptor 是 Dinky 的 Flink 执行拦截器，负责对其进行片段解析、UDF注册、SET 和 AGGTABLE 等增强语法解析。 Interceptor 是 Dinky 的 Flink 执行拦截器，负责对其进行变量解析、UDF注册、整库同步、SET 和 AGGTABLE 等增强语法解析。
**Gateway** **Gateway**
Gateway 并非是开源项目 flink-sql-gateway，而是 Dinky 自己定制的 Gateway，负责进行基于 Yarn 环境的任务提交与管理，主要有Yarn-Per-Job 和 Yarn-Application 的 FlinkSQL 提交、停止、SavePoint 以及配置测试，而 User Jar 目前只开放了 Yarn-Application 的提交。 Gateway 是 Dinky 自己定制的 Gateway，负责进行基于 Yarn 与 K8S 环境的任务提交与管理，主要有 Yarn Per-Job 和 Yarn/K8S Application 的 FlinkSQL 提交、停止、SavePoint 以及配置测试，而 User Jar 目前只开放了 Yarn-Application 的提交。
**Flink SDK** **Flink SDK**
...@@ -30,7 +30,7 @@ Dinky 通过调用 flink-yarn 模块进行二次开发。 ...@@ -30,7 +30,7 @@ Dinky 通过调用 flink-yarn 模块进行二次开发。
**Flink API** **Flink API**
Dinky 也支持通过调用 JobManager 的 RestAPI 对任务进行管理等操作，系统配置可以控制开启和停用。 Dinky 也支持通过调用 Flink JobManager 的 RestAPI 对任务进行管理等操作，系统配置可以控制开启和停用。
**Local** **Local**
......
docs/docs/feature.md
View file @ 8cc95731
...@@ -7,114 +7,131 @@ title: 功能 ...@@ -7,114 +7,131 @@ title: 功能
注意：以下功能均为对应版本已实现的功能，实测可用。 注意：以下功能均为对应版本已实现的功能，实测可用。
| 应用 | 方向 | 功能 | 进展 | | 应用 | 方向 | 功能 | 进展 |
| :------: | :------------: |-------------------------------------------|:-----:| | :------: |:----------:|--------------------------------------------------|:-----:|
| 开发中心 | FlinkSQL | 支持 sql-client 所有语法 | 0.4.0 | | 开发中心 | FlinkSQL | 支持 sql-client 语法 | 0.4.0 |
| | | 支持 Flink 所有 Configuration | 0.4.0 | | | | 支持 Flink 所有 Configuration | 0.4.0 |
| | | 支持 Flink 所有 Connector | 0.4.0 | | | | 支持 Flink 所有 Connector | 0.4.0 |
| | | 支持 Flink 批流两种模式 | 0.6.0 | | | | 支持 Flink 批流两种模式 | 0.6.0 |
| | | 支持 SELECT、SHOW、DESC 等查询实时预览 | 0.4.0 | | | | 支持 SELECT、SHOW、DESC 等查询实时预览 | 0.4.0 |
| | | 支持 INSERT 语句集 | 0.4.0 | | | | 支持 INSERT 语句集 | 0.4.0 |
| | | 新增 SQL 片段语法（全局变量） | 0.4.0 | | | | 新增 SQL 全局变量 | 0.4.0 |
| | | 新增 AGGTABLE 表值聚合语法及 UDATF 支持 | 0.4.0 | | | | 新增 AGGTABLE 表值聚合语法及 UDATF 支持 | 0.4.0 |
| | | 新增 CDCSOURCE 多源合并语法支持 | 0.6.0 | | | | 新增 CDCSOURCE 整库同步语法 | 0.6.0 |
| | | 新增 FlinkSQLEnv 执行环境复用 | 0.5.0 | | | | 新增 FlinkSQLEnv 执行环境 | 0.5.0 |
| | | 新增 Flink Catalog 交互查询 | 0.4.0 | | | | 新增 Flink Catalog 交互查询及持久化 | 0.4.0 |
| | | 新增 执行环境的共享与私有会话机制 | 0.4.0 | | | | 新增 执行环境的共享与私有会话 | 0.4.0 |
| | | 新增 多种方言的作业目录管理（FlinkSQL、SQL、Java） | 0.5.0 | | | | 新增 多种方言的作业目录管理（FlinkSQL、SQL） | 0.5.0 |
| | | 新增 作业配置与执行配置管理 | 0.4.0 | | | | 新增 作业配置与执行配置管理 | 0.4.0 |
| | | 新增 作业生命周期管理 | 0.6.0 | | | | 新增 作业生命周期管理 | 0.6.0 |
| | | 新增 基于 Explain 的语法校验与逻辑解析 | 0.4.0 | | | | 新增 FlinkSQL 作业版本对比 | 0.6.6 |
| | | 新增 JobPlan 图预览 | 0.5.0 | | | | 新增 基于 Explain 的语法校验与逻辑解析 | 0.4.0 |
| | | 新增 基于 StreamGraph 的字段级血缘分析 | 0.6.0 | | | | 新增 JobPlan 图预览 | 0.5.0 |
| | | 新增 基于上下文元数据自动提示与补全 | 0.4.0 | | | | 新增 基于 StreamGraph 的字段级血缘分析 | 0.6.0 |
| | | 新增 自定义规则的自动提示与补全 | 0.4.0 | | | | 新增 基于上下文元数据自动提示与补全 | 0.4.0 |
| | | 新增 关键字高亮与代码缩略图 | 0.4.0 | | | | 新增 自定义规则的自动提示与补全 | 0.4.0 |
| | | 新增 选中片段执行 | 0.4.0 | | | | 新增 关键字高亮与代码缩略图 | 0.4.0 |
| | | 新增 布局拖拽 | 0.4.0 | | | | 新增 选中片段执行 | 0.4.0 |
| | | 新增 SQL导出 | 0.5.0 | | | | 新增 布局拖拽 | 0.4.0 |
| | | 新增 快捷键保存、校验、美化 | 0.5.0 | | | | 新增 SQL导出 | 0.5.0 |
| | | 支持 local 模式下 FlinkSQL 提交 | 0.4.0 | | | | 新增 作业批量导出导入 | 0.6.6 |
| | | 支持 standalone 模式下 FlinkSQL 提交 | 0.4.0 | | | | 新增 作业复制 | 0.6.5 |
| | | 支持 yarn session 模式下 FlinkSQL 提交 | 0.4.0 | | | | 新增 快捷键保存、校验、美化 | 0.5.0 |
| | | 支持 yarn per-job 模式下 FlinkSQL 提交 | 0.4.0 | | | | 支持 local 模式下 FlinkSQL 提交 | 0.4.0 |
| | | 支持 yarn application 模式下 FlinkSQL 提交 | 0.4.0 | | | | 支持 standalone 模式下 FlinkSQL 提交 | 0.4.0 |
| | | 支持 kubernetes session 模式下 FlinkSQL 提交 | 0.5.0 | | | | 支持 yarn session 模式下 FlinkSQL 提交 | 0.4.0 |
| | | 支持 kubernetes application 模式下 FlinkSQL 提交 | 0.5.0 | | | | 支持 yarn per-job 模式下 FlinkSQL 提交 | 0.4.0 |
| | | 支持 UDF Java 方言Local模式在线编写、调试、动态加载 | 0.5.0 | | | | 支持 yarn application 模式下 FlinkSQL 提交 | 0.4.0 |
| | Flink 作业 | 支持 yarn application 模式下 Jar 提交 | 0.4.0 | | | | 支持 kubernetes session 模式下 FlinkSQL 提交 | 0.5.0 |
| | | 支持 k8s application 模式下 Jar 提交 | 0.5.0 | | | | 支持 kubernetes application 模式下 FlinkSQL 提交 | 0.5.0 |
| | | 支持 作业 Cancel | 0.4.0 | | | | 支持 UDF Java 方言Local模式在线编写、调试、动态加载 | 0.5.0 |
| | | 支持 作业 SavePoint 的 Cancel、Stop、Trigger | 0.4.0 | | | Flink 作业 | 支持 yarn application 模式下 Jar 提交 | 0.4.0 |
| | | 新增 作业自动从 SavePoint 恢复机制（包含最近、最早、指定一次） | 0.4.0 | | | | 支持 k8s application 模式下 Jar 提交 | 0.5.0 |
| | Flink 集群 | 支持 查看已注册集群的作业列表与运维 | 0.4.0 | | | | 支持 作业 Cancel | 0.4.0 |
| | | 新增 自动注册 Yarn 创建的集群 | 0.4.0 | | | | 支持 作业 SavePoint 的 Cancel、Stop、Trigger | 0.4.0 |
| | Flink 版本 | 支持 1.11.0+ | 0.4.0 | | | | 新增 作业自动从 SavePoint/CheckPoint 恢复机制（包含最近、最早、指定一次） | 0.4.0 |
| | | 支持 1.12.0+ | 0.4.0 | | | | 新增 作业手动从指定 SavePoint/CheckPoint 恢复 | 0.6.6 |
| | | 支持 1.13.0+ | 0.4.0 | | | Flink 集群 | 支持 查看已注册集群的作业列表与运维 | 0.4.0 |
| | | 支持 1.14.0+ | 0.4.0 | | | | 新增 自动注册 Yarn/K8S 创建的集群 | 0.4.0 |
| | SQL | 新增 外部数据源的 SQL 校验 | 0.5.0 | | | | 新增 FlinkWebUI 跳转 | 0.6.2 |
| | | 新增 外部数据源的 SQL 执行与预览 | 0.5.0 | | | Flink 版本 | 支持 1.11.0+ | 0.4.0 |
| | BI | 新增 折线图的渲染 | 0.5.0 | | | | 支持 1.12.0+ | 0.4.0 |
| | | 新增 条形图图的渲染 | 0.5.0 | | | | 支持 1.13.0+ | 0.4.0 |
| | | 新增 饼图的渲染 | 0.5.0 | | | | 支持 1.14.0+ | 0.4.0 |
| | 元数据 | 新增 查询外部数据源的元数据信息 | 0.4.0 | | | | 支持 1.14.0+ | 0.4.0 |
| | | 新增 FlinkSQL 和 SQL 的自动生成 | 0.6.0 | | | | 支持 1.15.0+ | 0.6.3 |
| | | 新增 自动将连接信息注入片段机制 | 0.6.0 | | | SQL | 新增 外部数据源的 SQL 校验 | 0.5.0 |
| | 归档 | 新增 执行与提交历史 | 0.4.0 | | | | 新增 外部数据源的 SQL 执行与预览 | 0.5.0 |
| 运维中心 | 主页 | 新增 任务实例列表 | 0.6.0 | | | | 新增 外部数据源的 SQL 字段血缘分析 | 0.6.4 |
| | 作业监控 | 新增 作业总览 | 0.6.0 | | | BI | 新增 折线图的渲染 | 0.5.0 |
| | | 新增 实时监控 Flink Job | 0.6.0 | | | | 新增 条形图图的渲染 | 0.5.0 |
| | | 新增 作业实例与历史切换 | 0.6.0 | | | | 新增 饼图的渲染 | 0.5.0 |
| | | 新增 自动告警 | 0.6.0 | | | 元数据 | 新增 查询外部数据源的元数据信息 | 0.4.0 |
| | | 新增 FlinkWebUI 跳转 | 0.6.0 | | | | 新增 FlinkSQL 和 SQL 的自动生成 | 0.6.0 |
| | | 新增 智能重启（重新上线） | 0.6.0 | | | | 新增 自动将连接信息注入片段机制 | 0.6.0 |
| | | 新增 智能停止（下线） | 0.6.0 | | | 归档 | 新增 执行与提交历史 | 0.4.0 |
| | | 新增 SavePoint 多种操作 | 0.6.0 | | | | 新增 发布版本管理与回滚 | 0.6.6 |
| | | 新增 报警推送 | 0.6.0 | | 运维中心 | 主页 | 新增 任务实例列表 | 0.6.0 |
| | | 新增 配置信息 | 0.6.0 | | | 作业监控 | 新增 作业总览 | 0.6.0 |
| | | 新增 集群信息 | dev | | | | 新增 实时监控 Flink Job | 0.6.0 |
| | | 新增 作业快照 | dev | | | | 新增 作业实例与历史切换 | 0.6.0 |
| | | 新增 异常信息 | 0.6.0 | | | | 新增 自动告警 | 0.6.0 |
| | | 新增 作业日志 | dev | | | | 新增 FlinkWebUI 跳转 | 0.6.0 |
| | | 新增 自动调优 | dev | | | | 新增 智能重启（重新上线） | 0.6.0 |
| | | 新增 FlinkSQL | 0.6.0 | | | | 新增 智能停止（下线） | 0.6.0 |
| | | 新增 数据地图 | 0.6.0 | | | | 新增 SavePoint 多种操作 | 0.6.0 |
| | | 新增 即席查询 | dev | | | | 新增 报警推送 | 0.6.0 |
| | | 新增 历史版本 | dev | | | | 新增 配置信息 | 0.6.0 |
| | | 新增 告警记录 | 0.6.0 | | | | 新增 集群信息 | 0.6.5 |
| | | 新增 一键上下线功能 | 0.6.6 | | | | 新增 作业快照 | 0.6.5 |
| 注册中心 | Flink 集群实例 | 新增 外部 Flink 集群实例注册 | 0.4.0 | | | | 新增 异常信息 | 0.6.0 |
| | | 新增 外部 Flink 集群实例心态检测与版本获取 | 0.4.0 | | | | 新增 作业日志 | dev |
| | | 新增 外部 Flink 集群手动一键回收 | 0.4.0 | | | | 新增 自动调优 | dev |
| | Flink 集群配置 | 新增 Flink On Yarn 集群配置注册及测试 | 0.4.0 | | | | 新增 FlinkSQL | 0.6.0 |
| | User Jar | 新增 外部 User Jar 注册 | 0.4.0 | | | | 新增 数据地图 | 0.6.0 |
| | 数据源 | 新增 Mysql 数据源注册及测试 | 0.4.0 | | | | 新增 即席查询 | dev |
| | | 新增 Oracle 数据源注册及测试 | 0.4.0 | | | | 新增 历史版本 | 0.6.6 |
| | | 新增 PostgreSql 数据源注册及测试 | 0.4.0 | | | | 新增 告警记录 | 0.6.0 |
| | | 新增 ClickHouse 数据源注册及测试 | 0.4.0 | | | | 新增 一键上下线功能 | 0.6.6 |
| | | 新增 Doris 数据源注册及测试 | 0.6.0 | | 注册中心 | Flink 集群实例 | 新增 外部 Flink 集群实例注册 | 0.4.0 |
| | | 新增 Phoenix 数据源注册及测试 | 0.6.0 | | | | 新增 外部 Flink 集群实例心态检测与版本获取 | 0.4.0 |
| | | 新增 SqlServer 数据源注册及测试 | 0.6.0 | | | | 新增 外部 Flink 集群手动一键回收 | 0.4.0 |
| | | 新增 Hive 数据源注册及测试 | 0.6.0 | | | Flink 集群配置 | 新增 Flink On Yarn/K8S 集群配置注册及测试 | 0.4.0 |
| | 报警实例管理 | 新增 钉钉报警 | 0.6.0 | | | User Jar | 新增 外部 User Jar 注册 | 0.4.0 |
| | | 新增 微信企业号报警 | 0.6.0 | | | 数据源 | 新增 Mysql 数据源注册及测试 | 0.4.0 |
| | | 新增 邮箱报警 | 0.6.1 | | | | 新增 Oracle 数据源注册及测试 | 0.4.0 |
| | | 新增 飞书报警 | 0.6.1 | | | | 新增 PostgreSql 数据源注册及测试 | 0.4.0 |
| | 报警组管理 | 新增 报警组管理 | 0.6.0 | | | | 新增 ClickHouse 数据源注册及测试 | 0.4.0 |
| 系统设置 | 用户管理 | 新增 用户基本管理 | 0.5.0 | | | | 新增 Doris 数据源注册及测试 | 0.6.0 |
| | | 新增 修改密码 | 0.6.0 | | | | 新增 Phoenix 数据源注册及测试 | 0.6.0 |
| | Flink 设置 | 新增 Application 的通用模板 Jar 配置 | 0.4.0 | | | | 新增 SqlServer 数据源注册及测试 | 0.6.0 |
| | | 新增 是否使用 RestAPI 配置 | 0.4.0 | | | | 新增 Hive 数据源注册及测试 | 0.6.0 |
| | | 新增 SQL 语句分隔符配置 | 0.4.0 | | | 报警实例管理 | 新增 钉钉报警 | 0.6.0 |
| OpenApi | 调度 | 新增 submitTask 调度接口 | 0.5.0 | | | | 新增 微信企业号报警 | 0.6.0 |
| | FlinkSQL | 新增 executeSql 提交接口 | 0.5.0 | | | | 新增 邮箱报警 | 0.6.1 |
| | | 新增 explainSql 验证接口 | 0.5.0 | | | | 新增 飞书报警 | 0.6.1 |
| | | 新增 getJobPlan 计划接口 | 0.5.0 | | | 报警组管理 | 新增 报警组管理 | 0.6.0 |
| | | 新增 getStreamGraph 计划接口 | 0.5.0 | | 系统设置 | 用户管理 | 新增 用户基本管理 | 0.5.0 |
| | | 新增 getJobData 数据接口 | 0.5.0 | | | | 新增 修改密码 | 0.6.0 |
| | Flink | 新增 executeJar 提交接口 | 0.5.0 | | | Flink 设置 | 新增 Application 的通用模板 Jar 配置 | 0.4.0 |
| | | 新增 cancel 停止接口 | 0.5.0 | | | | 新增 是否使用 RestAPI 配置 | 0.4.0 |
| | | 新增 savepoint 触发接口 | 0.5.0 | | | | 新增 SQL 语句分隔符配置 | 0.4.0 |
| | | 新增 savepointTask 触发接口 | 0.6.1 | | OpenApi | 调度 | 新增 submitTask 调度接口 | 0.5.0 |
| 关于 | 关于 Dlink | 版本更新记录 | 0.4.0 | | | FlinkSQL | 新增 executeSql 提交接口 | 0.5.0 |
| | | 新增 explainSql 验证接口 | 0.5.0 |
| | | 新增 getJobPlan 计划接口 | 0.5.0 |
| | | 新增 getStreamGraph 计划接口 | 0.5.0 |
| | | 新增 getJobData 数据接口 | 0.5.0 |
| | Flink | 新增 executeJar 提交接口 | 0.5.0 |
| | | 新增 cancel 停止接口 | 0.5.0 |
| | | 新增 savepoint 触发接口 | 0.5.0 |
| | | 新增 savepointTask 触发接口 | 0.6.1 |
| | | 新增 restartTask 重启接口 | 0.6.5 |
| | | 新增 selectSavePointRestartTask 重启接口 | 0.6.5 |
| | | 新增 onLineTask 上线接口 | 0.6.5 |
| | | 新增 offLineTask 下线接口 | 0.6.5 |
| | | 新增 reOnLineTask 重新上线接口 | 0.6.5 |
| | | 新增 selectSavePointReOnLineTask 重新上线接口 | 0.6.5 |
| | | 新增 getJobInstance 获取实例接口 | 0.6.5 |
| | | 新增 getJobInstanceByTaskId 获取实例接口 | 0.6.5 |
| 关于 | 关于 Dlink | 版本更新记录 | 0.4.0 |
docs/docs/intro.md
View file @ 8cc95731
...@@ -5,9 +5,9 @@ title: Dinky 简介 ...@@ -5,9 +5,9 @@ title: Dinky 简介
## 介绍 ## 介绍
实时即未来，Dlink 为 Apache Flink 而生，让 Flink SQL 纵享丝滑，并致力于实时计算平台建设。 实时即未来，Dinky 为 Apache Flink 而生，让 Flink SQL 纵享丝滑，并致力于实时计算平台建设。
Dinky 基于 Apache Flink 实现 Dlink ，增强 Flink 的应用与体验，探索流式数仓。即站在巨人肩膀上创新与实践，Dinky 在未来批流一体的发展趋势下潜力无限。 Dinky 基于 Apache Flink 进行扩展 ，增强 Flink 的应用与体验，探索流式数仓。即站在巨人肩膀上创新与实践，Dinky 在未来批流一体的发展趋势下潜力无限。
最后，Dinky 的发展皆归功于 Apache Flink 等其他优秀的开源项目的指导与成果。 最后，Dinky 的发展皆归功于 Apache Flink 等其他优秀的开源项目的指导与成果。
...@@ -26,17 +26,22 @@ Dinky（原 Dlink）： ...@@ -26,17 +26,22 @@ Dinky（原 Dlink）：
其主要目标如下： 其主要目标如下：
- 可视化交互式 FlinkSQL 和 SQL 的数据开发平台：自动提示补全、语法高亮、调试执行、语法校验、语句美化、全局变量等 - 沉浸式 FlinkSQL 和 SQL 的数据开发平台：
- 支持全面的多版本的 FlinkSQL 作业提交方式：Local、Standalone、Yarn Session、Yarn Per-Job、Yarn Application、Kubernetes Session、Kubernetes Application 自动提示补全、语法高亮、语句美化、语法校验、调试执行、执行计划、MetaStore、血缘分析、版本对比等
- 支持 Apache Flink 所有的 Connector、UDF、CDC等 - 支持多版本的 FlinkSQL 作业各种提交方式：
- 支持 FlinkSQL 语法增强：兼容 Apache Flink SQL、表值聚合函数、全局变量、CDC多源合并、执行环境、语句合并、共享会话等 Local、Standalone、Yarn/Kubernetes Session、Yarn Per-Job、Yarn/Kubernetes Application
- 支持易扩展的 SQL 作业提交方式：ClickHouse、Doris、Hive、Mysql、Oracle、Phoenix、PostgreSql、SqlServer 等 - 支持 Apache Flink 所有原生及扩展的 Connector、UDF、CDC 等
- 支持实时调试预览 Table 和 ChangeLog 数据及图形展示 - 支持 FlinkSQL 语法增强：
- 支持语法逻辑检查、作业执行计划、字段级血缘分析等 兼容 Apache Flink SQL、表值聚合函数、全局变量、执行环境、语句合并、整库同步、共享会话等
- 支持易扩展的 SQL 作业：
ClickHouse、Doris、Hive、Mysql、Oracle、Phoenix、PostgreSql、SqlServer 等
- 支持 FlinkCDC（Source 合并）整库实时入仓入湖
- 支持实时调试预览 Table 和 ChangeLog 数据及 Charts 图形展示
- 支持 Flink 元数据、数据源元数据查询及管理 - 支持 Flink 元数据、数据源元数据查询及管理
- 支持实时任务运维：作业上线下线、作业信息、集群信息、作业快照、异常信息、作业日志、数据地图、即席查询、历史版本、报警记录、一键上下线功能（发布后的作业）等 - 支持实时任务运维：
- 支持作为多版本 FlinkSQL Server 的能力以及 OpenApi 上线下线、作业信息、集群信息、作业快照、异常信息、数据地图、数据探查、历史版本、报警记录等
- 支持易扩展的实时作业报警及报警组：钉钉、微信企业号等 - 支持作为多版本 FlinkSQL Server 以及 OpenApi 的能力
- 支持完全托管的 SavePoint 启动机制：最近一次、最早一次、指定一次等 - 支持易扩展的实时作业报警及报警组：钉钉、微信企业号、飞书、邮箱等
- 支持完全托管的 SavePoint/CheckPoint 启动及触发机制：最近一次、最早一次、指定一次等
- 支持多种资源管理：集群实例、集群配置、Jar、数据源、报警组、报警实例、文档、用户、系统配置等 - 支持多种资源管理：集群实例、集群配置、Jar、数据源、报警组、报警实例、文档、用户、系统配置等
- 更多隐藏功能等待小伙伴们探索 - 更多隐藏功能期待小伙伴们探索
docs/src/components/HomepageFeatures/index.js
View file @ 8cc95731
...@@ -27,8 +27,8 @@ const FeatureList = [ ...@@ -27,8 +27,8 @@ const FeatureList = [
Svg: require('@site/static/img/immersive.svg').default, Svg: require('@site/static/img/immersive.svg').default,
description: ( description: (
<> <>
自动提示与补全、语法高亮、语句美化、语法校验、调试预览结果、元数据查询、全局变量、 自动提示与补全、高亮美化、语法校验、调试预览结果、元数据管理、全局变量、
字段级血缘分析等功能 字段级血缘分析等
</> </>
), ),
}, },
...@@ -46,7 +46,7 @@ const FeatureList = [ ...@@ -46,7 +46,7 @@ const FeatureList = [
Svg: require('@site/static/img/easy_of_deploy.svg').default, Svg: require('@site/static/img/easy_of_deploy.svg').default,
description: ( description: (
<> <>
增强 FlinkSQL 语法及机制，如表值聚合函数、全局变量、CDC多源合并和整库同步、执行环境、语句合并、共享会话等 增强 FlinkSQL 语法及机制，如表值聚合函数、全局变量、CDC整库同步、执行环境、语句合并、共享会话等
</> </>
), ),
}, },
...@@ -55,7 +55,7 @@ const FeatureList = [ ...@@ -55,7 +55,7 @@ const FeatureList = [
Svg: require('@site/static/img/one_stop.svg').default, Svg: require('@site/static/img/one_stop.svg').default,
description: ( description: (
<> <>
提供从 FlinkSQL 开发调试到作业上线下线的运维监控及 OLAP 的即席查询，使数仓建设及数据治理一体化。 提供从 FlinkSQL 开发调试到作业上线下线的运维监控及 OLAP 能力，使数仓建设及数据治理一体化。
</> </>
), ),
}, },
...@@ -73,7 +73,7 @@ const FeatureList = [ ...@@ -73,7 +73,7 @@ const FeatureList = [
Svg: require('@site/static/img/no_invasion.svg').default, Svg: require('@site/static/img/no_invasion.svg').default,
description: ( description: (
<> <>
Spring Boot 轻应用快速部署，不需要在任何 Flink 集群修改源码或添加插件，无感知连接和监控 Flink 集群 Spring Boot 轻应用快速部署，不依赖 Hadoop 等外部环境，无感知连接和监控 Flink 集群
</> </>
), ),
}, },
......
docs/versioned_docs/version-0.6/concept_architecture/concept.md
View file @ 8cc95731
...@@ -10,15 +10,15 @@ JobManager 作为 Dinky 的作业管理的统一入口，负责 Flink 的各种 ...@@ -10,15 +10,15 @@ JobManager 作为 Dinky 的作业管理的统一入口，负责 Flink 的各种
**Executor** **Executor**
Executor 是 Dinky 定制的 FlinkSQL 执行器，来模拟真实的 Flink 执行环境，负责 FlinkSQL 的 Catalog 管理、UDF管理、片段管理、配置管理、语句集管理、语法校验、逻辑验证、计划优化、生成 JobGraph、本地执行、远程提交、SELECT 及 SHOW 预览等核心功能。 Executor 是 Dinky 定制的 FlinkSQL 执行器，来模拟真实的 Flink 执行环境，负责 FlinkSQL 的 Catalog 管理、UDF管理、全局变量管理、配置管理、语句集管理、语法校验、生成 JobGraph、本地执行、远程提交、SELECT 及 SHOW 预览等核心功能。
**Interceptor** **Interceptor**
Interceptor 是 Dinky 的 Flink 执行拦截器，负责对其进行片段解析、UDF注册、SET 和 AGGTABLE 等增强语法解析。 Interceptor 是 Dinky 的 Flink 执行拦截器，负责对其进行变量解析、UDF注册、整库同步、SET 和 AGGTABLE 等增强语法解析。
**Gateway** **Gateway**
Gateway 并非是开源项目 flink-sql-gateway，而是 Dinky 自己定制的 Gateway，负责进行基于 Yarn 环境的任务提交与管理，主要有Yarn-Per-Job 和 Yarn-Application 的 FlinkSQL 提交、停止、SavePoint 以及配置测试，而 User Jar 目前只开放了 Yarn-Application 的提交。 Gateway 是 Dinky 自己定制的 Gateway，负责进行基于 Yarn 与 K8S 环境的任务提交与管理，主要有 Yarn Per-Job 和 Yarn/K8S Application 的 FlinkSQL 提交、停止、SavePoint 以及配置测试，而 User Jar 目前只开放了 Yarn-Application 的提交。
**Flink SDK** **Flink SDK**
...@@ -30,7 +30,7 @@ Dinky 通过调用 flink-yarn 模块进行二次开发。 ...@@ -30,7 +30,7 @@ Dinky 通过调用 flink-yarn 模块进行二次开发。
**Flink API** **Flink API**
Dinky 也支持通过调用 JobManager 的 RestAPI 对任务进行管理等操作，系统配置可以控制开启和停用。 Dinky 也支持通过调用 Flink JobManager 的 RestAPI 对任务进行管理等操作，系统配置可以控制开启和停用。
**Local** **Local**
......
docs/versioned_docs/version-0.6/feature.md
View file @ 8cc95731
...@@ -7,117 +7,131 @@ title: 功能 ...@@ -7,117 +7,131 @@ title: 功能
注意：以下功能均为对应版本已实现的功能，实测可用。 注意：以下功能均为对应版本已实现的功能，实测可用。
| 应用 | 方向 | 功能 | 进展 | | 应用 | 方向 | 功能 | 进展 |
| :------: | :------------: |-------------------------------------------|:-----:| | :------: |:----------:|--------------------------------------------------|:-----:|
| 开发中心 | FlinkSQL | 支持 sql-client 所有语法 | 0.4.0 | | 开发中心 | FlinkSQL | 支持 sql-client 语法 | 0.4.0 |
| | | 支持 Flink 所有 Configuration | 0.4.0 | | | | 支持 Flink 所有 Configuration | 0.4.0 |
| | | 支持 Flink 所有 Connector | 0.4.0 | | | | 支持 Flink 所有 Connector | 0.4.0 |
| | | 支持 Flink 批流两种模式 | 0.6.0 | | | | 支持 Flink 批流两种模式 | 0.6.0 |
| | | 支持 SELECT、SHOW、DESC 等查询实时预览 | 0.4.0 | | | | 支持 SELECT、SHOW、DESC 等查询实时预览 | 0.4.0 |
| | | 支持 INSERT 语句集 | 0.4.0 | | | | 支持 INSERT 语句集 | 0.4.0 |
| | | 新增 SQL 片段语法（全局变量） | 0.4.0 | | | | 新增 SQL 全局变量 | 0.4.0 |
| | | 新增 AGGTABLE 表值聚合语法及 UDATF 支持 | 0.4.0 | | | | 新增 AGGTABLE 表值聚合语法及 UDATF 支持 | 0.4.0 |
| | | 新增 CDCSOURCE 整库实时同步语法支持 | 0.6.2 | | | | 新增 CDCSOURCE 整库同步语法 | 0.6.0 |
| | | 新增 FlinkSQLEnv 执行环境复用 | 0.5.0 | | | | 新增 FlinkSQLEnv 执行环境 | 0.5.0 |
| | | 新增 Flink Catalog 交互查询 | 0.4.0 | | | | 新增 Flink Catalog 交互查询及持久化 | 0.4.0 |
| | | 新增 执行环境的共享与私有会话机制 | 0.4.0 | | | | 新增 执行环境的共享与私有会话 | 0.4.0 |
| | | 新增 多种方言的作业目录管理（FlinkSQL、SQL、Java） | 0.5.0 | | | | 新增 多种方言的作业目录管理（FlinkSQL、SQL） | 0.5.0 |
| | | 新增 作业配置与执行配置管理 | 0.4.0 | | | | 新增 作业配置与执行配置管理 | 0.4.0 |
| | | 新增 作业生命周期管理 | 0.6.0 | | | | 新增 作业生命周期管理 | 0.6.0 |
| | | 新增 基于 Explain 的语法校验与逻辑解析 | 0.4.0 | | | | 新增 FlinkSQL 作业版本对比 | 0.6.6 |
| | | 新增 JobPlan 图预览 | 0.5.0 | | | | 新增 基于 Explain 的语法校验与逻辑解析 | 0.4.0 |
| | | 新增 基于 StreamGraph 的字段级血缘分析 | 0.6.0 | | | | 新增 JobPlan 图预览 | 0.5.0 |
| | | 新增 基于上下文元数据自动提示与补全 | 0.4.0 | | | | 新增 基于 StreamGraph 的字段级血缘分析 | 0.6.0 |
| | | 新增 自定义规则的自动提示与补全 | 0.4.0 | | | | 新增 基于上下文元数据自动提示与补全 | 0.4.0 |
| | | 新增 关键字高亮与代码缩略图 | 0.4.0 | | | | 新增 自定义规则的自动提示与补全 | 0.4.0 |
| | | 新增 选中片段执行 | 0.4.0 | | | | 新增 关键字高亮与代码缩略图 | 0.4.0 |
| | | 新增 布局拖拽 | 0.4.0 | | | | 新增 选中片段执行 | 0.4.0 |
| | | 新增 SQL导出 | 0.5.0 | | | | 新增 布局拖拽 | 0.4.0 |
| | | 新增 快捷键保存、校验、美化 | 0.5.0 | | | | 新增 SQL导出 | 0.5.0 |
| | | 支持 local 模式下 FlinkSQL 提交 | 0.4.0 | | | | 新增 作业批量导出导入 | 0.6.6 |
| | | 支持 standalone 模式下 FlinkSQL 提交 | 0.4.0 | | | | 新增 作业复制 | 0.6.5 |
| | | 支持 yarn session 模式下 FlinkSQL 提交 | 0.4.0 | | | | 新增 快捷键保存、校验、美化 | 0.5.0 |
| | | 支持 yarn per-job 模式下 FlinkSQL 提交 | 0.4.0 | | | | 支持 local 模式下 FlinkSQL 提交 | 0.4.0 |
| | | 支持 yarn application 模式下 FlinkSQL 提交 | 0.4.0 | | | | 支持 standalone 模式下 FlinkSQL 提交 | 0.4.0 |
| | | 支持 kubernetes session 模式下 FlinkSQL 提交 | 0.5.0 | | | | 支持 yarn session 模式下 FlinkSQL 提交 | 0.4.0 |
| | | 支持 kubernetes application 模式下 FlinkSQL 提交 | 0.5.0 | | | | 支持 yarn per-job 模式下 FlinkSQL 提交 | 0.4.0 |
| | | 支持 UDF Java 方言Local模式在线编写、调试、动态加载 | 0.5.0 | | | | 支持 yarn application 模式下 FlinkSQL 提交 | 0.4.0 |
| | Flink 作业 | 支持 yarn application 模式下 Jar 提交 | 0.4.0 | | | | 支持 kubernetes session 模式下 FlinkSQL 提交 | 0.5.0 |
| | | 支持 k8s application 模式下 Jar 提交 | 0.5.0 | | | | 支持 kubernetes application 模式下 FlinkSQL 提交 | 0.5.0 |
| | | 支持 作业 Cancel | 0.4.0 | | | | 支持 UDF Java 方言Local模式在线编写、调试、动态加载 | 0.5.0 |
| | | 支持 作业 SavePoint 的 Cancel、Stop、Trigger | 0.4.0 | | | Flink 作业 | 支持 yarn application 模式下 Jar 提交 | 0.4.0 |
| | | 新增 作业自动从 SavePoint 恢复机制（包含最近、最早、指定一次） | 0.4.0 | | | | 支持 k8s application 模式下 Jar 提交 | 0.5.0 |
| | Flink 集群 | 支持 查看已注册集群的作业列表与运维 | 0.4.0 | | | | 支持 作业 Cancel | 0.4.0 |
| | | 新增 自动注册 Yarn 创建的集群 | 0.4.0 | | | | 支持 作业 SavePoint 的 Cancel、Stop、Trigger | 0.4.0 |
| | Flink 版本 | 支持 1.11.0+ | 0.4.0 | | | | 新增 作业自动从 SavePoint/CheckPoint 恢复机制（包含最近、最早、指定一次） | 0.4.0 |
| | | 支持 1.12.0+ | 0.4.0 | | | | 新增 作业手动从指定 SavePoint/CheckPoint 恢复 | 0.6.6 |
| | | 支持 1.13.0+ | 0.4.0 | | | Flink 集群 | 支持 查看已注册集群的作业列表与运维 | 0.4.0 |
| | | 支持 1.14.0+ | 0.4.0 | | | | 新增 自动注册 Yarn/K8S 创建的集群 | 0.4.0 |
| | | 支持 1.15.0+ | 0.6.3 | | | | 新增 FlinkWebUI 跳转 | 0.6.2 |
| | SQL | 新增 外部数据源的 SQL 校验 | 0.5.0 | | | Flink 版本 | 支持 1.11.0+ | 0.4.0 |
| | | 新增 外部数据源的 SQL 执行与预览 | 0.5.0 | | | | 支持 1.12.0+ | 0.4.0 |
| | | 新增 字段血缘分析 | 0.6.4 | | | | 支持 1.13.0+ | 0.4.0 |
| | BI | 新增 折线图的渲染 | 0.5.0 | | | | 支持 1.14.0+ | 0.4.0 |
| | | 新增 条形图图的渲染 | 0.5.0 | | | | 支持 1.14.0+ | 0.4.0 |
| | | 新增 饼图的渲染 | 0.5.0 | | | | 支持 1.15.0+ | 0.6.3 |
| | 元数据 | 新增 查询外部数据源的元数据信息 | 0.4.0 | | | SQL | 新增 外部数据源的 SQL 校验 | 0.5.0 |
| | | 新增 FlinkSQL 和 SQL 的自动生成 | 0.6.0 | | | | 新增 外部数据源的 SQL 执行与预览 | 0.5.0 |
| | | 新增 自动将连接信息注入片段机制 | 0.6.0 | | | | 新增 外部数据源的 SQL 字段血缘分析 | 0.6.4 |
| | 归档 | 新增 执行与提交历史 | 0.4.0 | | | BI | 新增 折线图的渲染 | 0.5.0 |
| 运维中心 | 主页 | 新增 任务实例列表 | 0.6.0 | | | | 新增 条形图图的渲染 | 0.5.0 |
| | 作业监控 | 新增 作业总览 | 0.6.0 | | | | 新增 饼图的渲染 | 0.5.0 |
| | | 新增 实时监控 Flink Job | 0.6.0 | | | 元数据 | 新增 查询外部数据源的元数据信息 | 0.4.0 |
| | | 新增 作业实例与历史切换 | 0.6.0 | | | | 新增 FlinkSQL 和 SQL 的自动生成 | 0.6.0 |
| | | 新增 自动告警 | 0.6.0 | | | | 新增 自动将连接信息注入片段机制 | 0.6.0 |
| | | 新增 FlinkWebUI 跳转 | 0.6.0 | | | 归档 | 新增 执行与提交历史 | 0.4.0 |
| | | 新增 智能重启（重新上线） | 0.6.0 | | | | 新增 发布版本管理与回滚 | 0.6.6 |
| | | 新增 智能停止（下线） | 0.6.0 | | 运维中心 | 主页 | 新增 任务实例列表 | 0.6.0 |
| | | 新增 SavePoint 多种操作 | 0.6.0 | | | 作业监控 | 新增 作业总览 | 0.6.0 |
| | | 新增 报警推送 | 0.6.0 | | | | 新增 实时监控 Flink Job | 0.6.0 |
| | | 新增 配置信息 | 0.6.0 | | | | 新增 作业实例与历史切换 | 0.6.0 |
| | | 新增 集群信息 | 0.6.5 | | | | 新增 自动告警 | 0.6.0 |
| | | 新增 作业快照 | 0.6.5 | | | | 新增 FlinkWebUI 跳转 | 0.6.0 |
| | | 新增 异常信息 | 0.6.0 | | | | 新增 智能重启（重新上线） | 0.6.0 |
| | | 新增 作业日志 | dev | | | | 新增 智能停止（下线） | 0.6.0 |
| | | 新增 自动调优 | dev | | | | 新增 SavePoint 多种操作 | 0.6.0 |
| | | 新增 FlinkSQL | 0.6.0 | | | | 新增 报警推送 | 0.6.0 |
| | | 新增 数据地图 | 0.6.0 | | | | 新增 配置信息 | 0.6.0 |
| | | 新增 即席查询 | dev | | | | 新增 集群信息 | 0.6.5 |
| | | 新增 历史版本 | dev | | | | 新增 作业快照 | 0.6.5 |
| | | 新增 告警记录 | 0.6.0 | | | | 新增 异常信息 | 0.6.0 |
| | | 新增 一键上下线功能 | 0.6.6 | | | | 新增 作业日志 | dev |
| 注册中心 | Flink 集群实例 | 新增 外部 Flink 集群实例注册 | 0.4.0 | | | | 新增 自动调优 | dev |
| | | 新增 外部 Flink 集群实例心态检测与版本获取 | 0.4.0 | | | | 新增 FlinkSQL | 0.6.0 |
| | | 新增 外部 Flink 集群手动一键回收 | 0.4.0 | | | | 新增 数据地图 | 0.6.0 |
| | | 新增 打开 FlinkWebUi | 0.6.5 | | | | 新增 即席查询 | dev |
| | Flink 集群配置 | 新增 Flink On Yarn 集群配置注册及测试 | 0.4.0 | | | | 新增 历史版本 | 0.6.6 |
| | User Jar | 新增 外部 User Jar 注册 | 0.4.0 | | | | 新增 告警记录 | 0.6.0 |
| | 数据源 | 新增 Mysql 数据源注册及测试 | 0.4.0 | | | | 新增 一键上下线功能 | 0.6.6 |
| | | 新增 Oracle 数据源注册及测试 | 0.4.0 | | 注册中心 | Flink 集群实例 | 新增 外部 Flink 集群实例注册 | 0.4.0 |
| | | 新增 PostgreSql 数据源注册及测试 | 0.4.0 | | | | 新增 外部 Flink 集群实例心态检测与版本获取 | 0.4.0 |
| | | 新增 ClickHouse 数据源注册及测试 | 0.4.0 | | | | 新增 外部 Flink 集群手动一键回收 | 0.4.0 |
| | | 新增 Doris 数据源注册及测试 | 0.6.0 | | | Flink 集群配置 | 新增 Flink On Yarn/K8S 集群配置注册及测试 | 0.4.0 |
| | | 新增 Phoenix 数据源注册及测试 | 0.6.0 | | | User Jar | 新增 外部 User Jar 注册 | 0.4.0 |
| | | 新增 SqlServer 数据源注册及测试 | 0.6.0 | | | 数据源 | 新增 Mysql 数据源注册及测试 | 0.4.0 |
| | | 新增 Hive 数据源注册及测试 | 0.6.0 | | | | 新增 Oracle 数据源注册及测试 | 0.4.0 |
| | 报警实例管理 | 新增 钉钉报警 | 0.6.0 | | | | 新增 PostgreSql 数据源注册及测试 | 0.4.0 |
| | | 新增 微信企业号报警 | 0.6.0 | | | | 新增 ClickHouse 数据源注册及测试 | 0.4.0 |
| | | 新增 邮箱报警 | 0.6.1 | | | | 新增 Doris 数据源注册及测试 | 0.6.0 |
| | | 新增 飞书报警 | 0.6.1 | | | | 新增 Phoenix 数据源注册及测试 | 0.6.0 |
| | 报警组管理 | 新增 报警组管理 | 0.6.0 | | | | 新增 SqlServer 数据源注册及测试 | 0.6.0 |
| 系统设置 | 用户管理 | 新增 用户基本管理 | 0.5.0 | | | | 新增 Hive 数据源注册及测试 | 0.6.0 |
| | | 新增 修改密码 | 0.6.0 | | | 报警实例管理 | 新增 钉钉报警 | 0.6.0 |
| | Flink 设置 | 新增 Application 的通用模板 Jar 配置 | 0.4.0 | | | | 新增 微信企业号报警 | 0.6.0 |
| | | 新增 是否使用 RestAPI 配置 | 0.4.0 | | | | 新增 邮箱报警 | 0.6.1 |
| | | 新增 SQL 语句分隔符配置 | 0.4.0 | | | | 新增 飞书报警 | 0.6.1 |
| OpenApi | 调度 | 新增 submitTask 调度接口 | 0.5.0 | | | 报警组管理 | 新增 报警组管理 | 0.6.0 |
| | FlinkSQL | 新增 executeSql 提交接口 | 0.5.0 | | 系统设置 | 用户管理 | 新增 用户基本管理 | 0.5.0 |
| | | 新增 explainSql 验证接口 | 0.5.0 | | | | 新增 修改密码 | 0.6.0 |
| | | 新增 getJobPlan 计划接口 | 0.5.0 | | | Flink 设置 | 新增 Application 的通用模板 Jar 配置 | 0.4.0 |
| | | 新增 getStreamGraph 计划接口 | 0.5.0 | | | | 新增 是否使用 RestAPI 配置 | 0.4.0 |
| | | 新增 getJobData 数据接口 | 0.5.0 | | | | 新增 SQL 语句分隔符配置 | 0.4.0 |
| | Flink | 新增 executeJar 提交接口 | 0.5.0 | | OpenApi | 调度 | 新增 submitTask 调度接口 | 0.5.0 |
| | | 新增 cancel 停止接口 | 0.5.0 | | | FlinkSQL | 新增 executeSql 提交接口 | 0.5.0 |
| | | 新增 savepoint 触发接口 | 0.5.0 | | | | 新增 explainSql 验证接口 | 0.5.0 |
| | | 新增 savepointTask 触发接口 | 0.6.1 | | | | 新增 getJobPlan 计划接口 | 0.5.0 |
| 关于 | 关于 Dlink | 版本更新记录 | 0.4.0 | | | | 新增 getStreamGraph 计划接口 | 0.5.0 |
| | | 新增 getJobData 数据接口 | 0.5.0 |
| | Flink | 新增 executeJar 提交接口 | 0.5.0 |
| | | 新增 cancel 停止接口 | 0.5.0 |
| | | 新增 savepoint 触发接口 | 0.5.0 |
| | | 新增 savepointTask 触发接口 | 0.6.1 |
| | | 新增 restartTask 重启接口 | 0.6.5 |
| | | 新增 selectSavePointRestartTask 重启接口 | 0.6.5 |
| | | 新增 onLineTask 上线接口 | 0.6.5 |
| | | 新增 offLineTask 下线接口 | 0.6.5 |
| | | 新增 reOnLineTask 重新上线接口 | 0.6.5 |
| | | 新增 selectSavePointReOnLineTask 重新上线接口 | 0.6.5 |
| | | 新增 getJobInstance 获取实例接口 | 0.6.5 |
| | | 新增 getJobInstanceByTaskId 获取实例接口 | 0.6.5 |
| 关于 | 关于 Dlink | 版本更新记录 | 0.4.0 |
docs/versioned_docs/version-0.6/intro.md
View file @ 8cc95731
...@@ -5,9 +5,9 @@ title: Dinky 简介 ...@@ -5,9 +5,9 @@ title: Dinky 简介
## 介绍 ## 介绍
实时即未来，Dlink 为 Apache Flink 而生，让 Flink SQL 纵享丝滑，并致力于实时计算平台建设。 实时即未来，Dinky 为 Apache Flink 而生，让 Flink SQL 纵享丝滑，并致力于实时计算平台建设。
Dinky 基于 Apache Flink 实现 Dlink ，增强 Flink 的应用与体验，探索流式数仓。即站在巨人肩膀上创新与实践，Dinky 在未来批流一体的发展趋势下潜力无限。 Dinky 基于 Apache Flink 进行扩展 ，增强 Flink 的应用与体验，探索流式数仓。即站在巨人肩膀上创新与实践，Dinky 在未来批流一体的发展趋势下潜力无限。
最后，Dinky 的发展皆归功于 Apache Flink 等其他优秀的开源项目的指导与成果。 最后，Dinky 的发展皆归功于 Apache Flink 等其他优秀的开源项目的指导与成果。
...@@ -26,17 +26,22 @@ Dinky（原 Dlink）： ...@@ -26,17 +26,22 @@ Dinky（原 Dlink）：
其主要目标如下： 其主要目标如下：
- 可视化交互式 FlinkSQL 和 SQL 的数据开发平台：自动提示补全、语法高亮、调试执行、语法校验、语句美化、全局变量等 - 沉浸式 FlinkSQL 和 SQL 的数据开发平台：
- 支持全面的多版本的 FlinkSQL 作业提交方式：Local、Standalone、Yarn Session、Yarn Per-Job、Yarn Application、Kubernetes Session、Kubernetes Application 自动提示补全、语法高亮、语句美化、语法校验、调试执行、执行计划、MetaStore、血缘分析、版本对比等
- 支持 Apache Flink 所有的 Connector、UDF、CDC等 - 支持多版本的 FlinkSQL 作业各种提交方式：
- 支持 FlinkSQL 语法增强：兼容 Apache Flink SQL、表值聚合函数、全局变量、CDC多源合并、执行环境、语句合并、共享会话等 Local、Standalone、Yarn/Kubernetes Session、Yarn Per-Job、Yarn/Kubernetes Application
- 支持易扩展的 SQL 作业提交方式：ClickHouse、Doris、Hive、Mysql、Oracle、Phoenix、PostgreSql、SqlServer 等 - 支持 Apache Flink 所有原生及扩展的 Connector、UDF、CDC 等
- 支持实时调试预览 Table 和 ChangeLog 数据及图形展示 - 支持 FlinkSQL 语法增强：
- 支持语法逻辑检查、作业执行计划、字段级血缘分析等 兼容 Apache Flink SQL、表值聚合函数、全局变量、执行环境、语句合并、整库同步、共享会话等
- 支持易扩展的 SQL 作业：
ClickHouse、Doris、Hive、Mysql、Oracle、Phoenix、PostgreSql、SqlServer 等
- 支持 FlinkCDC（Source 合并）整库实时入仓入湖
- 支持实时调试预览 Table 和 ChangeLog 数据及 Charts 图形展示
- 支持 Flink 元数据、数据源元数据查询及管理 - 支持 Flink 元数据、数据源元数据查询及管理
- 支持实时任务运维：作业上线下线、作业信息、集群信息、作业快照、异常信息、作业日志、数据地图、即席查询、历史版本、报警记录、一键上下线功能等 - 支持实时任务运维：
- 支持作为多版本 FlinkSQL Server 的能力以及 OpenApi 上线下线、作业信息、集群信息、作业快照、异常信息、数据地图、数据探查、历史版本、报警记录等
- 支持易扩展的实时作业报警及报警组：钉钉、微信企业号等 - 支持作为多版本 FlinkSQL Server 以及 OpenApi 的能力
- 支持完全托管的 SavePoint 启动机制：最近一次、最早一次、指定一次等 - 支持易扩展的实时作业报警及报警组：钉钉、微信企业号、飞书、邮箱等
- 支持完全托管的 SavePoint/CheckPoint 启动及触发机制：最近一次、最早一次、指定一次等
- 支持多种资源管理：集群实例、集群配置、Jar、数据源、报警组、报警实例、文档、用户、系统配置等 - 支持多种资源管理：集群实例、集群配置、Jar、数据源、报警组、报警实例、文档、用户、系统配置等
- 更多隐藏功能等待小伙伴们探索 - 更多隐藏功能期待小伙伴们探索
Markdown is supported
0% or
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment