diff --git a/docs/enterprise/images/add_icon.png b/docs/enterprise/images/add_icon.png new file mode 100644 index 00000000..a0f4ec70 Binary files /dev/null and b/docs/enterprise/images/add_icon.png differ diff --git a/docs/enterprise/images/create_cache_task.gif b/docs/enterprise/images/create_cache_task.gif new file mode 100644 index 00000000..4a258b0c Binary files /dev/null and b/docs/enterprise/images/create_cache_task.gif differ diff --git a/docs/enterprise/images/create_etl_task.gif b/docs/enterprise/images/create_etl_task.gif new file mode 100644 index 00000000..7569642c Binary files /dev/null and b/docs/enterprise/images/create_etl_task.gif differ diff --git a/docs/enterprise/images/daas_dashboard.png b/docs/enterprise/images/daas_dashboard.png new file mode 100644 index 00000000..0f94a2ca Binary files /dev/null and b/docs/enterprise/images/daas_dashboard.png differ diff --git a/docs/enterprise/images/data_source_detail.png b/docs/enterprise/images/data_source_detail.png new file mode 100644 index 00000000..7bbe087c Binary files /dev/null and b/docs/enterprise/images/data_source_detail.png differ diff --git a/docs/enterprise/images/detail_icon.png b/docs/enterprise/images/detail_icon.png new file mode 100644 index 00000000..7cb90d6c Binary files /dev/null and b/docs/enterprise/images/detail_icon.png differ diff --git a/docs/enterprise/images/edit_etl_task.png b/docs/enterprise/images/edit_etl_task.png new file mode 100644 index 00000000..2e5069be Binary files /dev/null and b/docs/enterprise/images/edit_etl_task.png differ diff --git a/docs/enterprise/images/enable_daas_mode.png b/docs/enterprise/images/enable_daas_mode.png new file mode 100644 index 00000000..aea0af49 Binary files /dev/null and b/docs/enterprise/images/enable_daas_mode.png differ diff --git a/docs/enterprise/images/etl_dashboard.png b/docs/enterprise/images/etl_dashboard.png new file mode 100644 index 00000000..a976141e Binary files /dev/null and b/docs/enterprise/images/etl_dashboard.png differ diff --git a/docs/enterprise/images/ldp_architecture.png b/docs/enterprise/images/ldp_architecture.png new file mode 100644 index 00000000..92ab3f40 Binary files /dev/null and b/docs/enterprise/images/ldp_architecture.png differ diff --git a/docs/enterprise/images/search_icon.png b/docs/enterprise/images/search_icon.png new file mode 100644 index 00000000..be0aa150 Binary files /dev/null and b/docs/enterprise/images/search_icon.png differ diff --git a/docs/enterprise/images/search_table.png b/docs/enterprise/images/search_table.png new file mode 100644 index 00000000..c141462e Binary files /dev/null and b/docs/enterprise/images/search_table.png differ diff --git a/docs/enterprise/images/setting_icon.png b/docs/enterprise/images/setting_icon.png new file mode 100644 index 00000000..28a039ba Binary files /dev/null and b/docs/enterprise/images/setting_icon.png differ diff --git a/docs/enterprise/images/switch_icon.png b/docs/enterprise/images/switch_icon.png new file mode 100644 index 00000000..d69fed39 Binary files /dev/null and b/docs/enterprise/images/switch_icon.png differ diff --git a/docs/enterprise/images/table_detail.png b/docs/enterprise/images/table_detail.png new file mode 100644 index 00000000..6321cb13 Binary files /dev/null and b/docs/enterprise/images/table_detail.png differ diff --git a/docs/enterprise/images/view_curated_task.png b/docs/enterprise/images/view_curated_task.png new file mode 100644 index 00000000..eca41d9d Binary files /dev/null and b/docs/enterprise/images/view_curated_task.png differ diff --git a/docs/enterprise/images/view_daas_dashboard.png b/docs/enterprise/images/view_daas_dashboard.png new file mode 100644 index 00000000..30ee300b Binary files /dev/null and b/docs/enterprise/images/view_daas_dashboard.png differ diff --git a/docs/enterprise/images/view_etl_dashboard.png b/docs/enterprise/images/view_etl_dashboard.png new file mode 100644 index 00000000..94167429 Binary files /dev/null and b/docs/enterprise/images/view_etl_dashboard.png differ diff --git a/docs/enterprise/user-guide/connect-database/README.md b/docs/enterprise/user-guide/connect-database/README.md index 29f781b5..c4145894 100644 --- a/docs/enterprise/user-guide/connect-database/README.md +++ b/docs/enterprise/user-guide/connect-database/README.md @@ -1,8 +1,8 @@ -# 连接数据库 +# 连接数据源 -在创建数据同步任务前,您还需要在 Tapdata 中为数据库建立连接。 +在创建数据同步任务前,您还需要在 Tapdata 中为数据源建立连接。 -请根据数据库类型选择查阅下述文档: +请根据数据源类型选择查阅下述文档: import DocCardList from '@theme/DocCardList'; diff --git a/docs/enterprise/user-guide/data-console/README.md b/docs/enterprise/user-guide/data-console/README.md new file mode 100644 index 00000000..7ff65ae3 --- /dev/null +++ b/docs/enterprise/user-guide/data-console/README.md @@ -0,0 +1,11 @@ +# 数据面板 + +数据面板功能支持两种模式,可满足不同的数据治理需求。 + +[数据集成平台模式](etl-mode)(默认):适用于数据复制/同步、数据上云或构建 ETL 管道,您只需要简单地拖动源表至目标即可自动完成数据复制任务的创建。 + +[数据服务平台模式](daas-mode)(Beta):基于数据分层治理的理念,采用该模式可将分散在不同业务系统的数据同步至统一的平台缓存层,最大限度地降低数据提取对业务的影响,可为后续的数据加工和业务提供基础数据,从而构建一致、实时的数据平台,连通数据孤岛。 + +import DocCardList from '@theme/DocCardList'; + + \ No newline at end of file diff --git a/docs/enterprise/user-guide/data-console/daas-mode/README.md b/docs/enterprise/user-guide/data-console/daas-mode/README.md new file mode 100644 index 00000000..eaf310a9 --- /dev/null +++ b/docs/enterprise/user-guide/data-console/daas-mode/README.md @@ -0,0 +1,7 @@ +# 数据服务平台模式(Beta) + + + +import DocCardList from '@theme/DocCardList'; + + \ No newline at end of file diff --git a/docs/enterprise/user-guide/data-console/daas-mode/create-daas-task.md b/docs/enterprise/user-guide/data-console/daas-mode/create-daas-task.md new file mode 100644 index 00000000..f3e205db --- /dev/null +++ b/docs/enterprise/user-guide/data-console/daas-mode/create-daas-task.md @@ -0,0 +1,75 @@ +# 一键自动流转数据 + +在数据服务平台模式下,您只需要简单地拖动源表至所需层级,即可一键生成数据管道并自动启动任务,极大简化任务配置流程,本文介绍如何实现数据在不同层级间的流转,并最终为提供给终端业务。 + +## 操作步骤 + +1. 登录 Tapdata 平台。 + +2. 在左侧导航栏,单击**数据面板**。 + +3. 在本页面,您可以直观地看到您已录入的数据源信息,Tapdata 基于数据治理和流转顺序,展示了四个层级。 + + ![数据服务平台页面](../../../images/view_daas_dashboard.png) + + :::tip + + 关于各层级的详细说明,见[数据服务平台分层介绍](enable-daas-mode.md)。 + + ::: + +4. 跟随下述流程,一键完成数据流转。 + + :::tip + 通过平台加工层,您可以对表进行表结构调整(如增加字段)、合并表、构建宽表等操作,如果缓存层的表已经满足您的业务需求,则无需使用平台加工层,您可以直接发布 API 或将缓存层的表拖动至**数据目标和服务层**。 + ::: + +import Tabs from '@theme/Tabs'; +import TabItem from '@theme/TabItem'; + + + +
    +
  1. 源数据层,单击图标,找到您需要同步的表,将其拖动至平台缓存层
  2. +

    +
  3. 在弹出的对话框中,填写表前缀并单击确定,本案例中,我们要同步的表为 customer,此处填写前缀为 MySQL,那么在平台缓存层中,该表名为 FDM_MySQL_customer
  4. + +

    完成操作后,Tapdata 将自动创建一个数据复制任务,将您选择表(含全量数据)实时同步至平台缓存层并自动校验,您可以单击平台缓存中表名右侧的图标,跳转至任务监控页面来查看任务运行详情。

    +
+
+ +
    +
  1. 平台缓存层,单击图标,找到您需要加工的表,将其拖动至平台加工层
  2. +

    +
  3. 在弹出的对话框中,填写表名称并选择是否启动任务。 +

    +
      +
    • 仅保存:仅保存任务链路,页面将提示保存成功,单击提示信息即可跳转到任务配置页面,您可以添加处理节点,实现表结构调整(如增加字段)、合并表、构建宽表等需求,完成设置后单击页面右上角的启动。 +
    • +
    • 保存并运行:无需执行额外的操作,由 Tapdata 自动创建一个数据开发任务并运行,将该表实时同步至平台加工层。 +
    • +
  4. +

    +
  5. 平台加工层,找到目标表,单击其右侧的图标,可查看该表关联的任务和表的基本信息,包含列信息、样本数据、Scheme 等信息。
  6. + +
+
+ +
    +
  1. 平台缓存层平台缓存层中,找到要同步的表,将其拖动至数据目标和服务层中的目标数据源中。
  2. + +

    +
  3. 在弹出的对话框中,填写具有业务意义的任务名称,然后选择是否启动任务。 +

    +
      +
    • 仅保存:仅保存任务链路,此时,您可以单击目标库卡片中的任务名称,在跳转到的任务配置页面添加处理节点,实现更多复杂处理(如数据过滤、增删字段等),完成设置后单击页面右上角的启动。 +
    • +
    • 保存并运行:无需执行额外的操作,由 Tapdata 自动创建一个数据开发任务并运行,将该表实时同步至平台加工层。 +
    • +
    +
  4. +

    +

    完成设置后,Tapdata 将自动创建一个数据开发任务,将您的源表实时同步到选定的目标库中,提供给最终业务。您还可以单击目标库卡片中的任务名称,进入任务监控页面查看详细的运行状态,更多介绍,见监控任务

    +
+
+
\ No newline at end of file diff --git a/docs/enterprise/user-guide/data-console/daas-mode/daas-mode-dashboard.md b/docs/enterprise/user-guide/data-console/daas-mode/daas-mode-dashboard.md new file mode 100644 index 00000000..30ce41cc --- /dev/null +++ b/docs/enterprise/user-guide/data-console/daas-mode/daas-mode-dashboard.md @@ -0,0 +1,43 @@ +# 数据服务平台界面介绍 + +开启数据服务平台模式后,页面将基于我们前面[介绍的层级](enable-daas-mode.md)进行分类展示,您只需要简单地拖动表至下一层级,即可自动完成数据复制任务的创建,轻松完成数据的流转。本文介绍如何使用数据服务平台模式的界面,帮助您快速了解各功能模块。 + +## 操作步骤 + +1. 登录 Tapdata 平台。 + +2. 在左侧导航栏,单击**数据面板**。 + +3. 在本页面,您可以直观地看到您已录入的数据源信息,接下来,我们将介绍各模块的具体作用。 + + ![数据集成模式界面](../../../images/daas_dashboard.png) + + +import Tabs from '@theme/Tabs'; +import TabItem from '@theme/TabItem'; + + + +

单击图标,以目录结构的形式展现数据源信息(再次单击可切换回数据服务平台视图),选中具体的表,可查看该表的基本信息和关联的任务信息,包含表大小、行数、列信息、样本数据、Scheme(如主键/外键) 等。

+ +

+
+ +

单击图标,在弹出的对话框,我们可以添加数据源,选中某个数据源后将跳转至连接配置页面,具体配置方法,见连接数据源

+
+ +

单击图标,输入表名的关键词,可帮助您快速定位到具体的表,该操作也支持在其他层级中使用。

+ +
+ +

在数据连接的右侧,单击图标,页面右侧将展示该数据源的连接信息和关联的任务。

+ +
+ +

在表名的右侧,单击图标,页面右侧将展示该表关联的任务和表的基本信息,包含表大小、行数、列信息、样本数据、Scheme(如主键/外键) 等,该操作在其他层级的模块中也可使用。

+ +
+ +

单击图标,在弹出的对话框中,可选择切换回数据集成模式

+
+
\ No newline at end of file diff --git a/docs/enterprise/user-guide/data-console/daas-mode/enable-daas-mode.md b/docs/enterprise/user-guide/data-console/daas-mode/enable-daas-mode.md new file mode 100644 index 00000000..12cab572 --- /dev/null +++ b/docs/enterprise/user-guide/data-console/daas-mode/enable-daas-mode.md @@ -0,0 +1,59 @@ +# 开启数据服务平台模式 + +随着数字化转型的持续深入,数据孤岛问题已逐渐成为主要的阻碍,同时业务对数据需求日益增多,传统的数据交付因其周期长、资源投入大而成为交付瓶颈,如何快速打通数据流转通道,发掘数据价值,已成为企业竞争力的关键因素。 + +借助 Tapdata 的数据服务平台模式,您可以将分散在不同业务系统的数据同步至统一的平台缓存层,可为后续的数据加工和业务提供基础数据,从而构建一致、实时的数据平台,连通数据孤岛。 + + + +## 数据服务平台分层介绍 + +随着源库承载的任务增多,为最大限度地降低数据提取对源库的影响,同时契合组织对数据分层治理的理念,Tapdata 根据数据流转顺序,将数据服务平台分层如下: + +![数据服务平台架构](../../../images/ldp_architecture.png) + +| 分层 | 说明 | +| -------------------- | ------------------------------------------------------------ | +| **源数据层** | Tapdata 将来自不同业务系统的数据源,抽象为统一的数据源层,建立打通数据孤岛的第一步,更多介绍,见[连接数据源](../../connect-database/README.md)。 | +| **平台缓存层** | 可将源库的表数据提前同步至统一的平台缓存层,避免在后续执行复杂数据加工时直接读取/操作源库的数据,例如调整表字段、计算字段、合并表等操作,同时配合[共享挖掘](../../data-pipeline/share-mining.md),可极大降低对源库所属业务的影响。 | +| **平台加工层** | 基于平台缓存层的数据,执行定制化的加工运算生成最终业务要用的模型数据。 | +| **数据目标和服务层** | Tapdata 将支持作为目标的数据源集中展示在数据目标和服务层,您可以将加工后的数据提供给业务使用,从而为企业构建统一的数据服务平台。 | + + + +## 准备工作 + +1. 准备一个 MongoDB 数据库(4.0 及以上),将其作为平台缓存层/平台加工层的存储引擎,相关部署介绍,见 [MongoDB 官网](https://www.mongodb.com/docs/manual/administration/install-on-linux/)。 + + :::tip + + 为保障业务高可用性,推荐 MongoDB 采用副本集/分配集群架构,同时需基于源数据层的数据规模预留足够的存储空间。 + + ::: + +2. [连接 MongoDB 数据库](../../connect-database/certified/connect-mongodb.md)。 + +## 操作步骤 + +Tapdata 默认处于数据集成模式,接下来,我们将介绍如何开启数据服务平台模式。 + +1. 登录 Tapdata 平台。 + +2. 在左侧导航栏,单击**数据面板**。 + +3. 在页面右侧,单击![setting_icon](../../../images/setting_icon.png)图标。 + +4. 选择数据服务平台模式,然后设置平台缓存层/平台加工层所用的存储引擎,即我们在准备工作中设置的 MongoDB 数据源。 + + ![开启数据服务平台模式](../../../images/enable_daas_mode.png) + + :::tip + + 存储引擎一旦选定保存,后续无法修改,请谨慎操作。 + + ::: + +5. 单击**保存**。 + + + diff --git a/docs/enterprise/user-guide/data-console/etl-mode/README.md b/docs/enterprise/user-guide/data-console/etl-mode/README.md new file mode 100644 index 00000000..559bfdbf --- /dev/null +++ b/docs/enterprise/user-guide/data-console/etl-mode/README.md @@ -0,0 +1,5 @@ +# 数据集成模式 + +import DocCardList from '@theme/DocCardList'; + + \ No newline at end of file diff --git a/docs/enterprise/user-guide/data-console/etl-mode/create-etl-task.md b/docs/enterprise/user-guide/data-console/etl-mode/create-etl-task.md new file mode 100644 index 00000000..38380067 --- /dev/null +++ b/docs/enterprise/user-guide/data-console/etl-mode/create-etl-task.md @@ -0,0 +1,33 @@ +# 一键生成数据管道 + +在数据集成模式下,您只需要简单地拖动源表至目标库,即可一键生成数据管道,极大简化任务配置流程,实现源目数据的实时同步。本文介绍如何生成数据管道。 + +## 操作步骤 + +1. 登录 Tapdata 平台。 + +2. 在左侧导航栏,单击**数据面板**。 + +3. 在本页面,您可以直观地看到您已录入的数据源信息,Tapdata 将其以源和目标的形式分为左右两列。 + + ![数据集成模式页面](../../../images/view_etl_dashboard.png) + +4. (可选)单击🔍图标,找到您需要同步的源表,将其拖动至右侧目标数据源。 + +5. 在弹出的对话框中,填写具有业务意义的任务名称并单击确定。 + + Tapdata 将自动创建一个数据管道,将您的源表实时同步到选定的目标库中,在本案例中,会将 **company** 表 从MySQL 实时同步至 MongoDB 中。 + + ![创建任务](../../../images/create_etl_task.gif) + + - **仅保存**:仅保存任务链路,此时,您可以单击目标库卡片中的任务名称,对该任务链路进行个性化定制,例如在跳转的任务配置页面[添加处理节点](../../data-pipeline/data-development/process-node),实现表结构调整(如增加字段)、合并表、构建宽表等需求,完成设置后单击页面右上角的**启动**。 + + - **保存并运行**:无需执行额外的操作,由 Tapdata Cloud 自动创建一个数据开发任务并运行,将您的源表实时同步到选定的目标库中。在本案例中,Tapdata Cloud 会将源 MySQL 中的 **customer** 表实时同步到 MongoDB 中。 + + 您也可以单击目标库卡片中的任务名称,进入任务监控页面查看详细的运行状态,更多介绍,见[监控任务](../../data-pipeline/data-development/monitor-task.md)。 + + + + + + diff --git a/docs/enterprise/user-guide/data-console/etl-mode/etl-mode-dashboard.md b/docs/enterprise/user-guide/data-console/etl-mode/etl-mode-dashboard.md new file mode 100644 index 00000000..56b71034 --- /dev/null +++ b/docs/enterprise/user-guide/data-console/etl-mode/etl-mode-dashboard.md @@ -0,0 +1,50 @@ +# 数据集成界面介绍 + +数据面板功能默认为数据集成模式,该模式适用于数据复制/同步、数据上云或构建 ETL 管道,您只需要简单地拖动源表至目标即可自动完成数据复制任务的创建,可帮助您简化任务配置流程。本文介绍如何使用数据集成模式的界面,帮助您快速了解各功能模块。 + +:::tip + +随着源库承载的任务增多,为最大限度地降低数据提取对源库的影响,同时契合您组织的数据分层治理的理念,您也可以[开启数据服务平台模式(Beta)](../daas-mode/enable-daas-mode.md),将数据实时同步至平台缓存层。 + +::: + +## 操作步骤 + +1. 登录 Tapdata 平台。 + +2. 在左侧导航栏,单击**数据面板**。 + +3. 在本页面,您可以直观地看到您已录入的数据源信息,接下来,我们将介绍各模块的具体作用。 + + ![数据集成模式界面](../../../images/etl_dashboard.png) + + + +import Tabs from '@theme/Tabs'; +import TabItem from '@theme/TabItem'; + + + +

单击图标,以目录结构的形式展现数据源信息(再次单击可切换回 Console 视图),选中具体的表,也可以查看该表关联的任务和表的基本信息,包含表大小、行数、列信息、样本数据、Scheme(如主键/外键) 等。

+ +

+
+ +

单击图标,在弹出的对话框,我们可以添加数据源,选中某个数据源后将跳转至连接配置页面,具体配置方法,见连接数据源

+
+ +

单击图标,输入表名的关键词,可帮助您快速定位到具体的表,该操作在其他层级的模块中也可使用。

+ +
+ +

在数据连接的右侧,单击图标,页面右侧将展示该数据源的连接信息和关联的任务。

+ +
+ +

在表名的右侧,单击图标,页面右侧将展示该表关联的任务和表的基本信息,包含表大小、行数、列信息、样本数据、Scheme(如主键/外键) 等。

+ +
+ +

单击图标,在弹出的对话框中,可选择开启数据服务平台模式(Beta),将数据实时同步至平台缓存层。

+
+
\ No newline at end of file diff --git a/sidebars.js b/sidebars.js index 8ca60008..752b629b 100644 --- a/sidebars.js +++ b/sidebars.js @@ -411,6 +411,32 @@ const sidebars = { }, ] }, + { + type: 'category', + label: '数据面板', + link: {type: 'doc', id: 'enterprise/user-guide/data-console/README'}, + items:[ + { + type: 'category', + label: '数据集成模式', + link: {type: 'doc', id: 'enterprise/user-guide/data-console/etl-mode/README'}, + items:[ + 'enterprise/user-guide/data-console/etl-mode/etl-mode-dashboard', + 'enterprise/user-guide/data-console/etl-mode/create-etl-task', + ] + }, + { + type: 'category', + label: '数据服务平台模式', + link: {type: 'doc', id: 'enterprise/user-guide/data-console/daas-mode/README'}, + items:[ + 'enterprise/user-guide/data-console/daas-mode/enable-daas-mode', + 'enterprise/user-guide/data-console/daas-mode/daas-mode-dashboard', + 'enterprise/user-guide/data-console/daas-mode/create-daas-task', + ] + }, + ] + }, { type: 'category', label: '数据管道', diff --git a/static/img/add_icon.png b/static/img/add_icon.png new file mode 100644 index 00000000..a0f4ec70 Binary files /dev/null and b/static/img/add_icon.png differ diff --git a/static/img/analyze_customer.gif b/static/img/analyze_customer.gif new file mode 100644 index 00000000..8a86267c Binary files /dev/null and b/static/img/analyze_customer.gif differ diff --git a/static/img/cache_table_detail.png b/static/img/cache_table_detail.png new file mode 100644 index 00000000..b2d554b2 Binary files /dev/null and b/static/img/cache_table_detail.png differ diff --git a/static/img/create_cache_task.gif b/static/img/create_cache_task.gif new file mode 100644 index 00000000..4a258b0c Binary files /dev/null and b/static/img/create_cache_task.gif differ diff --git a/static/img/data_category_view.png b/static/img/data_category_view.png new file mode 100644 index 00000000..6c66413a Binary files /dev/null and b/static/img/data_category_view.png differ diff --git a/static/img/data_source_detail.png b/static/img/data_source_detail.png new file mode 100644 index 00000000..7bbe087c Binary files /dev/null and b/static/img/data_source_detail.png differ diff --git a/static/img/detail_icon.png b/static/img/detail_icon.png new file mode 100644 index 00000000..7cb90d6c Binary files /dev/null and b/static/img/detail_icon.png differ diff --git a/static/img/search_icon.png b/static/img/search_icon.png new file mode 100644 index 00000000..be0aa150 Binary files /dev/null and b/static/img/search_icon.png differ diff --git a/static/img/search_table.png b/static/img/search_table.png new file mode 100644 index 00000000..c141462e Binary files /dev/null and b/static/img/search_table.png differ diff --git a/static/img/setting_icon.png b/static/img/setting_icon.png new file mode 100644 index 00000000..28a039ba Binary files /dev/null and b/static/img/setting_icon.png differ diff --git a/static/img/switch_icon.png b/static/img/switch_icon.png new file mode 100644 index 00000000..d69fed39 Binary files /dev/null and b/static/img/switch_icon.png differ diff --git a/static/img/table_detail.png b/static/img/table_detail.png new file mode 100644 index 00000000..6321cb13 Binary files /dev/null and b/static/img/table_detail.png differ diff --git a/static/img/view_curated_task.png b/static/img/view_curated_task.png new file mode 100644 index 00000000..eca41d9d Binary files /dev/null and b/static/img/view_curated_task.png differ