Skip to content
Open
Show file tree
Hide file tree
Changes from all commits
Commits
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
Binary file added docs/enterprise/images/add_icon.png
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
Binary file added docs/enterprise/images/create_cache_task.gif
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
Binary file added docs/enterprise/images/create_etl_task.gif
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
Binary file added docs/enterprise/images/daas_dashboard.png
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
Binary file added docs/enterprise/images/data_source_detail.png
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
Binary file added docs/enterprise/images/detail_icon.png
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
Binary file added docs/enterprise/images/edit_etl_task.png
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
Binary file added docs/enterprise/images/enable_daas_mode.png
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
Binary file added docs/enterprise/images/etl_dashboard.png
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
Binary file added docs/enterprise/images/ldp_architecture.png
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
Binary file added docs/enterprise/images/search_icon.png
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
Binary file added docs/enterprise/images/search_table.png
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
Binary file added docs/enterprise/images/setting_icon.png
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
Binary file added docs/enterprise/images/switch_icon.png
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
Binary file added docs/enterprise/images/table_detail.png
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
Binary file added docs/enterprise/images/view_curated_task.png
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
Binary file added docs/enterprise/images/view_daas_dashboard.png
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
Binary file added docs/enterprise/images/view_etl_dashboard.png
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
6 changes: 3 additions & 3 deletions docs/enterprise/user-guide/connect-database/README.md
Original file line number Diff line number Diff line change
@@ -1,8 +1,8 @@
# 连接数据库
# 连接数据源

在创建数据同步任务前,您还需要在 Tapdata 中为数据库建立连接
在创建数据同步任务前,您还需要在 Tapdata 中为数据源建立连接

请根据数据库类型选择查阅下述文档
请根据数据源类型选择查阅下述文档

import DocCardList from '@theme/DocCardList';

Expand Down
11 changes: 11 additions & 0 deletions docs/enterprise/user-guide/data-console/README.md
Original file line number Diff line number Diff line change
@@ -0,0 +1,11 @@
# 数据面板

数据面板功能支持两种模式,可满足不同的数据治理需求。

[数据集成平台模式](etl-mode)(默认):适用于数据复制/同步、数据上云或构建 ETL 管道,您只需要简单地拖动源表至目标即可自动完成数据复制任务的创建。

[数据服务平台模式](daas-mode)(Beta):基于数据分层治理的理念,采用该模式可将分散在不同业务系统的数据同步至统一的平台缓存层,最大限度地降低数据提取对业务的影响,可为后续的数据加工和业务提供基础数据,从而构建一致、实时的数据平台,连通数据孤岛。

import DocCardList from '@theme/DocCardList';

<DocCardList />
7 changes: 7 additions & 0 deletions docs/enterprise/user-guide/data-console/daas-mode/README.md
Original file line number Diff line number Diff line change
@@ -0,0 +1,7 @@
# 数据服务平台模式(Beta)



import DocCardList from '@theme/DocCardList';

<DocCardList />
Original file line number Diff line number Diff line change
@@ -0,0 +1,75 @@
# 一键自动流转数据

在数据服务平台模式下,您只需要简单地拖动源表至所需层级,即可一键生成数据管道并自动启动任务,极大简化任务配置流程,本文介绍如何实现数据在不同层级间的流转,并最终为提供给终端业务。

## 操作步骤

1. 登录 Tapdata 平台。

2. 在左侧导航栏,单击**数据面板**。

3. 在本页面,您可以直观地看到您已录入的数据源信息,Tapdata 基于数据治理和流转顺序,展示了四个层级。

![数据服务平台页面](../../../images/view_daas_dashboard.png)

:::tip

关于各层级的详细说明,见[数据服务平台分层介绍](enable-daas-mode.md)。

:::

4. 跟随下述流程,一键完成数据流转。

:::tip
通过平台加工层,您可以对表进行表结构调整(如增加字段)、合并表、构建宽表等操作,如果缓存层的表已经满足您的业务需求,则无需使用平台加工层,您可以直接发布 API 或将缓存层的表拖动至**数据目标和服务层**。
:::

import Tabs from '@theme/Tabs';
import TabItem from '@theme/TabItem';

<Tabs className="unique-tabs">
<TabItem value="cache" label="流转至平台缓存层" default>
<ol>
<li>在<b>源数据层</b>,单击<img src='/img/search_icon.png'></img>图标,找到您需要同步的表,将其拖动至<b>平台缓存层</b>。</li>
<p></p>
<li>在弹出的对话框中,填写表前缀并单击<b>确定</b>,本案例中,我们要同步的表为 <b>customer</b>,此处填写前缀为 <b>MySQL</b>,那么在平台缓存层中,该表名为 <b>FDM_MySQL_customer</b>。</li>
<img src='/img/create_cache_task.gif'></img>
<p>完成操作后,Tapdata 将自动创建一个数据复制任务,将您选择表(含全量数据)实时同步至平台缓存层并自动校验,您可以单击平台缓存中表名右侧的<img src='/img/detail_icon.png'></img>图标,跳转至任务监控页面来查看任务运行详情。</p>
</ol>
</TabItem>
<TabItem value="curated" label="流转至平台加工层">
<ol>
<li>在<b>平台缓存层</b>,单击<img src='/img/search_icon.png'></img>图标,找到您需要加工的表,将其拖动至<b>平台加工层</b>。</li>
<p></p>
<li>在弹出的对话框中,填写表名称并选择是否启动任务。
<p></p>
<ul>
<li><b>仅保存</b>:仅保存任务链路,页面将提示保存成功,单击提示信息即可跳转到任务配置页面,您可以<a href="../../data-pipeline/data-development/process-node">添加处理节点</a>,实现表结构调整(如增加字段)、合并表、构建宽表等需求,完成设置后单击页面右上角的<b>启动</b>。
</li>
<li><b>保存并运行</b>:无需执行额外的操作,由 Tapdata 自动创建一个数据开发任务并运行,将该表实时同步至平台加工层。
</li>
</ul></li>
<p></p>
<li>在<b>平台加工层</b>,找到目标表,单击其右侧的<img src='/img/detail_icon.png'></img>图标,可查看该表关联的任务和表的基本信息,包含列信息、样本数据、Scheme 等信息。</li>
<img src='/img/view_curated_task.png'></img>
</ol>
</TabItem>
<TabItem value="target" label="流转至数据目标和服务层">
<ol>
<li>从<b>平台缓存层</b>或<b>平台缓存层</b>中,找到要同步的表,将其拖动至<b>数据目标和服务层</b>中的目标数据源中。</li>
<img src='/img/analyze_customer.gif'></img>
<p></p>
<li>在弹出的对话框中,填写具有业务意义的任务名称,然后选择是否启动任务。
<p></p>
<ul>
<li><b>仅保存</b>:仅保存任务链路,此时,您可以单击目标库卡片中的任务名称,在跳转到的任务配置页面<a href="../../data-pipeline/data-development/process-node">添加处理节点</a>,实现更多复杂处理(如数据过滤、增删字段等),完成设置后单击页面右上角的<b>启动</b>。
</li>
<li><b>保存并运行</b>:无需执行额外的操作,由 Tapdata 自动创建一个数据开发任务并运行,将该表实时同步至平台加工层。
</li>
</ul>
</li>
<p></p>
<p>完成设置后,Tapdata 将自动创建一个数据开发任务,将您的源表实时同步到选定的目标库中,提供给最终业务。您还可以单击目标库卡片中的任务名称,进入任务监控页面查看详细的运行状态,更多介绍,见<a href="../../data-pipeline/data-development/monitor-task">监控任务</a>。</p>
</ol>
</TabItem>
</Tabs>
Original file line number Diff line number Diff line change
@@ -0,0 +1,43 @@
# 数据服务平台界面介绍

开启数据服务平台模式后,页面将基于我们前面[介绍的层级](enable-daas-mode.md)进行分类展示,您只需要简单地拖动表至下一层级,即可自动完成数据复制任务的创建,轻松完成数据的流转。本文介绍如何使用数据服务平台模式的界面,帮助您快速了解各功能模块。

## 操作步骤

1. 登录 Tapdata 平台。

2. 在左侧导航栏,单击**数据面板**。

3. 在本页面,您可以直观地看到您已录入的数据源信息,接下来,我们将介绍各模块的具体作用。

![数据集成模式界面](../../../images/daas_dashboard.png)


import Tabs from '@theme/Tabs';
import TabItem from '@theme/TabItem';

<Tabs className="unique-tabs">
<TabItem value="5" label="① 切换视图" default>
<p>单击<img src='/img/switch_icon.png'></img>图标,以目录结构的形式展现数据源信息(再次单击可切换回数据服务平台视图),选中具体的表,可查看该表的基本信息和关联的任务信息,包含表大小、行数、列信息、样本数据、Scheme(如主键/外键) 等。</p>
<img src='/img/data_category_view.png'></img>
<p></p>
</TabItem>
<TabItem value="1" label="② 添加数据源">
<p>单击<img src='/img/add_icon.png'></img>图标,在弹出的对话框,我们可以添加数据源,选中某个数据源后将跳转至连接配置页面,具体配置方法,见<a href="../../connect-database/">连接数据源</a>。</p>
</TabItem>
<TabItem value="2" label="③ 搜索表">
<p>单击<img src='/img/search_icon.png'></img>图标,输入表名的关键词,可帮助您快速定位到具体的表,该操作也支持在其他层级中使用。</p>
<img src='/img/search_table.png'></img>
</TabItem>
<TabItem value="3" label="④ 数据源详情">
<p>在数据连接的右侧,单击<img src='/img/detail_icon.png'></img>图标,页面右侧将展示该数据源的连接信息和关联的任务。</p>
<img src='/img/data_source_detail.png'></img>
</TabItem>
<TabItem value="4" label="⑤ 表详情">
<p>在表名的右侧,单击<img src='/img/detail_icon.png'></img>图标,页面右侧将展示该表关联的任务和表的基本信息,包含表大小、行数、列信息、样本数据、Scheme(如主键/外键) 等,该操作在其他层级的模块中也可使用。</p>
<img src='/img/cache_table_detail.png'></img>
</TabItem>
<TabItem value="6" label="⑥ 切换模式">
<p>单击<img src='/img/setting_icon.png'></img>图标,在弹出的对话框中,可选择切换回<a href="../etl-mode/">数据集成模式</a>。</p>
</TabItem>
</Tabs>
Original file line number Diff line number Diff line change
@@ -0,0 +1,59 @@
# 开启数据服务平台模式

随着数字化转型的持续深入,数据孤岛问题已逐渐成为主要的阻碍,同时业务对数据需求日益增多,传统的数据交付因其周期长、资源投入大而成为交付瓶颈,如何快速打通数据流转通道,发掘数据价值,已成为企业竞争力的关键因素。

借助 Tapdata 的数据服务平台模式,您可以将分散在不同业务系统的数据同步至统一的平台缓存层,可为后续的数据加工和业务提供基础数据,从而构建一致、实时的数据平台,连通数据孤岛。



## 数据服务平台分层介绍

随着源库承载的任务增多,为最大限度地降低数据提取对源库的影响,同时契合组织对数据分层治理的理念,Tapdata 根据数据流转顺序,将数据服务平台分层如下:

![数据服务平台架构](../../../images/ldp_architecture.png)

| 分层 | 说明 |
| -------------------- | ------------------------------------------------------------ |
| **源数据层** | Tapdata 将来自不同业务系统的数据源,抽象为统一的数据源层,建立打通数据孤岛的第一步,更多介绍,见[连接数据源](../../connect-database/README.md)。 |
| **平台缓存层** | 可将源库的表数据提前同步至统一的平台缓存层,避免在后续执行复杂数据加工时直接读取/操作源库的数据,例如调整表字段、计算字段、合并表等操作,同时配合[共享挖掘](../../data-pipeline/share-mining.md),可极大降低对源库所属业务的影响。 |
| **平台加工层** | 基于平台缓存层的数据,执行定制化的加工运算生成最终业务要用的模型数据。 |
| **数据目标和服务层** | Tapdata 将支持作为目标的数据源集中展示在数据目标和服务层,您可以将加工后的数据提供给业务使用,从而为企业构建统一的数据服务平台。 |



## 准备工作

1. 准备一个 MongoDB 数据库(4.0 及以上),将其作为平台缓存层/平台加工层的存储引擎,相关部署介绍,见 [MongoDB 官网](https://www.mongodb.com/docs/manual/administration/install-on-linux/)。

:::tip

为保障业务高可用性,推荐 MongoDB 采用副本集/分配集群架构,同时需基于源数据层的数据规模预留足够的存储空间。

:::

2. [连接 MongoDB 数据库](../../connect-database/certified/connect-mongodb.md)。

## 操作步骤

Tapdata 默认处于数据集成模式,接下来,我们将介绍如何开启数据服务平台模式。

1. 登录 Tapdata 平台。

2. 在左侧导航栏,单击**数据面板**。

3. 在页面右侧,单击![setting_icon](../../../images/setting_icon.png)图标。

4. 选择数据服务平台模式,然后设置平台缓存层/平台加工层所用的存储引擎,即我们在准备工作中设置的 MongoDB 数据源。

![开启数据服务平台模式](../../../images/enable_daas_mode.png)

:::tip

存储引擎一旦选定保存,后续无法修改,请谨慎操作。

:::

5. 单击**保存**。



5 changes: 5 additions & 0 deletions docs/enterprise/user-guide/data-console/etl-mode/README.md
Original file line number Diff line number Diff line change
@@ -0,0 +1,5 @@
# 数据集成模式

import DocCardList from '@theme/DocCardList';

<DocCardList />
Original file line number Diff line number Diff line change
@@ -0,0 +1,33 @@
# 一键生成数据管道

在数据集成模式下,您只需要简单地拖动源表至目标库,即可一键生成数据管道,极大简化任务配置流程,实现源目数据的实时同步。本文介绍如何生成数据管道。

## 操作步骤

1. 登录 Tapdata 平台。

2. 在左侧导航栏,单击**数据面板**。

3. 在本页面,您可以直观地看到您已录入的数据源信息,Tapdata 将其以源和目标的形式分为左右两列。

![数据集成模式页面](../../../images/view_etl_dashboard.png)

4. (可选)单击🔍图标,找到您需要同步的源表,将其拖动至右侧目标数据源。

5. 在弹出的对话框中,填写具有业务意义的任务名称并单击确定。

Tapdata 将自动创建一个数据管道,将您的源表实时同步到选定的目标库中,在本案例中,会将 **company** 表 从MySQL 实时同步至 MongoDB 中。

![创建任务](../../../images/create_etl_task.gif)

- **仅保存**:仅保存任务链路,此时,您可以单击目标库卡片中的任务名称,对该任务链路进行个性化定制,例如在跳转的任务配置页面[添加处理节点](../../data-pipeline/data-development/process-node),实现表结构调整(如增加字段)、合并表、构建宽表等需求,完成设置后单击页面右上角的**启动**。

- **保存并运行**:无需执行额外的操作,由 Tapdata Cloud 自动创建一个数据开发任务并运行,将您的源表实时同步到选定的目标库中。在本案例中,Tapdata Cloud 会将源 MySQL 中的 **customer** 表实时同步到 MongoDB 中。

您也可以单击目标库卡片中的任务名称,进入任务监控页面查看详细的运行状态,更多介绍,见[监控任务](../../data-pipeline/data-development/monitor-task.md)。






Original file line number Diff line number Diff line change
@@ -0,0 +1,50 @@
# 数据集成界面介绍

数据面板功能默认为数据集成模式,该模式适用于数据复制/同步、数据上云或构建 ETL 管道,您只需要简单地拖动源表至目标即可自动完成数据复制任务的创建,可帮助您简化任务配置流程。本文介绍如何使用数据集成模式的界面,帮助您快速了解各功能模块。

:::tip

随着源库承载的任务增多,为最大限度地降低数据提取对源库的影响,同时契合您组织的数据分层治理的理念,您也可以[开启数据服务平台模式(Beta)](../daas-mode/enable-daas-mode.md),将数据实时同步至平台缓存层。

:::

## 操作步骤

1. 登录 Tapdata 平台。

2. 在左侧导航栏,单击**数据面板**。

3. 在本页面,您可以直观地看到您已录入的数据源信息,接下来,我们将介绍各模块的具体作用。

![数据集成模式界面](../../../images/etl_dashboard.png)



import Tabs from '@theme/Tabs';
import TabItem from '@theme/TabItem';

<Tabs className="unique-tabs">
<TabItem value="5" label="① 切换视图" default>
<p>单击<img src='/img/switch_icon.png'></img>图标,以目录结构的形式展现数据源信息(再次单击可切换回 Console 视图),选中具体的表,也可以查看该表关联的任务和表的基本信息,包含表大小、行数、列信息、样本数据、Scheme(如主键/外键) 等。</p>
<img src='/img/data_category_view.png'></img>
<p></p>
</TabItem>
<TabItem value="1" label="② 添加数据源">
<p>单击<img src='/img/add_icon.png'></img>图标,在弹出的对话框,我们可以添加数据源,选中某个数据源后将跳转至连接配置页面,具体配置方法,见<a href="../../connect-database">连接数据源</a>。</p>
</TabItem>
<TabItem value="2" label="③ 搜索表">
<p>单击<img src='/img/search_icon.png'></img>图标,输入表名的关键词,可帮助您快速定位到具体的表,该操作在其他层级的模块中也可使用。</p>
<img src='/img/search_table.png'></img>
</TabItem>
<TabItem value="3" label="④ 数据源详情">
<p>在数据连接的右侧,单击<img src='/img/detail_icon.png'></img>图标,页面右侧将展示该数据源的连接信息和关联的任务。</p>
<img src='/img/data_source_detail.png'></img>
</TabItem>
<TabItem value="4" label="⑤ 表详情">
<p>在表名的右侧,单击<img src='/img/detail_icon.png'></img>图标,页面右侧将展示该表关联的任务和表的基本信息,包含表大小、行数、列信息、样本数据、Scheme(如主键/外键) 等。</p>
<img src='/img/table_detail.png'></img>
</TabItem>
<TabItem value="6" label="⑥ 切换模式">
<p>单击<img src='/img/setting_icon.png'></img>图标,在弹出的对话框中,可选择<a href="../daas-mode/enable-daas-mode">开启数据服务平台模式(Beta)</a>,将数据实时同步至平台缓存层。</p>
</TabItem>
</Tabs>
26 changes: 26 additions & 0 deletions sidebars.js
Original file line number Diff line number Diff line change
Expand Up @@ -411,6 +411,32 @@ const sidebars = {
},
]
},
{
type: 'category',
label: '数据面板',
link: {type: 'doc', id: 'enterprise/user-guide/data-console/README'},
items:[
{
type: 'category',
label: '数据集成模式',
link: {type: 'doc', id: 'enterprise/user-guide/data-console/etl-mode/README'},
items:[
'enterprise/user-guide/data-console/etl-mode/etl-mode-dashboard',
'enterprise/user-guide/data-console/etl-mode/create-etl-task',
]
},
{
type: 'category',
label: '数据服务平台模式',
link: {type: 'doc', id: 'enterprise/user-guide/data-console/daas-mode/README'},
items:[
'enterprise/user-guide/data-console/daas-mode/enable-daas-mode',
'enterprise/user-guide/data-console/daas-mode/daas-mode-dashboard',
'enterprise/user-guide/data-console/daas-mode/create-daas-task',
]
},
]
},
{
type: 'category',
label: '数据管道',
Expand Down
Binary file added static/img/add_icon.png
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
Binary file added static/img/analyze_customer.gif
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
Binary file added static/img/cache_table_detail.png
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
Binary file added static/img/create_cache_task.gif
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
Binary file added static/img/data_category_view.png
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
Binary file added static/img/data_source_detail.png
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
Binary file added static/img/detail_icon.png
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
Binary file added static/img/search_icon.png
Binary file added static/img/search_table.png
Binary file added static/img/setting_icon.png
Binary file added static/img/switch_icon.png
Binary file added static/img/table_detail.png
Binary file added static/img/view_curated_task.png