Skip to content

实验:跨平台数据传输时,使用Alluxio能多大程度上提升效率 #157

@NKcqx

Description

@NKcqx

目的

说明使用Alluxio进行数据传输 比 原本使用Disk File的方式 在时间上能有多大提升

Case

没准备和不涉及ML的Case。。回头我再想想

正常情况下至少需要两个平台,如 Spark + PyTorch,Spark先处理数据并写入csv文件,然后PyTorch读出来进行其他计算
但简单起见 也可以直接在Spark上写两个程序,一个写一个读

DDL:12.4

Metadata

Metadata

Assignees

Labels

Projects

No projects

Relationships

None yet

Development

No branches or pull requests

Issue actions