Skip to content

gpt 0.4.0 的完整支持和验证 #210

@strint

Description

@strint

0.4.0的oneflow和benchmark

在调试验证中。当前反馈:

  • 测试了v0.4.0,是可以的
  • 但是有一点需要注意,就是跑的模型参数,hidden_size和seq_length别相等,(一般都不会相等),现在benchmark上直接运行bash examples/pretrain_345M.sh有问题,就是这个问题
    错误样子:
raise RuntimeError("can't infer split axis")
RuntimeError: can't infer split axis

在处理中。

Metadata

Metadata

Assignees

Labels

No labels
No labels

Type

No type

Projects

No projects

Milestone

No milestone

Relationships

None yet

Development

No branches or pull requests

Issue actions