Skip to content

请问如何对rwkv-7增加attention mask防止左填充影响计算?这个仓库的rwkv-7实现是不是只是并行训练用的,推理时的代码有实现嘛? #82

@wwx13

Description

@wwx13

https://github.com/Joluck/RWKV-PEFT/blob/5704c39f8ab1d2ac63936ab392aadb6ba526e1a5/rwkvt/rwkv7/model.py
非常实用的工作,目前实际使用时想咨询下,代码已经支持attention mask防止pad 的影响了嘛?
另外推理的时候如何调用,谢谢了~

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions