repeat_interleave,repeat算子新增

[miaobyte]

算子定义

repeat_interleave 逐元素复制 沿维度连续复制元素
repeat / tile 整体块复制 重复整个张量块
stack 沿新维度堆叠 增加新维度并堆叠

影响组件

front

1. nn.functional

引擎

全部

[miaobyte]

在GQA中，repeat_kv函数
https://github.com/huggingface/transformers/blob/main/src/transformers/models/llama/modeling_llama.py

实际上就是repeat_interleave

[miaobyte]

#69 repeat已实现