CANN/Ascend C L1到L0B搬运函数

asc_copy_l12l0b_mx

【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言，原生支持C和C++标准规范，主要由类库和语言扩展层构成，提供多层级API，满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit

产品支持情况

• Ascend 950PR/Ascend 950DT：支持

• Atlas A3 训练系列产品/Atlas A3 推理系列产品：不支持

• Atlas A2 训练系列产品/Atlas A2 推理系列产品：不支持

• Atlas 200I/500 A2 推理产品：不支持

• Atlas 推理系列产品AI Core：不支持

• Atlas 推理系列产品Vector Core：不支持

• Atlas 训练系列产品：不支持

功能说明

头文件路径："c_api/cube_datamove/cube_datamove.h"。

将Mx scale矩阵从L1 Buffer搬运到L0B Buffer。

函数原型

• 常规搬运

  __aicore__ inline void asc_copy_l12l0b_mx(uint64_t dst, __cbuf__ fp8_e8m0_t* src, uint16_t x_start_pos, uint16_t y_start_pos, uint8_t x_step, uint8_t y_step, uint16_t src_stride, uint16_t dst_stride)

• 同步搬运

  __aicore__ inline void asc_copy_l12l0b_mx_sync(uint64_t dst, __cbuf__ fp8_e8m0_t* src, uint16_t x_start_pos, uint16_t y_start_pos, uint8_t x_step, uint8_t y_step, uint16_t src_stride, uint16_t dst_stride)

参数说明

返回值说明

无

流水类型

PIPE_MTE1

约束说明

• scale矩阵的分形固定为(16, 2, 16)，对应L0B Buffer的分形为(16, 32, 16)，占L0B Buffer地址的1 / 16，需要按照这种地址约束存放地址。
• dst（L0B Buffer的地址）的数据类型支持fp4x2_e2m1_t、fp4x2_e1m2_t、fp8_e5m2_t、fp8_e4m3fn_t，src的数据类型支持fp8_e8m0_t。
• dst、src的起始地址需要32字节对齐。

调用示例

__cbuf__ fp8_e8m0_t src[1024]; __cb__ fp8_e5m2_t dst[1024]; uint16_t x_start_pos = 0; uint16_t y_start_pos = 0; uint8_t x_step = 0; uint8_t y_step = 0; uint16_t src_stride = 8; uint16_t dst_stride = 8; uint64_t mx_dst_addr = static_cast<uint64_t>(reinterpret_cast<uintptr_t>(dst)) / 16; asc_copy_l12l0b_mx(mx_dst_addr, src, x_start_pos, y_start_pos, x_step, y_step, src_stride, dst_stride);

【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言，原生支持C和C++标准规范，主要由类库和语言扩展层构成，提供多层级API，满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit