当前位置: 首页 > news >正文

CANN/asc-devkit:Trunc接口临时缓冲区因子大小获取

GetTruncTmpBufferFactorSize

【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言,原生支持C和C++标准规范,主要由类库和语言扩展层构成,提供多层级API,满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit

功能说明

该接口用于获取maxLiveNodeCount和extraBuf,在固定空间大小的情况下,通过maxLiveNodeCount和extraBuf可以推算算子单次最大计算元素数量。maxLiveNodeCount表示临时空间是单次计算数据量所占空间的多少倍;extraBuf表示使用的额外临时空间大小。

推算示例如下:

  • 算子实现需要调用Trunc接口,开发者为其预留currBuff大小的空间,利用GetTruncTmpBufferFactorSize接口得到maxLiveNodeCount、extraBuf输出值,可推导算子单次最大计算元素数量为:

    currentShapeSize = (currBuff - extraBuf) / maxLiveNodeCount / typeSize

  • 算子实现需要调用两个kernel侧API KernelIntf1、KernelIntf2,利用两个GetXxxTmpBufferFactorSize(其中Xxx为需要调用的两个高阶API)接口的两组输出值(maxLiveNodeCount、extraBuf)以及当前现有的临时空间,推导单次最大计算元素数量currentShapeSize为:

    currentShapeSize1 = (currBuff - extraBuf1) / maxLiveNodeCount1 / typeSize

    currentShapeSize2 = (currBuff - extraBuf2) / maxLiveNodeCount2 / typeSize

    currentShapeSize = min(currentShapeSize1, currentShapeSize2)

注意上文中的currBuff表示接口计算可用的空间,需要去除用户输入输出等空间;另外,接口获取的maxLiveNodeCount值可能为0,计算时需要判断该值非0,避免除零错误。

函数原型

void GetTruncTmpBufferFactorSize(const uint32_t typeSize, uint32_t& maxLiveNodeCount, uint32_t& extraBuf)

参数说明

表1参数列表

参数名输入/输出功能
typeSize输入输入的数据类型大小,单位为字节。比如输入的数据类型为half,此处应传入2。
maxLiveNodeCount输出最大存活节点数,表示临时空间是单次计算数据量所占空间的多少倍。
extraBuf输出使用的额外临时空间大小,单位为字节。

返回值说明

约束说明

当利用maxLiveNodeCount,extraBuf反推出的currentShapeSize * typeSize < 256B时,currentShapeSize按照256B/typeSize的值向上取整。

调用示例

完整的调用样例请参考更多样例。

uint32_t maxLiveNodeCount = 0; uint32_t extraBuf = 0; AscendC::GetTruncTmpBufferFactorSize(typeSize, maxLiveNodeCount, extraBuf);

【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言,原生支持C和C++标准规范,主要由类库和语言扩展层构成,提供多层级API,满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

http://www.cnnetsun.cn/news/3448894.html

相关文章:

  • cann/asc-devkit:SoftmaxGrad Tiling接口
  • CANN/asc-devkit SwiGLU激活函数API
  • CANN/asc-devkit设置AIV核ID接口
  • Seraphine终极指南:5分钟快速上手英雄联盟智能数据助手
  • PSP RS232转TTL电平转换实战:从硬件对接到稳定传输
  • C++线程池与Python策略混合架构:实现量化交易毫秒级响应
  • 植物大战僵尸五阶星星果火力测试与1437阵型实战分析
  • AI商业洞察动态简报(2026.07.15)
  • 技术团队如何通过尊重文化提升人才留存与创新效率
  • 5分钟上手CPDS:容器集群故障检测系统安装部署完整教程
  • VS Code Python远程调试核心原理与排错指南
  • Phigros高难度谱面技术剖析:从Chronos Collapse到音游进阶
  • 项目管理系统数据安全实战:从认证授权到纵深防御体系构建
  • 嵌入式Linux LED控制实战:从GPIO sysfs到内核驱动框架
  • 开源软件的发展历程、生态系统与商业应用
  • C++曲线匹配算法:从DTW到Procrustes分析的原理与工程实现
  • 环境检测仪3.5寸串口屏驱动方案:STM32交互设计与波形显示实现
  • WIN10纯净版系统安装与硬盘分区优化指南
  • Wayca-scheduler核心组件深度解析:libwaycascheduler库的完整API指南 [特殊字符]
  • ProperTree:黑苹果配置的终极跨平台plist编辑器指南
  • cann/asc-devkit bfloat16x2相减函数
  • li-wen部署指南:从零开始搭建OBS动态资源管理系统
  • AI合同审查:从“人肉扫描”到“智能辅助”的实践与思考
  • 终极Hackintosh配置简化工具:3步完成OpenCore自动化配置
  • 终极指南:5分钟学会使用猫抓cat-catch浏览器扩展下载任何在线视频
  • 如何5分钟搞定Hackintosh:终极OpenCore自动化配置工具实战指南
  • 告别复杂代码:3个真实案例教你用Dify工作流构建企业级AI助手
  • 猫抓插件:三步快速掌握浏览器资源嗅探与下载技巧
  • BiliTools终极指南:跨平台B站资源下载与管理完全解决方案
  • ArcGIS在洪水灾害普查、风险评估及淹没制图中的实践