【2026年拼多多暑期实习/春招- 7月19日-研发岗-第二题- 多多的GPU批处理调度】(题目+思路+JavaC++Python解析+在线测试)
题目内容
多多是一个大模型架构师,在部署大语言模型时为了提高GPUGPUGPU的利用率,推理引擎通常会将多个用户的请求合并成一个批次进行并行计算。同一批次内如果请求长度不同,短请求会被填充空白TokenTokenTo
多多是一个大模型架构师,在部署大语言模型时为了提高GPUGPUGPU的利用率,推理引擎通常会将多个用户的请求合并成一个批次进行并行计算。同一批次内如果请求长度不同,短请求会被填充空白TokenTokenTo