加速国产GPU开发!摩尔线程开源高性能计算库MUTLASS
11月12日消息,加速计算摩尔线程宣布,国产正式开源高性能线性代数模板库MUTLASS,开库以便开发者能够更高效地针对摩尔线程GPU MUSA Core、发摩Tensor Core等单元进行编程,尔线加速基于国产GPU的程开算子开发以及算法创新。
在此之前,源高摩尔线程已经相继开源OpenCV-MUSA计算机视觉库、加速计算MooER音频理解大模型、国产vLLM-MUSA大语言模型高速推理框架。开库
▼ MUTLASS开源地址:
https://github.com/MooreThreads/mutlass
在数值计算和深度学习领域,发摩矩阵乘法(GEMM)及其变种,尔线比如FlashAttention、程开Convolution,源高是加速计算构建复杂上层应用的基石。
不够,为了追求更高的算子融合效率,或者更创新的算法,开发者们往往需要超越标准化计算接口的限制,如标准BLAS接口以及芯片厂商的计算库接口,以实现高性能的定制化算子。
MUTLASS(MUSA Templates for Linear Algebra Subroutines)正是为满足这一需求而设计。
作为摩尔线程专为自研MUSA架构优化的高性能计算库,MUTLASS是基于开源模板库CUTLASS进行的MUSA适配和定制化开发、优化。
针对矩阵乘法及相关变种,MUTLASS提供了一系列高性能的C++模板组件,并采用了与muDNN库类似的分层分解及数据搬运策略,以确保性能的充分发挥。
在本次开源的版本中,摩尔线程适配了CuTe后端库,为其增加了第三代MUSA架构的MMA计算原语,支持TF32/FP16/BF16/INT8等多种数据精度,并以此为基础,初步实现了矩阵乘法、默认实例库、性能测试器及相关工具包的支持。
借助MUTLASS,开发者们既可以灵活复用不同层级的模板组件,也可以按需修改各种模板组件的实现细节,以较低的开发成本实现定制化的高性能算子,从而在摩尔线程全功能GPU上充分释放性能,并尝试更多的算法创新。
摩尔线程将持续优化MUTLASS的性能,并不断引入新的功能。
(责任编辑:休闲)
- ·NBA彩经:巅峰对决 雄鹿拿下雷霆夺杯赛冠军
- ·小罗一身潮装游玩巴黎+品酒:寒冷天气需要来一点酒,对吧
- ·[流言板]发挥出色!莫布利第3节7投5中,砍下14分3篮板1助攻
- ·360度翻转机身设计加 RTX? 4060独显 ProArt 创13 2024让创作无拘无束
- ·[流言板]艰难!掘金末节剩11分钟时已无暂停,最终加时完成17分逆转
- ·伊东纯也:厦门天气凉爽比预想的更容易活动 希望能有进球机会
- ·南野拓实:中国队是主客场实力差异比较大的球队之一
- ·这个荣耀军团杯有点好玩哈哈哈
- ·[流言板]NBA最新一期新秀榜:前三不变,里萨谢超克内克特来到第四
- ·360度翻转机身设计加 RTX? 4060独显 ProArt 创13 2024让创作无拘无束
- ·一人赛一队!文班本赛季场均3.8帽 热火全队仅3.5帽&篮网3.9
- ·贝林厄姆抱怨判罚吃到黄牌,下一轮欧国联比赛将停赛
- ·[流言板]发挥出色!塔特姆半场10中6,三分4中4,得到17分8篮板4助攻
- ·贝林厄姆抱怨判罚吃到黄牌,下一轮欧国联比赛将停赛
- ·中国式突破!TCL华星印刷OLED技术将亮相CES 2025
- ·贝林厄姆抱怨判罚吃到黄牌,下一轮欧国联比赛将停赛
- ·阿里云通义开源大模型获评“2024中国互联网企业创新发展典型案例”
- ·不手下留情!鲍文、贝利斯3分钟2球,英格兰5
- ·真只有三岁C罗手拿动物皮毛的标本,发出叫声吓唬孩子们
- ·不算友谊赛西班牙今年已赢下11场比赛,队史自然年获胜场次最多