要闻 财经 宏观 商业 金融 理财 行情 股票 外汇 期货 基金 综合
首页 > 综合 > 正文

性能迎头赶上!AMD显卡实现大模型推理方案

2023-08-14 16:04:21 中关村在线


(相关资料图)

NVIDIA的显卡在AI加速领域一直处于领先地位,其A100/H100等显卡受到科技巨头的追捧,GeForce游戏卡也是普通人进行AI开发的首选。然而,AMD显卡在这方面一直落后。近日,深度学习领域的华人专家、OctoML首席技术官陈天奇带领团队在AMD显卡上实现了大模型推理的方案,这意味着业界除了NVIDIA之外,又有了新的选择,消费者不再需要为了购买N卡而争抢、加价。根据陈天奇的优化算法,AMD的RX 7900 XTX显卡在Llama2的7B和13B大模型中,能够达到令人满意的性能,已经达到了RTX 4090显卡82%或者RTX 3090 Ti显卡的94%水平。AMD显卡不仅在性能上迎头赶上,其性价比也更高。RX 7900 XTX与其他两款显卡都是24GB显存,但售价只需999美元,而RTX 4090、RTX 3090 Ti的售价分别为1599、1999元,价格高出60-100%。AMD显卡在AI开发能力上的提升,尤其是RX 7900 XTX这样的游戏卡能有质变,主要归功于AMD最近在ROCm软件生态上的改进。以前,ROCm对游戏卡及Windows平台的支持很差,但从今年4月份开始,ROCm不仅支持Windows系统,也加入了对RX 7900及工作站显卡的支持。AMD还发布了ROCm HIP SDK,允许开发者将针对CUDA平台开发的代码轻松迁移到AMD平台,这是陈天奇等专家可以在AMD显卡上推动AI能力提升的基础。

标签:

最近更新