机密档案 · 机密档案 · 机密档案CONFIDENTIAL · CONFIDENTIAL
EN
录音时间点 03:41:02

模型规模对标与编译语言带来的效率跃迁

确认TileLang等编译语言带来的是效率提升而非损失,硬件底层执行效率仅损失1%到2%。

对,是大幅提高效率。所以说这是一个机遇。
投资人提问

第二个问题,您前面也提到了,我们现在在整个 inference 上面用了一些除了 CUDA 以外的编译语言。我理解原来咱们基于英伟达的生态,可能会用 PTX 这些比较多。现在用上更多类似您刚提到 TileLang 这些的话,是不是会大幅降低我们在 inference 上面的一些效率,或者短期降低效率?我不知道您会怎么看编译语言的这种变化带来的效率损失,还是说长期其实是一个可以补充的状态,是提高效率?

梁文锋回应

是提高效率,是大幅提高效率。

投资人提问

OK,反倒没有什么负面的影响?

梁文锋回应

对,是大幅提高效率。所以说这是一个机遇。相当于以前你是离不开 CUDA 的生态的,现在我们可以抛弃它的生态,用一个更简单的方法,就用 TileLang。它是高级语言,写那个程序也是很快的,要写的代码量很小了,我可以把它重写一遍。

投资人提问

明白。所以这两个都其实是一个,像您提到的 AI 带来的比较大的机会,不是一个可能短期需要去弥补的缺点。

梁文锋回应

对,它是技术发展的大机会。它不是 AI 的机会,因为我们还有一个项目,我们在用 AI 来写 TileLang。

投资人提问

那是不是更快?

梁文锋回应

现在所有 TileLang 都是人写的,但是它已经比原来写 CUDA 的要快很多了。

投资人提问

明白。所以哪怕是对于硬件底层的执行效率,您觉得也是没有影响?

梁文锋回应

损失 1% 到 2%,我觉得是可以接受的。

投资人提问

OK,明白,理解了。好的,谢谢您,很清晰。

其他人还有没有什么问题?没问题,我们今天就先这样。好的,谢谢。非常感谢大家的时间,谢谢梁总,谢谢。拜拜。

梁文锋回应

拜拜。

在分章导读版中打开本章 →
本稿由语音识别自动转写并经 AI 整理,未区分说话人,章节标题、摘要与逻辑流程图为编者归纳,用于辅助阅读;个别专有名词与数字可能存在识别误差,请以原录音为准。梁文锋在会中提示部分数字与情况较为敏感,请勿对外传播或录屏分享。