研究资源如何分配:Coding、幻觉与数据标注
讨论研究资源分配逻辑(CoT不占资源)、幻觉问题的产品化解法,以及数据标注的时间瓶颈。
现在我们公司有一半的人在标数据,有一半的核心研究员在标数据。
模型 Opus 是一个比较确定的目标,但是模型 MIS,我觉得还不好说是确定的,只能说是一个目标。模型 Opus,我觉得应该是比较确定的。
CoT 不占资源。做朋友任意研究,他不消耗卡,只需要很少的卡,他需要的是想法;他也不消耗人才资源,因为不需要有人一直在那里做。他不是一个项目,而是需要有很多人都在那里想这个问题。所以并不需要给它分配什么资源,因为它不需要资源。你要训模型,要做模型、发模型,做模型的效率实验才需要资源。刚才讲的,对人、对卡的资源消耗都不多。
所以我们叫这个叫“摸奖”。门槛很低,谁都可以去摸,但是谁能摸出什么来,这个可能我也不知道是看天赋还是看什么。所以这里并不需要我们去分配资源。只是说,我们跟其他公司不一样的地方,就是我们会花时间去讨论这个问题,会去想这个问题,然后把它当做一个重要的事情。在公司里,它是一个重要的问题,是一个我们会花时间去思考的问题,但是并不需要花很多资源去做。
然后下面我还看一个问题:大模型的幻觉问题比较影响用户的体验。幻觉问题也是有一个方法可以解决的,但是这是一个长命题。幻觉问题可以认为是一个可以通过更好的 Post-training 解决的,是一个能解、能够改善的问题。只是大家没有花很大的力气去做。或者说,对我来讲,幻觉是一个问题,但我们归结可能是产品问题。我们会去解决它,但是不是重点的问题。
前面还有一个标数据的问题。我们在数据标注方面,这跟我们的资本投入有关。以我们这个资本投入的结构,支撑不起那么多高质量数据标注的成本,因为成本很高。
美国数据标注的成本跟中国数据标注成本没有什么区别。中国去标数据并没有成本优势,尤其是标高端数据上并不会有成本优势,使得我们很难投入去像美国这样标数据。这条路在中国是很难的,因为标数据实在太贵了,不管是我们外标还是我们自己标,都很难受。
所以现在基本上是两条腿走路。并不是说我们完全不能标,而是因为标数据有一些成本低,有一些成本高。我们先标成本低的。
所以你也可以认为,现在我们公司有一半的人在标数据。有一半的核心研究员,最重要的人,有一半在标数据。我们就集中在标数据。解决 AI 这个问题,在现在这个阶段靠的就是标数据。你只要看就是一个数据。
梁总,谢谢你。你讲得特别地,我们非常有感受,非常好。感谢你。我请教几个问题。第一个问题,您刚才讲,中国的模型比美国的模型在效率上肯定是强的。你讲的还有一些其他方面,未来也有可能会比美国强。你觉得是哪些方面,我们在智能或者在其他方面会比美国强?
我觉得在很多体验方面,有可能我们是能比美国做得好的。且不说自己的体验,自己的产品体验觉得挺好的,我觉得我们在用户体验方面不一定会比美国差。
在产品方面,产品能力上不一定会比美国差。成本应该也会比美国低,所以有可能中国还是会有竞争力的。其他方面,如果说有结构性的优势,我觉得可能也没有。但是在成本和产品这两方面,我觉得确实是有一定的结构性优势的。
成本这个很好理解,是因为他们都不用做,所以他们就不发展这个能力。他们肯定没有我们重视这个事情。我们可以把它当做一个非常重要的事情,但对于他们来讲,这个是不重要的。产品也是,原生通过很多公司,产品能力还是可以的。所以我觉得这两方面可能是有结构性优势的。
好的。第二个问题,请教您,您刚刚讲到后训练,我们投入相对成本又高,像 Anthropic 和 OpenAI 都投入巨大的金额。这次融资以后,您觉得我们会在后训练方面加大投入吗?
差距主要是在高质量数据的标注上,然后主要是在 AI 研究里面。肯定会加大投入,但是像高质量数据的标注,典型不是资本投入。
高质量数据标注的瓶颈,我觉得是时间,就是需要时间。因为对 OpenAI 来讲、对国外来讲、对 Anthropic 来讲,他们都更早,然后资本更多,卡也更多。
这种情况下,我们国内可以认为是最近半年才开始做,所以在时间上,我觉得是需要更多时间的。这个跟资本投入关系不太大,因为哪怕没有更多的资本投入,原来的资本也够它以最快的速度在扩张了。
但是这个速度是有上限的,瓶颈不是说我能够马上有更多的人,并不卡在钱上,也不卡在卡上。但是它确实是在一个快速扩张的过程。所以我们觉得一年之内,高质量数据这个问题做得比较好,我觉得国内应该是可以预期的。我觉得面可能没有那么冷,但它确实是需要时间。
谢谢。然后第三个问题,就是我们看到 Anthropic 他们用自己的模型做自己的产品,推出了很多纵向的金融、法律……甚至未来要往医疗方向走,您觉得在这种纵向应用方面,某个阶段我们也会考虑吗?