大语言模型的推理速度与问题的难度无关,是否意味着其实现方式可能不是最佳的?

知乎热榜2周前发布 NIUC!
132 0 0

同一个大语言模型在推理时,其速度主要和输入、输出的token数相关,而和问题的难度无关,这与人脑的思维方式存在很大的不同。 比如人脑在做困难的数学题时,需要尝试很多方法,经过多次计算和验证后才知道有没有解;可大模型是读完题就开始作答了。

© 版权声明

相关文章

暂无评论

暂无评论...