现在的大语言模型,就像是小学中学没好好学过数学的一批大学生,全靠死记硬背记答案混过了高考,记忆力超好,知识特别丰富,写出来的东西也漂亮,还善解人意。用人单位一开始还挺高兴,日常找找资料写写公文那是没得说,写程序都还不错,但用了一段时间发现这帮大学生数学和逻辑真的不行,也不愿意学习新知识。
都这么大了也没法回炉重造了,负责带这些大学生的导师们只好死马当活马医,告诉学生们,数学推理这种问题,列出步骤就能改善很多(Let's think step by step)!
好一点的导师甚至还会针对特定的问题耐心的列出步骤,这还真的管用,马上学生们推理水平上了一大截,甚至能解决稍微复杂一点的问题。但是遇到导师自己也不会的,或者懒得说的,学生们只好只有发挥,有时候还真蒙对了,有时候就是胡说八道,但解题过程有模有样,不懂的可能还真被忽悠了!
然后有聪明人把自己平时解题和推理的思维过程总结出来了,比如要从几个不同角度去考虑、要去反思、要验证结果,然后让大学生们执行所有任务都按照这一套来。你还别说,对于有些任务还真的效果好一点,于是有人惊呼:神级 Prompt。
但是如前面两位网友分析的,这种模仿别人思维过程的,可能只是在“表演思考”,他们的数学基础并没有本质提升,虽然在特定的一些任务会表现更好,但是并不代表真的可以改变自身数学基础不行的本质。
那么 o1 模型呢,就像新一代的大学生,从小就开始题海战术,每天做大量的数学题和编程题,并且做的时候都要严格的列出步骤,做完了就去对答案,不对重新做!
等这批大学生毕业,他们的数学推理能力已经变得很强了,遇到问题不需要导师们去引导怎么思考,而是会根据平时的训练,自行去推理,自行验证,遇到错误了能回退回去重新推演。当然对于一些已经有最佳实践步骤的问题,导师们给出步骤会结果更好。
摘录自:https://t.co/AdNoxpDzuQ