一项新的研究揭示了ChatGPT的编程能力,发现它在基本任务上表现出色,但在面对较新的挑战时却显得力不从心。该AI模型解决了LeetCode中2021年之前发布的89%的简单、71%的中等和40%的困难编码问题。然而,在处理2021年之后新增的问题时,其表现显著下降,成功率分别降至52%、40%和0.66%(对应简单、中等和困难问题)。这表明ChatGPT的知识库仅训练到2021年,这限制了其应对较新编码挑战的能力。尽管存在这些局限性,ChatGPT在修复人类错误以及生成运行时间更短、内存开销更低的代码方面展示出了熟练度。
(PCMag.com)
via 老裕泰 - Telegram Channel