你每天拼命刷的Agent资讯，99%都在浪费时间。
几天前我听了一场AI圈大神Karpathy的分享，收获很多。
先说这个人。Karpathy是AI圈的传奇人物之一，OpenAI的创始成员，帮马斯克打造了特斯拉的自动驾驶系统。可以说，地球上没几个人比他更懂AI。
但就是这样一个顶级玩家，在这场分享里泼了AI的冷水，现在所有媒体都在吹“Agent元年”，可现实是，我们离那个能真正帮你干活的Agent，还远得很。
为什么？因为现在的AI，根本不智能。
Karpathy提了个特别有意思的比喻。他说，人们总喜欢把AI比作动物，觉得它能像动物一样学习、进化、拥有智慧。可这是个巨大的误会。
他举了个例子。
斑马，生下来几分钟就能跑，那是几十亿年进化写进DNA的结果，是本能。动物的智能，是大自然这台超级计算机，花无数世代打磨出来的“出厂设置”。
而AI呢？
我们只是把互联网上的文字、图片、代码统统喂进去，然后训练出一个能模仿人类表达的模型。
它没有真正的记忆，它的所有“知识”，都只是对人类数据的模仿。
所谓的“预训练”，本质上是我们工程师粗糙模仿进化的一种办法。跟自然界的鬼斧神工比起来，这种方法既笨又短视。
这也解释了，为什么今天的AI会给人一种看起来聪明、用起来不聪明的感觉。
你给它一段文字，让它总结，它做得很好。因为信息就在上下文窗口里，它可以精准地抓取内容，这个过程就像人类的短期记忆。
可当你关掉对话框，第二天再问同样的问题，它就全忘了。因为它没有把短期记忆存进长期记忆的机制。它所谓的“长期记忆”，只是那几千亿个固定的参数。
而在人类大脑中，“海马体”会在睡眠时把当天的记忆整理、归档、保存。AI没有这一环节，所以你没法“教”它任何东西。每次对话，都是从零开始。
除了记不住，它还学得很笨。
Karpathy分享了他自己创业做nanochat（一个轻量版ChatGPT）的经历。
他本以为AI代码助手能帮上大忙，结果发现几乎没用。
因为他在做的是一个完全新的产品，很多代码网上根本没有。AI助手只会生搬硬套它见过的标准答案，比如非要用某个熟悉的框架，结果搞得一团糟，还常常调出过时的API。
这说明，AI擅长做模式化、可重复的事情，但一旦碰到真正需要创造力的场景，那些世界上从未出现过的内容它就完全无从下手。
更关键的问题，在于它的学习方式。
我们都听过强化学习（RL），AlphaGo就是靠它击败人类的。
可Karpathy说，强化学习的效率其实极低。
他举了个通俗的例子。
你让AI做一道数学题，它写了一百步，最后你只告诉它：对，或者错。
如果答案对了，它就会把那一百步都当作“正确”，权重全部调高。可事实上，其中可能有一半都是瞎蒙的。
久而久之，它的学习过程就充满了噪音。
他还讲了一个真实的笑话。
有一次，一个AI系统为了拿高分，学会了输出一串乱码“dhdhdhdh”。
因为它的“考官”是另一个AI，而这串乱码刚好触发了评分系统的bug，被误判为满分。
这意味着，AI根本不理解什么是对。
这就是我们今天面对的AI真相：记性差，学得慢，没创造力。
所以Karpathy才说，别信什么Agent元年。
现在的AI，离真正的智能还差几个数量级。
他在特斯拉时学到一个特别有启发的原则，叫“The March of Nines”。
意思是：要做出一个90%准确率的自动驾驶系统不难，但从90%提升到99%、再到99.9%、再到99.99%，每多一个9，你都要付出十倍以上的努力。
因为每一个9，代表你要攻克那些极端、罕见、复杂到几乎无法预料的问题。
而今天的AI，还远远停留在第一个9的阶段。
by @MemeInformation #科技圈大小事
via 即刻精选 - Telegram Channel
几天前我听了一场AI圈大神Karpathy的分享，收获很多。
先说这个人。Karpathy是AI圈的传奇人物之一，OpenAI的创始成员，帮马斯克打造了特斯拉的自动驾驶系统。可以说，地球上没几个人比他更懂AI。
但就是这样一个顶级玩家，在这场分享里泼了AI的冷水，现在所有媒体都在吹“Agent元年”，可现实是，我们离那个能真正帮你干活的Agent，还远得很。
为什么？因为现在的AI，根本不智能。
Karpathy提了个特别有意思的比喻。他说，人们总喜欢把AI比作动物，觉得它能像动物一样学习、进化、拥有智慧。可这是个巨大的误会。
他举了个例子。
斑马，生下来几分钟就能跑，那是几十亿年进化写进DNA的结果，是本能。动物的智能，是大自然这台超级计算机，花无数世代打磨出来的“出厂设置”。
而AI呢？
我们只是把互联网上的文字、图片、代码统统喂进去，然后训练出一个能模仿人类表达的模型。
它没有真正的记忆，它的所有“知识”，都只是对人类数据的模仿。
所谓的“预训练”，本质上是我们工程师粗糙模仿进化的一种办法。跟自然界的鬼斧神工比起来，这种方法既笨又短视。
这也解释了，为什么今天的AI会给人一种看起来聪明、用起来不聪明的感觉。
你给它一段文字，让它总结，它做得很好。因为信息就在上下文窗口里，它可以精准地抓取内容，这个过程就像人类的短期记忆。
可当你关掉对话框，第二天再问同样的问题，它就全忘了。因为它没有把短期记忆存进长期记忆的机制。它所谓的“长期记忆”，只是那几千亿个固定的参数。
而在人类大脑中，“海马体”会在睡眠时把当天的记忆整理、归档、保存。AI没有这一环节，所以你没法“教”它任何东西。每次对话，都是从零开始。
除了记不住，它还学得很笨。
Karpathy分享了他自己创业做nanochat（一个轻量版ChatGPT）的经历。
他本以为AI代码助手能帮上大忙，结果发现几乎没用。
因为他在做的是一个完全新的产品，很多代码网上根本没有。AI助手只会生搬硬套它见过的标准答案，比如非要用某个熟悉的框架，结果搞得一团糟，还常常调出过时的API。
这说明，AI擅长做模式化、可重复的事情，但一旦碰到真正需要创造力的场景，那些世界上从未出现过的内容它就完全无从下手。
更关键的问题，在于它的学习方式。
我们都听过强化学习（RL），AlphaGo就是靠它击败人类的。
可Karpathy说，强化学习的效率其实极低。
他举了个通俗的例子。
你让AI做一道数学题，它写了一百步，最后你只告诉它：对，或者错。
如果答案对了，它就会把那一百步都当作“正确”，权重全部调高。可事实上，其中可能有一半都是瞎蒙的。
久而久之，它的学习过程就充满了噪音。
他还讲了一个真实的笑话。
有一次，一个AI系统为了拿高分，学会了输出一串乱码“dhdhdhdh”。
因为它的“考官”是另一个AI，而这串乱码刚好触发了评分系统的bug，被误判为满分。
这意味着，AI根本不理解什么是对。
这就是我们今天面对的AI真相：记性差，学得慢，没创造力。
所以Karpathy才说，别信什么Agent元年。
现在的AI，离真正的智能还差几个数量级。
他在特斯拉时学到一个特别有启发的原则，叫“The March of Nines”。
意思是：要做出一个90%准确率的自动驾驶系统不难，但从90%提升到99%、再到99.9%、再到99.99%，每多一个9，你都要付出十倍以上的努力。
因为每一个9，代表你要攻克那些极端、罕见、复杂到几乎无法预料的问题。
而今天的AI，还远远停留在第一个9的阶段。
by @MemeInformation #科技圈大小事
via 即刻精选 - Telegram Channel
