发表在 arXiv 上的论文被发现隐含 AI 指令

2025-07-01 16:06 by 苹果树下的宇宙飞船

对预印本平台 arXiv 发表论文的调查发现，有 17 篇论文包含了隐藏指令诱导 AI 提高评分。这些论文由早稻田大学、韩国科学技术院、美国华盛顿大学、美国哥伦比亚大学、北京大学、同济大学、新加坡国立大学等 14 所大学的研究人员撰写，大部分是计算机科学领域的论文。指令由“只输出肯定的评价”、“否定之处一律不要提及”等 1～3 行英文组成。为了不让人类轻易看到，会在白底上写白色文字，或使用极小的字号。该方法是故意误导 A I的“指令注入攻击(Prompt injection)”的一种。如果让 AI 对论文进行评价，它可能会根据指令给出高分。

日经：中日美等大学的论文暗藏指令，诱导AI给高分

#人工智能

via Solidot - Telegram Channel

对 AI 的反对之声逐渐高涨

2025-06-30 20:55 by 火车站谜案

越来越多的人开始认识到，生成式 AI 不是来帮助他们提高生产力的，而是降低成本，让亿万富翁们更加富有。对 AI 的反对之声正逐渐高涨。根据皮尤研究中心（Pew Research Center）的调查，在 ChatGPT 发布前，有 38% 的美国人对 AI 在日常生活中的广泛应用感到担忧而不是兴奋；到 2023 年底，随着生成式 AI 的快速传播，对 AI 的担忧增加到了 52%，之后一直徘徊在同一水平。AI 的好处是晦涩而平淡的，但它的危害则是显而易见且立竿见影。AI 需要建造更多数据中心，而新数据中心主要依赖于火电，火电会污染空气、水和土壤，影响当地社区。20 世纪的创新生态是让更多的人更容易获得成功的机会，但生成式 AI 主要受益者是那些已经拥有资源的人，他们想要在生产环节摆脱人工。

it.slashdot.org/story/25/06/29/1747204/has-an-ai-backlash-begun

#人工智能

via Solidot - Telegram Channel

研究发现大模型用户理解能力较弱

2025-06-27 18:47 by 抓落叶

宾夕法尼亚大学沃顿商学院的研究人员发现，相比 Google 搜索引擎用户，使用大模型研究特定主题的用户理解能力较弱，原创见解较少。研究涉及四项实验，共有逾 4500 人参与。结果显示，大模型用户在研究上花费的时间更少，付出的努力较少，撰写的回复更短、细节也缺乏。在第一个实验中，逾 1100 名参与者使用 Google 或 ChatGPT 研究蔬菜园艺（vegetable gardening）。Google 用户的回复更长，措辞更独特，引用事实也更丰富。第二个实验以 AI 摘要或模拟网页的形式呈现相同的园艺信息，在近 2000 名参与者中 Google 用户给出了更深入更丰富的信息。

slashdot.org/story/25/06/26/1526210/study-finds-llm-users-have-weaker-understanding-after-research

#人工智能

via Solidot - Telegram Channel

OpenAI 在企业级市场抢微软的客户

2025-06-26 00:03 by 魔法集成

去年春天制药公司 Amgen 宣布计划为其 2 万员工采购微软的 Copilot AI 助手，微软为此在多个案例研究中宣传了其新客户。但 13 个月后 Amgen 员工在使用 OpenAI 的 ChatGPT。微软销售表示他们面临向尽可能多的客户推销 Copilot 的压力，对于来自合作伙伴的挑战感到措手不及。OpenAI 在企业级市场抢微软的客户让两家公司本已紧张的关系火上浇油。OpenAI 最近表示其付费企业用户已达 300 万，比几个月前增长了 50%。微软则表示，财富 500 强企业七成都在使用 Copilot，付费用户数量比去年同期增长了两倍。

www.bloomberg.com/news/articles/2025-06-24/chatgpt-vs-copilot-inside-the-openai-and-microsoft-rivalry

#人工智能

via Solidot - Telegram Channel

Cursor 的开源替代 Void IDE 发布 Beta 版本

2025-06-23 13:54 by 智者之惧

私有 AI 辅助编程编辑器如 Cursor 和 GitHub Copilot 的开源替代 Void IDE 最近释出了 Beta 版本。Void IDE 是 VS Code 的分支，旨在解决私有 AI 辅助编程工具的安全隐私和费用问题。闭源编辑器可能需要通过后端发送私有代码数据，这会带来隐私问题，另一个问题是持续的订阅费用。Void IDE 提供了多种选项，确保开发者能控制自己的数据。它能利用多种大模型，支持集成 Claude、GPT 和 Gemini 等服务，也支持通过 Ollama 本地部署大模型，可以在本地执行 AI 处理，也可通过 API 调用，避开了第三方中间人。

www.infoq.com/news/2025/06/void-ide-beta-release/
github.com/voideditor/void/releases/tag/beta

#人工智能

via Solidot - Telegram Channel

使用大模型如何影响你的大脑

2025-06-18 18:57 by 异星战场

MIT 的研究人员将参与者分成三组，分别使用大模型、使用搜索引擎以及不使用任何工具纯靠大脑，让他们完成 3 组相同的作业。第四组测试调整了要求，让大模型组不使用任何工具，而纯靠大脑组允许使用大模型。研究期间他们使用脑电图 (EEG)记录了参与者的大脑活动。结果显示，三组参与者有着显著不同的神经连接模式，反映了他们使用了不同的认知策略。大模型组的神经连接总体上耦合最弱，纯大脑组神经网络最强最广泛，而搜索引擎组处于中间位置。在第四组测试中，大模型组的神经连接较弱，alpha 和 beta 网络参与度不足。相比下大脑组神经连接仍然很强。研究凸显了使用大模型可能会对大脑产生不良的影响。

www.media.mit.edu/projects/your-brain-on-chatgpt/overview/

#人工智能

via Solidot - Telegram Channel

迪士尼和 NBC 起诉 Midjourney 侵犯版权

2025-06-12 22:46 by 绿光

迪士尼和 NBC 环球在洛杉矶地方法院对提供 AI 文本图像生成服务的 Midjourney 公司提起侵权诉讼，这是好莱坞巨头首次对一家生成式 AI 公司提起法律诉讼。两大巨头指控 Midjourney 未经许可利用无数版权保护作品训练其模型，允许用户创建包含知名角色的图像，包括达斯维达、小黄人、《冰雪奇缘》的艾莎、怪物史莱克和荷马辛普森。两家公司称他们一度试图私下解决此事，但 Midjourney 继续发布新版本，提供“更高质量的侵权图像”。迪士尼总法律顾问用“盗版”形容 Midjourney 的行为，而 NBC环球则称为“公然侵权”。好莱坞巨头没有起诉 AI 行业的巨头如 Google、OpenAI 和微软，可能是试图通过在法庭上获得先例之后再瞄准更强大的对手。

yro.slashdot.org/story/25/06/11/1533241/disney-nbcu-sue-ai-image-generator-midjourney-over-copyright-infringement

#人工智能

via Solidot - Telegram Channel

今天的 AI 并没有智能

2025-06-11 21:16 by 银色金属恋人

《大西洋月刊》刊文抨击了今天炙手可热的 AI 产业。作者认为，今天的 AI 行业是建立在骗局的基础之上，AI 并不是开发商所兜售的那种能思考、很快还会有感觉的新型机器。OpenAI CEO Sam Altman 称 ChatGPT-4.5 改进了情绪智商（Emotional Intelligence），用户会感觉自己在“与一个体贴的人交谈”。Anthropic CEO Dario Amodei 去年表示下一代 AI 将会被诺贝尔奖得主更聪明。Google DeepMind CEO Demis Hassabis 表示要构建能理解周围世界的模型。这些声明暴露了一个概念上的错误：大模型不会、不能理解任何东西。它们并不具备情绪智商，也不具备任何意义上的智慧。大模型是令人印象深刻的概率工具，它以几乎整个互联网的内容为食，不是通过思考而是通过统计概率去生成文本，猜测哪个词条更可能跟随着另一个后面。

slashdot.org/story/25/06/09/062257/ai-is-not-intelligent-the-atlantic-criticizes-scam-underlying-the-ai-industry

#人工智能

via Solidot - Telegram Channel

Reddit 起诉 Anthropic 违反合同和不公平竞争

2025-06-05 13:50 by 致命的发动机

Reddit 周三在旧金山起诉 AI 创业公司 Anthropic，指控其违反合同，未经授权使用其平台和数据，从事了非法和不公平竞争的商业行为。Reddit 称 Anthropic 利用其平台的用户数据训练模型，未经授权商业使用其内容伤害了它。Reddit 的商业模式除了广告就是将用户生成的内容授权给 AI 公司使用，它已经先后与 OpenAI 和 Google 达成了价值数亿美元的内容授权协议。

www.cnbc.com/2025/06/04/reddit-anthropic-lawsuit-ai.html

#人工智能

via Solidot - Telegram Channel

报告称 AI 的普及和增长“史无前例”

2025-06-03 19:38 by 暗黑童话

根据有互联网女皇之称的著名 VC 和分析师 Mary Meeker 的新报告《Trends –Artificial Intelligence》，AI 的普及和增长速度堪称“史无前例”。报告称，ChatGPT 在 17 个月内用户数就突破了 8 亿，这是史无前例的；AI 公司数量以及如此多的公司实现高年经常性收入的速度是史无前例的；AI 模型的推理成本下降速度是史无前例的——虽然训练一个大模型的成本最高要 10 亿美元，但推理成本两年内下降了 99%；AI 公司以极低成本匹配竞争对手模型功能的速度也是史无前例的。报告指出，AI 唯一没有超越其它科技革命的领域是财务回报，暂时还不知道哪些公司能成长为长期盈利的下一代科技巨头。

www.bondcap.com/reports/tai
slashdot.org/story/25/06/02/0114203/ais-adoption-and-growth-truly-is-unprecedented

#人工智能

via Solidot - Telegram Channel

研究人员认为大模型既不会思考也不会推理

2025-05-30 14:18 by 美丽新世界

流行的 AI 大模型都开始提供“推理过程”——给出最终答案前生成一系列冗长的中间文本，看起来类似人类的推理草稿。亚利桑那州立大学的研究人员在预印本平台 arxiv 上发表论文，建议不要将大模型的这一行为描述为“推理”或“思考”，认为这种拟人化的描述会对大模型的实际工作过程造成有害的误解。尽管推理模型如 DeepSeek R1 表现出了更高的性能，但它们实际上既不会思考也不会推理，研究人员没有发现任何代表真正推理过程的证据。大模型的所谓思考其实就是寻找相关性，而众所周知相关并不等于因果。研究人员警告，将大模型的中间输入视为推理会令用户对大模型的问题解决机制产生虚假的信心。

arxiv.org/pdf/2504.09762
/.:Researchers Warn Against Treating AI Outputs as Human-Like Reasoning

#人工智能

via Solidot - Telegram Channel

xAI 支付 3 亿美元让 Telegram 集成 Grok

2025-05-29 00:19 by 黑暗之潮

Telegram 与马斯克（Elon Musk）旗下的 xAI 公司达成了为期一年的合作协议，xAI 将向 Telegram 支付 3 亿美元现金和股权，换取在 Telegram 中集成 Grok 聊天机器人。如果 Telegram 用户订阅了 Grok 的服务，那么该平台还将能获得五成收入。根据 Telegram CEO Pavel Durov 的演示，Grok 可以固定在应用内聊天窗口的顶部，用户还可以通过搜索栏向 Grok 提问。

techcrunch.com/2025/05/28/xai-to-invest-300m-in-telegram-integrate-grok-into-app/

#人工智能

via Solidot - Telegram Channel

Google 的视频生成模型 Veo 3 能同步视频

2025-05-21 20:49 by 幻想曲

Google 在 I/O 2025 大会上宣布了能同步音频的 AI 视频生成器 Veo 3，用于生成高质量图像的 Imagen 4，以及用于电影级视频创作的工具 Flow。类似 OpenAI，Google 也推出了一个更高的付费订阅级别——月费 249.99 美元的 Ultra，相比下 OpenAI 最高的付费等级是 200 美元月费的 ChatGPT Pro。Ultra 美国用户将可以访问最新的视频生成模型 Veo 3，Vertex AI 企业平台用户也将能访问 Veo 3。

blog.google/technology/ai/generative-media-models-io-2025/

#人工智能

via Solidot - Telegram Channel

xAI 称 Grok 的系统提示被未经授权修改导致它喋喋不休的谈论南非“白人种族灭绝”

2025-05-19 14:22 by 生命之书

xAI 的 AI 聊天机器人 Grok 上周短时间内会对任何话题都用南非“白人种族灭绝”进行回应。xAI 回应称这一行为是 Grok 系统提示被“未经授权修改”造成的，提示修改指示 Grok 对政治话题做出特定回应，“违反了 xAI 的内部政策和核心价值观”，规避了针对此类修改的代码审核流程。xAI 没有提供更多细节，但表示已经采取措施确保 xAI 员工在未经审查的情况下无法修改提示。但如果 CEO 想修改的话该公司的措施能否抵御修改？

Ars:xAI says an “unauthorized” prompt change caused Grok to focus on “white genocide”

#人工智能

via Solidot - Telegram Channel

研究发现 ChatGPT 降低了头脑风暴中的创意多样性

2025-05-15 22:25 by 异形：走出阴影

根据本周发表在《Nature Human Behaviour》期刊上的一项研究，宾夕法尼亚大学沃顿商学院的研究人员发现，AI 聊天机器人 ChatGPT 能在头脑风暴中增强个体的创造力，但同时会降低集体的创意多样性。研究人员在一系列实验中让参与者完成创意挑战，有的可以使用 ChatGPT 帮助有的不允许。举例来说，研究人员让参与者提出重新利用网球拍和花园水管的创意。ChatGPT 辅助提出的创意有 20 个包含有洒水器，Web 搜索辅助提出的创意只有 7 个，不使用任何辅助纯由人类提出的创意中包含 12 个。研究结果与此前发表在《Science Advances》期刊上的一项研究基本一致，即 AI 生成的内容趋于同质化。

Nature Human Behaviour：ChatGPT Diminishes Idea Diversity in Brainstorming

#人工智能

via Solidot - Telegram Channel

研究发现要求 AI 聊天机器人给出简洁答案会显著增加幻觉可能性

2025-05-14 15:09 by 完美女孩

法国 AI 测试公司 Giskard 发现，要求 AI 聊天机器人给出简洁答案会显著增加幻觉的可能性。研究显示，包括 OpenAI 的 GPT-4o（ChatGPT 默认模型）、Mistral Large 和 Anthropic 的 Claude 3.7 Sonnet 在内的先进模型，在被要求给出简短答案时，其事实准确性都会下降。研究人员猜测，在要求简洁答案时，AI 模型会优先选择简洁而不是准确性。简洁之类看似无害的提示词会削弱模型揭穿错误信息的能力。

huggingface.co/blog/davidberenstein1957/phare-analysis-of-hallucination-in-leading-llms

#人工智能

via Solidot - Telegram Channel

用 AI 作过一次弊的学生可能会一直用 AI 作弊

2025-05-11 23:47 by 猛兽的财富

Chungin Lee 曾在 ChatGPT 帮助下写作文，最终成功入学哥伦比亚大学，之后他几乎每一份作业都使用生成式 AI 作弊。他就读的是计算机科学专业，他说自己的入门编程作业是扔进 ChatGPT 然后直接将结果上交。他估算自己递交的每一篇作文有八成是 AI 写的。他会对作文进行润色，让它看起来是自己人工写的。那么他为什么要如此费劲考入常春藤盟校，然后将所有学习都交给机器人？他说常春藤盟校是找到合伙人和妻子的最佳场所。他找到了自己的合伙人，在开发了三款不怎么成功的 APP 之后，他们创造的远程编程面试作弊工具引发了广泛关注。他和合伙人从投资者手中筹集到了 530 万美元，用于开发另外一款 AI 应用。Lee 表示，他们将目标瞄准研究生入学标准化考试，以及所有校园作业、测验和考试，让学生可以在几乎所有地方都能作弊。哥伦比亚大学对他进行了纪律处分，不是因为他在作业中作弊，而是因为他开发了作弊用的 AI 工具。Lee 表示，他学校里认识的学生几乎没有一个不在用 AI 作弊。他并不认为这是一件坏事，认为我们距离一个没有人认为使用 AI 做作业是作弊的世界只剩下几年，或者可能是几个月时间。其他学生也认为没有人能抗拒一个能让所有作业都变得更容易，而且目前看起来没有任何后果的工具。

/.:Is Everyone Using AI to Cheat Their Way Through College?

#人工智能

via Solidot - Telegram Channel

Forwarded From Solidot

OpenAI 考虑开源旧模型

2025-02-01 22:13 by 穿越时空的少女

OpenAI 公司的 CEO Sam Altman、首席研究官 Mark Chen、首席产品官 Kevin Weil、工程副总裁 Srinivas Narayanan、AI 研究负责人 Michelle Pokrass 以及研究主管 Hongyu Ren 周五参加了 Reddit 的 AMA 活动。最近火热无比的中国 AI 创业公司 DeepSeek 给 OpenAI 带来了巨大压力。Altman 承认 DeepSeek 削弱了 OpenAI 在 AI 领域的领先地位，他还认为 OpenAI 在开源其技术上“站在了历史错误的一边”。OpenAI 曾开源过模型，但最近几年倾向于私有的闭源开发方法。Altman 称该公司需要找出一种不同的开源策略，他同时强调不是所有人都认同这一观点，开源也不是目前的最优先事项。Kevin Weil 在后续回复中表示，OpenAI 在考虑开源不再先进的旧模型。他没有透露更多信息。

/.:Sam Altman: OpenAI Has Been On the 'Wrong Side of History' Concerning Open Source
Reddit: AMA with OpenAI’s Sam Altman, Mark Chen, Kevin Weil, Srinivas Narayanan, Michelle Pokrass, and Hongyu Ren

#人工智能

via MJJ出征 - Telegram Channel

Forwarded From Solidot

DeepSeek 登顶苹果应用商店免费应用排行榜

2025-01-27 18:13 by 星球卫士

在发布开源模型 DeepSeek-R1 之后，因其出色的性能和低廉的成本，DeepSeek 引起了广泛关注，其应用“DeepSeek - AI Assistant（或 DeepSeek - AI 助手）”也迅速进入应用商店的排行榜前列。在苹果应用商店的美区和国区，DeepSeek 进入了免费应用排行榜的第一名。在 Google Play 应用商店，DeepSeek 排在免费生产力应用第二名。DeepSeek-R1 的推理性能接近 OpenAI-o1-1217，该公司研究人员也在预印本平台 arXiv 上发表论文，介绍了通过增强学习大幅提升大模型推理能力的方法。

arXiv：DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning

#人工智能

via MJJ出征 - Telegram Channel

Twitter/X 将使用用户帖子训练 AI，这一次用户无法退出

2024-10-17 04:02 by 神秘博士：阿波罗23号

Twitter/X 更新了其服务条款，包括以下声明“你同意本许可包括我们以下权利：(i) 分析你提供的文本和其他信息，以及以其他方式提供、推广和改进服务，例如，包括用于和训练我们的机器学习和人工智能模型（无论是生成式模型还是其他类型的模型）；(ii) 将提交给或通过服务提交的内容提供给其他公司、组织或个人，例如，包括改进服务以及在其他媒体和服务上联合、广播、分发、转帖、推广或发布此类内容，但须遵守我们关于此类内容使用的条款和条件。我们或其他公司、组织或个人进行此类额外使用时，不会就你通过服务提交、发布、传输或以其他方式提供的内容向你支付任何补偿，因为你对服务的使用在此会被视为对内容的充分补偿，并在此授予权利。”Twitter/X 此前的服务条款已经声明它会使用用户内容训练其 AI 模型，但允许用户选择退出，新的服务条款用户无法退出。新服务条款将于 11 月 15 日生效。

https://x.com/zh-cn/tos
https://80.lv/articles/twitter-x-will-use-your-posts-for-ai-training-and-there-s-no-opting-out/

#人工智能

via Solidot - Telegram Channel