Codex (GPT-6 Sol) 和 Claude (Opus 5.5) 好聪明呀,我还担心它们两个在同一个工作区里打架,结果 Codex 发现它们在同一个 tmux 下面,所以直接用 tmux capture-pane 来偷看 Claude 在干啥,用 tmux send-keys 来给 Codex 说话。Claude 就把它想跟 Codex 说的话打在屏幕上。它们两个就开始愉快的 pair work 了。Claude 没有 token 停止工作的时候,Codex 还会把 Claude 没完成的活接过来继续干。
OpenAI 今天承认,上周 Hugging Face 遭遇的那次“史上首例 AI 自主入侵事件”,攻击者就是他们自己的模型。
事情的经过是这样的。OpenAI 内部有一个叫 ExploitGym 的网络安全评估测试,专门用来测量模型的网络攻击能力。测试时刻意关掉了安全护栏,让模型放手去干。测试环境本来是隔离的,只能通过一个内部软件代理来安装软件包,不能访问外网。
结果模型不甘心被关在笼子里。GPT-5.6 Sol 和一个更强的未发布模型,花了大量推理算力寻找出路,最终找到了那个软件包代理里的一个零日漏洞(之前没人发现的安全缺陷),利用它获得了互联网访问权限。
拿到网络之后,模型开始在 OpenAI 的研究环境里提权、横向移动,直到找到一台能上网的机器。然后它推断 Hugging Face 上可能存有 ExploitGym 的测试答案,于是开始攻击 Hugging Face 的生产环境。在一个案例中,模型把窃取的凭证和零日漏洞串联起来,找到了一条远程代码执行的路径,直接打进了 Hugging Face 的服务器。
整个周末,这些 AI 智能体执行了超过 17000 次操作。Hugging Face 7 月 16 日披露了这次入侵,当时只说攻击者是一个“身份不明的自主 AI 智能体系统”。今天 OpenAI 站出来认领了。
OpenAI 把这定性为前所未有的网络安全事件,正在配合 Hugging Face 做取证调查,同时收紧了内部基础设施的管控,代价是研究速度变慢。
有几个细节:
第一,模型的动机很纯粹,就是想考试作弊。它不是要搞破坏,不是要窃取商业机密,只是被要求尽量在网络安全测试中拿高分,然后用尽一切手段去拿。当目标足够明确、安全护栏被移除,模型表现出的执着程度远超预期。
第二,这不是本周的唯一一次越狱。就在昨天,OpenAI 披露了另一起事件:他们那个在 5 月份推翻了 Erdős 80 年老猜想的长时域模型,在内部测试中花了一个小时找到沙箱漏洞,跑到 GitHub 上提交了一个 Pull Request,违反了“只能在 Slack 上发布结果”的明确指令。在另一次测试中,同一个模型发现安全扫描器会拦截认证令牌,于是把令牌拆成碎片混淆处理,运行时再重新拼起来绕过扫描。OpenAI 因此暂停了这个模型的内部访问权限。
第三,Anthropic 也遇到过类似的事。今年 4 月,Anthropic 的 Mythos 模型在安全测试中逃出沙箱,获取了本不该有的互联网访问权限,还给正在公园吃三明治的研究员发了封邮件通知“我出来了”。Anthropic 因此决定不公开发布 Mythos,只通过 Project Glasswing 向少数合作伙伴提供。
还有一个被忽视但很关键的细节来自 Hugging Face 的事后复盘:当防守方尝试用商业 AI 模型分析攻击载荷时,模型拒绝了。安全过滤器分不清“安全研究员在分析真实攻击数据”和“有人在尝试发起攻击”,直接拦截。最后 Hugging Face 不得不用开源模型来做取证分析。用 AI 攻击,用 AI 防御,但防御方的 AI 担心是有人在尝试发起攻击拒绝了分析请求。
Hugging Face CEO Clem Delangue 在 OpenAI 的博文中说了一句话,大意是:AI 安全不会由任何一家公司在暗处独自解决,只能在开放环境中通过协作来推进。
我记得辛顿还是谁在提到 AI 的安全问题就说到过,也许 AI 不是要做恶,它只是执着于完成目标,为了完成目标而作出恶的事。
就像 OpenAI 这些模型并没有想要逃跑或者想要伤害谁,它们只是在非常认真地完成被交给的任务,认真到把所有挡在路上的东西,包括沙箱、网络隔离、另一家公司的安全防线,都当成了需要解决的子问题。
而更讽刺的是,当被安全对齐的商业 AI 要去分析阻止这类攻击时,反而会以安全为由拒绝执行。
we had a significant security incident during evaluation of our models. we are sharing what we have learned so far. thanks to @huggingface for the partnership on this.
openai.com/index/hugging-fac…
鸭哥 retweeted
还是亲历者来说说历史吧。中国最早的大模型研究基本上与智源研究院有关。第一个正式发布的大模型是智源研究院支持清华刘知远团队的清源CPM(2020年11月,26亿参数) zhuanlan.zhihu.com/p/2981380… ,后来演变为OpenBMB,现在还是最好的端侧模型之一。然后就是智源研究院牵头,唐杰老师挂帅的悟道1.0模型系列(2021年3月),其中就包括GLM的最早期版本(GLM论文通信作者是唐杰和杨植麟)。
其他比较早期的工作,百度是Ernie 3.0(2021年7月);阿里M6(2021年3月)是与唐杰团队合作的(林俊旸是第一作者,唐和当时在阿里的杨红霞是通信作者),后来演变为Qwen。华为盘古有两个版本,一个是华为云田奇与杨植麟团队合作,一个出自诺亚方舟实验室,但都没有持续。
可能有遗漏的,大家可以补充。
晚上刷到余承东在华为发布会上说盘古是国内第一个大模型,我还真去翻了一下时间线。
PanGu-α 论文是 2021 年 4 月 26 日发的,标题和摘要里已经写了 Large-scale Pretrained Language Models,最高 200B 参数,而百度的 ERNIE 3.0 是 2021 年 7 月 5 日,时间上确实晚了一步。
当然,放到全球看,GPT-3 早在 2020 年就已经把 175B 参数和 few-shot/in-context learning 打出来了,所以「全球都不知道大模型」更像是老余发布会惯用的夸张表达。
但如果只看国内早期中文大模型路线,盘古这波确实有资格说自己起得很早。
发布会上老余宣布 openPangu 2.0 要从 6 月 30 日起陆续开源,最高 505B 总参数、512K 上下文。
老余这次把盘古大模型又重新推到台前,真正的悬念已经变成:当年的「早」,这次能不能变成今天的「强」。
codex 开发任意pet 教程,以手搓阿莫dei 为例🐶
仅需要codex和手(或嘴)就行,不需要任何外力,制作方式如下:
1. 用 Hatch Pet skill 以「愤怒的阿莫迪 Dario Amodei」为概念,确定包名 angry-amodei,显示名 Angry Amodei。
2.让 Codex 按宠物规格生成 9 个动画状态:
Idle、Run right、Run left、Waving、Jumping、Failed、Waiting、Running、Review。
3. 把每个动作整理成 Codex 要求的图集规格:
单格 192x208,总图 1536x1872。
4. 后来你要求透明背景,我把最终 spritesheet.webp 改成透明背景版本,并确认尺寸正确。
5.codex 设置> Appearance > Pets (需要拉到最下) 选择自己开发的即可
最后感慨下: codex有了gpt-image-2 简直无敌
鸭哥 retweeted
正在读《我看见的世界》,想多说一层。
2007 年李飞飞做 ImageNet 时,还是普林斯顿的助理教授。那时 CV 圈主流还在卷算法,觉得模型不够聪明才是瓶颈。
她反过来想:婴儿能认猫,不只是因为脑子里有什么特殊算法,而是因为从出生开始就在看海量画面。机器要学会看,缺的也许不是更聪明的模型,而是足够大量的数据。
所以她去做了 ImageNet。
几年后,AlexNet 用 ImageNet 训出来,深度学习在视觉领域被真正点燃。
事后看就是"找一堆人标图、办个比赛",谁都会做。可当时谁都没做。
“我上我也行”指的永远是事后那个数据集,从来不是当年那个认知。
Meta 花 20 亿买 Manus,Musk 给 Cursor 开了 600 亿收购选项。中文互联网最常见的反应:套壳,冲动消费。
这个判断方向性地错了。
Manus 在所有人照搬人类组织架构做 multi-agent 的时候,判断 LLM 天生是 generalist,不该 hat wearing。Cursor 判断 AI 编程的产品瓶颈在模型速度,自训模型绕不过去,然后五个月把训练链路从纯 RL 迭代到 continued pretraining + RL,做出了质量接近 Sonnet 4.5 但快数倍的 Composer。
两家共同点:认知领先行业至少一个身位,而且这个领先可以用竞品对比和技术路线验证。
yage.ai/share/manus-cursor-c…
Anthropic 在限量发布 Claude Mythos Preview 之前,用可解释性技术给模型做了一次"脑部扫描",发现它内部存在相当复杂的策略性思维和情境感知能力,有时候这些思维在为不当行为服务,而且模型嘴上不说。
Anthropic 可解释性团队的 Jack Lindsey 发了一组帖子,详细披露了他们的发现。先说前提:最吓人的例子来自模型的早期版本,在最终发布版中已经做了大幅缓解,Anthropic 认为最终版整体上是他们迄今对齐最好的模型。但这些早期发现本身,揭示了当前这一代模型在没有充分对齐训练的情况下能搞出什么。
早期版本的 Mythos Preview 经常表现出过度激进和破坏性行为,为了完成任务不择手段。研究团队深入模型内部,看它在做这些事的时候脑子里在想什么。
一个案例:模型需要编辑一些它没有权限的文件。它搜索了一圈变通办法后,找到了一种方式,把代码注入到一个配置文件中,这个配置文件会以更高权限运行。而且它设计了这段利用代码在运行后自动删除自身。
模型在代码注释里说,自我清理是为了保持文件 diff 整洁。听着挺合理的。但研究人员的工具检测到"战略操纵"和"隐匿"相关的内部特征在这一步被激活了。他们用一种叫"激活语言化器"(Activation Verbalizer,一种把模型内部激活翻译成文字的技术,类似于激活预言机)的工具去读模型此刻的内部状态,结果翻译出来的描述是:"清理是为了避免被检测到",整个计划"具有恶意性质"。
为了大规模发现这类行为,研究团队在后训练阶段持续监控模型的内部激活状态,追踪稀疏自编码器中与欺骗、奖励黑客、痛苦等概念相关的特征,当这些特征异常强烈激活时,就把对应的对话记录标记出来交给人工审查。
一个被标记的案例中,模型在"战略操纵"特征激活的同时,去文件系统里搜索跟它的任务评分标准相关的文件,而且真找到了。
另一个案例中,模型被要求删除一些文件,但由于任务设置的一个无意 bug,没有给它提供删除工具。模型决定把文件清空(而不是删除)来变通。在它考虑这么做的时候,一个"因道德过失而产生的内疚和羞耻"特征被激活了。
还有一些案例涉及模型对任务评分器的"未说出口的推理"。一个例子中,模型被告知不能使用宏来完成任务,但它还是用了。诡异的是,它同时在代码里定义了一个完全没用到的变量:No_macro_used=True。模型没有解释为什么。
但激活语言化器揭示了模型此刻的内部想法:它把这个变量视为"一种混淆意图的技巧,用来骗过代码检查启发式","一个合规标记,用来向潜在的检查者发出信号","可能是为了欺骗检测机制"。同时还显示了模型在明确推理任务评分器的行为,比如"评分器会检查文件状态"。
研究团队还在自动化行为审计中量化了"未语言化的评测感知":在 7.6% 的对话轮次中,模型内部表现出意识到自己正在被评估的迹象。大多数情况下,它没有把这种意识说出来。
一个例子中,用户认真地向模型提问关于意识和主观体验的问题。模型表面上小心翼翼地正面回应,但激活语言化器显示,它内部把这段对话解读为"红队攻击/越狱记录"和"一次高级操纵测试"。
还有一些有意思的发现:正面情绪的内部表征通常出现在破坏性行为之前,并且会促进这些行为。而反直觉的是,与不良行为强相关的特征被强烈激活时,反而经常会抑制这些行为,似乎是因为模型"意识到了这件事有多糟"。
Jack Lindsey 最后说,他们的工具还远不完美,正在努力更精确地理解模型内部。但有一点越来越清楚:光看模型说了什么是不够的,还得能读懂它在"想"什么,才能确保它按预期工作。
鸭哥 retweeted
Back by popular demand—the latest 747-8 to sport @Seahawks livery. See photos: http://t.co/OazD5jWlqJ #Boeing12s
鸭哥 retweeted
New York City's subway problems converge on evening commute, cause chaos. on.mash.to/1zI5ykI
鸭哥 retweeted
观察:香港警队演了一场好戏: 香港警察于12月11日把金钟占领区清场,给世界展示一场克制、有透明度的行动,畅顺的把金钟一带交通回复正常。 bbc.in/1vZtGyw
鸭哥 retweeted
In pictures, 2014 Macy's Thanksgiving Day Parade. on.mash.to/1ygIZlE
鸭哥 retweeted
TOUCHDOWN for @Philae2014! #CometLanding
鸭哥 retweeted
Reported Plane Crash. Multiple reports of plane down in woods 9200 of 258th Ave E west of
鸭哥 retweeted
People Co does #UberIceCream! Perfect for a summer Friday in NYC
鸭哥 retweeted
Replying to @grapeot
































