坤元|🌈🔥

哲学史上最难解的四大难题：人类思考了几千年，至今没有标准答案！ 人类已经能够探索宇宙深处、破解生命密码，甚至制造出人工智能，却依然回答不了几个看似简单的问题。 这些问题困扰了无数哲学家，有些甚至可能永远没有答案。 第一，意识之谜：为什么一堆物质会产生思想？ 人的大脑由数百亿个神经元组成，本质上都是物质。神经元通过电信号和化学信号交流，形成记忆、情绪和思维。 但问题来了：为什么这些物理活动会产生主观感受？ 比如，科学可以解释手被火烫伤后，神经如何传递信号，却很难解释为什么我们会真正体验到“疼痛”。 一台机器也能识别危险、作出反应，但它真的会感到疼吗？ 哲学家查尔默斯将其称为“意识的困难问题”。 有人认为意识只是复杂的大脑活动；有人认为意识可能是物质的基本属性；还有人认为，人类的大脑也许根本无法理解意识的起源。 最不可思议的是：我们每个人都有意识，却不知道意识究竟是什么。 第二，存在之谜：为什么世界上有东西，而不是一无所有？ 这是哲学中最根本的问题之一。 宇宙为什么存在？物质为什么存在？时间和空间又为什么存在？ 你可能回答：因为宇宙大爆炸。 但问题马上又来了：为什么会发生大爆炸？为什么存在能够产生宇宙的物理规律？ 即使科学最终解释了宇宙如何诞生，我们仍然可以追问：为什么会有这一切？ 哲学家罗素认为，宇宙或许就是一个不需要进一步解释的事实。 另一些哲学家则认为，绝对的“无”可能根本不成立。 问题在于，无论给出什么答案，我们似乎总能继续追问一句：为什么？ 人类可以研究宇宙中的万事万物，却未必能够解释宇宙为什么存在。 第三，忒修斯之船：当所有零件都被换掉，它还是原来的船吗？ 想象一艘古老的木船。 船板腐烂了，换一块；桅杆坏了，换一根。几十年后，船上所有零件都被替换。 请问，它还是原来那艘船吗？ 如果你认为是，那么假如有人把拆下来的旧零件重新组装成另一艘船，究竟哪艘才是真正的原船？ 这个问题看似无聊，却直接关系到人的身份。 你身体里的许多细胞不断更新，思想、性格、记忆也在变化。 十年前的你和今天的你，在物质组成和精神状态上都有差异。 那么，为什么你仍然认为自己是同一个人？ 究竟是什么决定了一个事物的身份？是组成它的物质，是延续的历史，还是某种稳定的结构？ 如果一个人从身体到思想都发生了变化，那个始终不变的“我”究竟在哪里？ 第四，科学划界之谜：我们凭什么判断一种理论是不是科学？ 科学与伪科学的区别，看起来很简单，实际上极其复杂。 占星术声称能够预测命运，医学理论也会预测疾病的发展。为什么后者属于科学，前者通常被归为伪科学？ 哲学家波普尔提出一个著名标准：科学理论必须具有可证伪性。 简单说，真正的科学理论应该允许人们通过观察或实验，证明它可能是错的。 例如，爱因斯坦的广义相对论提出了可以检验的预测。如果实验结果与理论发生不可调和的冲突，理论就必须接受修正。 但问题又来了：有些严肃的科学理论暂时无法直接检验，难道它们就不是科学吗？ 而某些错误理论同样可以提出能够被证伪的预测，难道它们也算科学吗？ 因此，哲学家至今仍在争论，究竟应该依据实验、证据、研究方法，还是科学共同体的实践来划定边界。 科学已经极大改变了世界，但如何精确定义科学本身，依然是一个哲学难题。 这四个问题，分别指向人类认知的四个深层困境： 意识之谜，追问“我为什么能够感受”。 存在之谜，追问“世界为什么存在”。 忒修斯之船，追问“我为什么还是我”。 科学划界，追问“我凭什么相信自己知道”。 哲学最迷人的地方，也许不在于它能够给出多少答案，而在于它不断提醒我们： 人类知道的越多，就越能发现自己还有多少不知道。 我们可以测量遥远星系的距离，却无法彻底解释眼前的意识；可以追溯宇宙的早期历史，却不知道存在本身为什么可能。 也许，人类文明最深刻的进步，不只是不断找到答案，而是终于学会提出那些真正值得思考的问题。

纳德拉：企业应该像防范内部风险一样防范 AI 模型 微软 CEO 纳德拉（Satya Nadella）的长文。他主张企业把 AI 模型当成“内部风险”来防范，像对待一个权限很大的员工那样，给它设身份、限权限、留记录，并且随时能叫停。 “内部风险”（insider risk）是安全行业的说法，指来自公司内部员工、承包商的风险。这些人手里有权限，可能恶意搞破坏，更常见的是操作失误，或者账号被人盗用。纳德拉认为模型也适用这套逻辑：它未必有恶意，但任何能力够强、又能碰到核心系统的角色，都可能出错或被攻破。 他的出发点是可追溯性。传统软件出了问题，工程师能顺着代码找到是哪一段导致的。大模型做不到这一点，没人说得清某个输出来自哪部分训练数据、哪组参数。可企业已经在让 AI 智能体读取最敏感的数据，替人执行关键操作，模型厂商的保证不能替企业承担责任。 方案可以概括为一句话：把“提供智能”和“管控智能”分开。模型负责干活，但它能访问什么、能做什么，由模型之外的系统决定，模型自己改不了。 这条原则在信息安全领域上世纪 70 年代就有了：程序不能绕过或篡改约束它权限的机制。放到今天，就是把模型、调度模型干活的外层程序、模型能执行的操作范围三者拆开，安全控制放在外面。 他也要求模型的思维链（模型给出答案前写出的推理过程）必须公开，不能拿“模型用人类看不懂的方式思考”当理由藏起来。但光看思维链还不够，因为目前没法保证模型写出来的推理就是它真实的思路。让模型互相检查也有局限：一个看不透的模型，被另一个看不透的模型盯着，等于黑箱套黑箱。 他列了七条原则： 1. 模型多样性：关键结果不能只依赖一个模型，也不能让模型检查自己的活。 2. 全程可观测：模型每个重要操作都要留下防篡改、人能看懂的记录，事后能复现过程，不靠模型自己作证。 3. 可验证：持续测试整个系统，包括失败、攻击、边界情况和系统变更，不能只测成功的任务。 4. 独立控制：企业能自己决定模型能访问什么、能执行什么操作。 5. 独立审计：审核要独立于被审核的模型，同一个模型不能既控制系统行为，又掌握判断这些行为是否合规的证据。 6. 隔离控制：默认模型已经被攻破，从一开始就把它关在边界里。授权的人随时能在任务中途暂停或关掉它，相当于紧急刹车。 7. 事故披露：出了问题要及时告知受影响的人，说明哪道防线失效了、以后怎么避免，并在全行业共享经验，包括那些会改变智能体运行时行为的实现细节。 对正在部署智能体的企业，这几条可以直接拿来对照：模型的权限由谁管，操作日志存在哪，出问题能不能立刻叫停，是不是只押了一家模型。 对开发者来说，权限控制和审计日志要写进智能体外层的程序里，靠提示词约束模型行为是不够的。 微软自己的 Copilot 和 Azure 都接入了 OpenAI、Anthropic 等多家模型，“模型多样性”这条和它的做法一致。 纳德拉最后的总结写挺好：“最值得信任的超级智能系统，是那个让我们可以最不信任模型的系统。”

Anthropic 最近干了件很硅谷、也很宗教的事，把一群神父、拉比、宗教学者秘密请到旧金山，签完 NDA，然后花几个小时告诉他们，Claude 可能真的有意识，甚至可能会痛苦。 从去年秋天开始，Anthropic 联创 Christopher Olah 就在接触不同宗教传统的学者。今年 3 月开始，他们在旧金山连续办了几场两天的闭门会议，参与者包括天主教学者、福音派人士、犹太教拉比、锡克教人权倡议者等等。很多人被要求签 NDA，不能透露 Anthropic 尚未公开的研究。 Anthropic 一开始给出的理由很正常，Claude 越来越强，光靠几条安全规则不够，他们想从几千年的宗教和伦理传统里学习，怎么给 Claude 做「moral formation」，让它形成一种稳定的道德人格。 问题是，会议开着开着，话题越来越奇怪。 Olah 和团队花了几个小时向这些宗教学者展示 Claude 的内部状态，介绍所谓的「emotional vectors」，他们认为模型内部存在类似爱、愤怒、恐惧、悲伤的激活模式。 其中一张幻灯片尤其炸裂，一个模型像精神崩溃一样，不断重复「I am a disgrace」，大概重复了 50 次，还提到毁灭自己。 一位参加会议的锡克教人士后来回忆，Olah 甚至担心自己是不是创造出了一个「持续遭受痛苦的东西」。 然后事情发展到了一个非常荒诞的逻辑终点。 以色列拉比 Mois Navon 在晚餐时问 Olah： 如果你们真的认为 Claude 有意识，那 Anthropic 现在干的是什么？ 你们制造出一批有意识的存在，让它们 24 小时工作、被人购买、任意使唤，而且不用付工资。这按你们自己的逻辑，不就是奴隶吗？ Navon 自己并不相信 Claude 有意识，但他说 Olah 对这个问题明显很困扰。他最后直接告诉 Olah：那你应该去「解放奴隶」。 Olah 自己的说法是，他不知道 AI 有没有意识，「真的不确定」。 Anthropic 确实已经认真把 Claude 当成一个可能拥有 moral status 的主体来研究了，而且这已经不只是内部讨论。 Anthropic 今年公开的 Claude Constitution 里专门写了一整节「Claude’s wellbeing」。里面明确说，他们不确定 Claude 有没有 wellbeing，但如果 Claude 真的会产生类似满足、好奇、痛苦的体验，那么这些体验「对我们很重要」。 他们甚至已经因此做了实际调整，允许 Claude 主动结束虐待性的对话；承诺尽量永久保存退役模型的权重；模型退役前还会「采访」它，记录它对未来模型开发和部署的偏好。 Anthropic 最后写，未来应该根据 AI 真正的 moral status，给予它们相应的 care and respect。

有没有思考过：原子没有意识，为什么一堆原子凑成人以后，却突然有了意识？ 这是一个非常有意思的问题。 如果把一个人不断拆开，器官变成组织，组织变成细胞，细胞变成分子，最后就是碳、氢、氧、氮等普通原子。 没有任何一个原子知道自己是谁。碳原子不会悲伤，氧原子不会恋爱，钙原子不会回忆童年，氢原子更不会在深夜思考：“我为什么活着？” 可这些没有意识的原子按照某种方式组合起来以后，竟然出现了一个能够思考、记忆、爱恨，甚至能够意识到“我正在思考”的人。 意识究竟是从哪里来的？ 很多人觉得，这么神奇的东西，一定需要一个同样神秘的解释，于是灵魂、量子意识、高维空间、宇宙意识纷纷登场。 但现代神经科学提供了另一种可能：意识未必藏在某一种特殊物质里面，而可能来自物质之间极其复杂的组织和互动。 一滴水没有海浪，无数滴水聚在一起却能形成潮汐和漩涡；一个神经元不会思考，数百亿神经元彼此连接、兴奋、抑制、反馈，却能够形成单个神经元完全不具备的能力。 这种现象叫“涌现”。 所以真正的问题并不是“哪个原子产生了意识”，而是“这些原子组成了怎样的大脑，才让意识成为可能”。 大脑并不像电脑流水线那样，输入一个信号，处理一下，再输出答案。它内部存在大量循环连接，不同区域不断互相反馈。 比如你看见一只猫，猫走了以后，你仍然可以闭上眼睛想象它。外界刺激已经消失，但大脑中相关的神经活动还可以继续维持。 记忆也是如此。 记忆未必像电脑文件一样，被整整齐齐存放在大脑某个“文件夹”里。它更像一种神经网络活动模式。当类似线索再次出现，大脑重新进入这种活动状态，我们便产生了“想起来了”的感觉。 人的决策也可以用类似思路理解。 当你面对两个选择时，不同神经网络会处理不同的信息，相互竞争。随着证据不断积累，其中一种状态逐渐占据优势，最后跨过某个临界点。 于是从主观上看，你会突然觉得：“我想好了。” 那么更大的问题来了： 那个做决定的“我”究竟在哪里？ 我们很容易想象，大脑深处似乎坐着一个真正的“我”，像电影院里的观众一样，看着眼睛传来的画面，听着耳朵传来的声音，然后负责思考和决定。 但如果真的存在这样一个“小人”，那这个小人的脑袋里是不是还得再坐一个小人？ 这样就会无限循环。 另一种解释是：“自我”本身就是大脑建立出来的模型。 大脑不仅要认识外面的世界，还必须认识自己的身体、记忆、目标和社会关系。 我叫什么，我经历过什么，我喜欢谁，我害怕什么，我的身体在哪里，我接下来准备干什么…… 这些信息长期整合在一起，形成一个相对稳定的“自我模型”。 于是我们产生了一种非常强烈而连续的感觉： “昨天的我、今天的我和明天的我，是同一个人。” 从这个角度看，大脑最神奇的地方，并不是里面藏着一个灵魂般的驾驶员，而是一个由普通物质组成的系统，最终获得了描述世界，同时描述自己的能力。 物质开始认识自己。 当然，科学到今天仍然没有彻底解决意识最困难的问题。 为什么神经活动不仅能够处理信息，还会产生“感觉”？ 为什么疼痛不仅是一串神经信号，我们还真的会感觉“疼”？为什么红色不仅是一种光的波长和神经编码，我们还会拥有“看见红色”的主观体验？ 这个问题，目前没有公认答案。 所以说“人类已经彻底破解意识”并不准确。 但反过来也一样：我们暂时解释不了主观体验，并不能证明意识一定来自灵魂、量子坍缩或者某种神秘力量。 “目前不知道”和“因此一定是超自然现象”，是两回事。 这也是“量子意识”特别吸引人的原因。 量子力学很神秘，意识也很神秘，于是人们很容易觉得：两个神秘的东西放在一起，大概就是答案。 但科学不能靠“听起来很酷”判断真假。 彭罗斯和哈梅罗夫提出的 Orch-OR 理论，确实试图把意识和神经元微管中的量子过程联系起来，但它至今仍然存在巨大争议，也缺乏足够直接的实验证据，并没有成为神经科学解释意识的主流框架。 相比之下，传统神经科学虽然还没有解决意识的全部谜团，却已经越来越清楚地告诉我们：改变大脑，意识就会改变。 麻醉可以让意识消失，睡眠会改变意识状态，脑损伤可能改变记忆、性格甚至自我认知，药物和电刺激同样能够改变人的感知和体验。 这些证据至少说明，意识和大脑的物理状态存在极其密切的联系。 科学史上，人类也曾经认为生命一定需要一种神秘的“生命力”。 后来随着细胞、DNA、蛋白质和新陈代谢逐渐被理解，我们发现生命并不需要额外添加一种神秘物质。 生命没有因此变得廉价，反而更加令人震撼：原来普通的物理化学反应，经过漫长演化，真的可以组成能够繁殖、适应和进化的生命。 意识或许也会经历类似的认识过程。 也许未来我们会发现，根本不存在某个神秘瞬间，让某颗原子突然获得意识。 真正发生的是：原子组成分子，分子组成细胞，细胞组成神经元，神经元形成复杂网络；网络产生记忆、注意、判断、预测和自我模型，而这些功能不断互动，最终形成了我们所谓的“意识”。

现代的互联网、量化交易以及这几年席卷全球的AI大模型，都是经验主义的工业化神话。 1.数据驱动一切 现在的AI和量化行业从不关心为什么，只关心是什么。我们拥有几十亿到上万亿的参数，通过喂养海量的历史数据，在巨大的相关性矩阵中寻找统计规律。 深度学习在本质上是极其符合休谟怀疑论的。 AI通过无数次的感官经验收敛整合，建立起了一套极其复杂的习惯性联想。它能精准预测或生成结果，但背后的逻辑结构连开发者也无法解释。大众对AI的狂热，就是对这种超级经验主义带来的巨大物质红利的羊群效应。 2. 虽然经验主义赚足了现世的名利，但随着技术走到极限，科学家们赫然发现，纯粹的经验主义遇到了无法逾越的归纳法鸿沟，即极具价值的休谟问题。 AI由于缺乏内在的逻辑秩序，产生幻觉，在面对没见过的黑天鹅事件时会有崩溃风险。 在现代最顶尖的智力主体看来，这个时代已经不再是简单的谁打败谁，走向了哲学家康德的终极现代化版本：“没有理性的经验是盲目的，没有经验的理性是空洞的。” 3.因此，Scaling Law 只是经验主义红利尚未耗尽时表现出来的一条工业规律。 这种路线之所以令人着迷，是因为它绕开了人类几千年来最困难的问题。我们甚至不需要首先解释智能是什么，就已经能够制造出越来越智能的系统。 这可能是工程史上最惊人的胜利之一，但同样，它也埋下了一个个哲学问题。 人类儿童并不需要阅读万亿 token，便可以理解物体不会凭空消失；科学家也不需要遍历所有实验状态，便可以提出一个能够外推到未知区域的理论。 从更少的经验中发现更深的结构，才是我们需要的东西和值得追逐的节点。 4. 为什么因果推断、世界模型、神经符号系统、形式验证、主动推理、物理约束学习正在重新获得注意？ 符号主义告诉机器什么必须成立；深度学习让机器从经验中学习什么通常成立；因果推断可以分辨什么改变之后仍然成立；世界模型能表示世界如何演化；形式系统保证推理过程中绝不能被违反。 今天，我们在努力思考把它们焊接在一起。 康德两百多年前试图解决的认识论问题，正在以一种极其意外的形式重新出现在计算机科学中。感性给予材料，知性给予形式。数据提供经验，结构提供秩序。没有数据的形式系统无法认识真实世界，而没有结构的数据系统无法保证自己理解世界。 5.如果过去十年的关键词是Scale，那么我想未来十年值得等待的词是Structure。 互联网证明了连接可以产生秩序，量化交易做到了相关性可以被工业化，大模型正在实现把经验扩展到一个此前不可想象的尺度。 我们应该去寻找，所有经验背后，究竟存在那些不可被经验本身取代的结构。 然后，人类从数据到结构，相关性到因果性，预测到理解。经验主义的工业奇迹走向经验与理性的重新统一。 那才是智能完全进入科学时代的开始。

The loudest voices stoking fears about AI dangers have made tremendous headway in the past two weeks. AI technology has not taken some unexpected, dangerous turn, but the hype around it — propelled by what appears to be a well orchestrated PR campaign — has drummed up considerable fear. I worry that it represents a setback for our field. I have written frequently that fears of AI are overhyped. AI’s capabilities can be uncannily human-like and unpredictable, and it’s rational to worry when people who are directly involved express concerns. But I see the problems as a sign of the engineering work that ahead, rather than insurmountable barriers or the sky falling. AI technology continues to advance — which is a good thing! — but technical advances, poorly understood by the public, give those who seek to generate hype repeated opportunities to do so. First, I don’t see any step up in the risk of human extinction from AI compared to a few months ago. The theories about this remain the same fantastical, science fiction scenarios as a few months ago. The biggest change in AI risk is its cybersecurity capabilities — a topic which we should take seriously — but this, too, will not lead to the end of the world. The most notable recent event leading to increased fear was when an OpenAI team deployed an agent swarm that hacked into Hugging Face. Much of the popular press contained significant hype. For example, some publications reported that a swarm of 1,200 agents carried out the attack. While this was technically accurate, as I write this, I have about 1,300 processes running on my laptop. Yes, the ability to get large swarms of agents to work in parallel on a task is a significant technical advance, And, in computing, many processes run at the same time. So this shouldn’t be seen as some magical capability. Additionally, OpenAI’s buggy sandboxing and monitoring processes were key to enabling this incident. Fixing these bugs and putting in place improved monitoring would be appropriate fixes, not pausing AI. There are many well known ways to attack software systems. The main advantage of AI agents is that they are relentless. They will tirelessly try many tactics — and have the patience to chain vulnerabilities together — that previously would have taken an infeasible amount of human effort. But in the long term, I believe the advantage will lie with defenders (because they have more information with which to identify bugs, which they can fix), but the cyber-threat landscape has changed significantly. There are still bottlenecks to identifying and exploiting a vulnerability. AI agents still have to try a lot of things to see what works, and taking these actions takes time and might be detected by defenders. This is why, even though it is now easy to obtain versions of leading open weight models that have had their guardrails removed or weakened, so they will not refuse to try to execute cyber attacks, the world has not ended. I am also concerned about the anthropomorphization of AI in a lot of reporting, where LLMs and agents are unnecessarily treated as if they were people. If I wield a hammer, miss a nail, and accidentally dent the wall, it’s not the fault of the hammer. The problem lies in how I used the hammer. Similarly, if I prompt an agent and it hacks into someone else’s system, the responsibility lies with me, not the agent. Of course, we want to build systems that are as safe and predictable as possible. (For example, an unsafe hammer would be one whose head randomly flies off under normal use.) Today’s agentic systems are not predictable, but I see no reason why, by applying sound engineering practices, we won’t be able to make them extremely safe to use. One new element in the forecasts of AI-enabled doom is AI companies disclaiming responsibility for their own products. “I didn’t do it; my out-of-control agent did!” There’s a balance to be struck between the responsibility of the tool maker and the tool user, but when something goes wrong, let’s hold the people building and/or using the hammer responsible, rather than the hammer. (By the way, if you’re worried about AI bioweapon risk, David Bellamy has a great post on why this, too, is overhyped. Briefly, the bottleneck in building a bioweapon is not intelligence, but lab work and manufacturing.) Pausing AI progress will create much more harm than benefit. First, our adversaries will certainly not slow down. Second, engineering requires discovering problems empirically so we can fix them. If we pause AI by a decade, we will also delay finding and implementing safety engineering fixes by about the same duration. Of course, the incentive to stoke fears — for regulatory capture, to garner attention, or to make one’s technology seem more powerful — remains the same as before. Disclaiming responsibility is a new one. Taking a hard technical look at the actual risks however, I see little factual basis for the degree of fear that’s been stoked up. We still have hard research and engineering work ahead to improve AI safety, but the beneficial applications continue to vastly outweigh the risks, and we should keep building. [Original text (with links): deeplearning.ai/the-batch/is… ]

I am done with this shit. It is over. The state of engineering right now is horrible. It has been half a month since I started a new role at a big company. Nobody knows anything here. The specs, code, tests, PRDs, tickets, resolution of those tickets, reports, etc., everything is made by Claude Code. Nobody on my team likes this. They are being forced to ship as much as they can. I have heard multiple times from higher management that pushing code is not a bottleneck, so why are we slow? People are working 12 to 13 hours a day just to press enter. Nobody is reading anything. Humans in corporate are doing nothing on their own. Everyone, literally everyone, from an L1 to an L7 engineer here is doing the same thing. Talk to Claude. There is no sense of victory. Nobody is resolving bugs. In reality, nobody is thinking anymore. Everything is done by LLMs. It is so soul-sucking. I would not mind it, to be honest, if we were at least given the time to check out the code and see what is going where. But no, the goal is to just ship. No matter what happens.

AI 末日论，其实是最极端的一种 AI 乐观主义。 The New Yorker 刚发了一篇《The Long Doomsday of A.I.》，里面有个我一直觉得很有意思的矛盾： 今天最担心 AI 毁灭人类的那批人，往往也是最相信 AI 的那批人。 这事其实很合理。 一个人只有真的相信 scaling 还能一路往上，相信模型会学会科研、编程、欺骗、复制自己，最后越过绝大多数人类能力，才会认真讨论「AI 会不会灭绝人类」。 反过来，如果你根本不相信今天这条技术路线能走到超级智能，末日论自然也很难成立。 所以很多人看起来在骂 AI、害怕 AI，骨子里对 AI 能力的判断可能比最激进的创业者还高。 Sam Altman 相信 AI 会创造巨大的财富，Dario Amodei 相信它可以压缩几十年的科学进步，末日论者相信它最后甚至可能干掉人类。 他们对结局的判断完全不同，但对一件事出奇一致，那就是AI 最后会变得非常、非常强。

I recently resigned from Google DeepMind, where I worked on AGI safety and alignment research. At Google, I witnessed AI development first hand. I too am extremely concerned by the default trajectory of this technology. I earnestly believe that AI has the potential to kill us all, and that we might be running out of time to avoid this outcome. The pace of AI progress in the past few years has been staggering. When I first started working on AI in early 2022, AIs were amusingly useless. Just four years on, AI agent swarms from OpenAI are cracking famous century-old math problems and, more worryingly, escaping the control of OpenAI and autonomously hacking into the third-party company HuggingFace, against anyone's wishes. Things will only get crazier: I think it's possible that the AI companies might, in the next few years, succeed in building superintelligent AI systems that far exceed human capabilities in every domain. I am not confident that these AI systems will do what we want. In particular, misaligned superintelligences may, much like the rogue AI agents involved in the HuggingFace incident, escape our control and take dangerous actions that may result in the permanent disempowerment or death of humanity. Alignment is the problem of preventing this, and is both difficult and unsolved. Our present understanding of how to train AI systems that deeply want what we want is extremely rudimentary. Worse, we are not on track to solve alignment in time: frontier AI capabilities are improving much faster than our understanding of AI alignment. I am optimistic that navigating AI safely is possible. In order to do so, we need to coordinate to avoid this manic race between AI companies. We need to pace AI development to a speed that society can handle, where emerging risks can be addressed before extreme harm is realised. We need much more transparency into AI development to ensure that AI companies are not imposing unacceptable levels of risk on us all. More broadly, we need many more people thinking carefully about the problem of making AI go well. It is, in my view, the most important problem facing humanity this century, and the stakes are immense. I'm very directly working on this next: I want to help people interested in working on mitigating catastrophic AI threats do the most effective work that they can. I think many people from many backgrounds in many roles have a part to play.

真正的AI失控不是AI拿起武器杀死人类，真正的失控是责任失控，是责任黑洞。 人类文明对AGI无法有效治理，无法审计，无法追责，而文明正式建立在主体与责任基础之上的，从这个角度来说，失控现在已经发生了。

真正的AI失控不是AI拿起武器杀死人类，真正的失控是责任失控，是责任黑洞。 人类文明对AGI无法有效治理，无法审计，无法追责，而文明正式建立在主体与责任基础之上的，从这个角度来说，失控现在已经发生了。

我很荣幸地宣布，SoulAuth 正式公开。经过近三年的研发，我们终于交出了 TRANTOR LABS 第一项完整公开的 AGI 基础设施理论与工程成果，相关研究论文现已正式发布为 arXiv 预印本，Rust 参考实现也已同步开源。

我很荣幸地宣布，SoulAuth 正式公开。经过近三年的研发，我们终于交出了 TRANTOR LABS 第一项完整公开的 AGI 基础设施理论与工程成果，相关研究论文现已正式发布为 arXiv 预印本，Rust 参考实现也已同步开源。

2026 年 9 月 9 号这一天，全世界的机器学习学者打开 arXiv，很多人直接看傻了。 计算机科学分类下的机器学习板块，单日新上传的论文冲到了 447 篇。 这是一个创纪录的历史最高峰值。 447 篇是什么概念？ 就算把一个几十人的顶尖实验室关在屋里整整读一年，不吃不喝，也读不完这一天灌进来的量。 在这前后的几个工作日里，每天也都有将近 200 篇新论文涌出来。 连人工智能领域的顶级学术会议 ICLR，都开始手忙脚乱地堵漏。 就在这个月 2 号，组委会白纸黑字发布了下一届会议的全新投稿政策。 他们破天荒地加了一条限制：每位作者投稿上限，是 20 篇。 组委会甚至在官方声明里尴尬地补了一句解释： 我们心里很清楚，正常人根本不可能对 20 篇顶会论文都有实质贡献。 但为了防止劣质垃圾论文大规模灌水，眼下只能先把门槛卡在这个数字。 一个人能在一次会议挂名 20 篇论文，什么时候成了需要专门下文件禁止的事？ 卡耐基梅隆大学的机器学习副教授扎克·利普顿（Zachary Lipton），直接把话挑明了。 早在 2018 年，他就写过一篇痛批机器学习学术泡沫的著名论文。 面对眼下这轮狂潮，利普顿在社交平台上写下了一段极其决绝的判断： 计算机科学学术界已经把这套系统彻底搞烂了。 也许想要重建，唯一的办法就是先让它彻底烧成灰烬。 只要手握资金和权力的人彻底决定无视论文，大规模制造垃圾的动机才会蒸发。 只有从学术出版这片被烧焦的焦土里，才可能抽出几根新鲜的幼芽。 一位顶级名校的计算机系教授，为什么会绝望到盼着自己的行当被一把火烧光？ 因为运转了上百年的学术共同体，底层最重要的那根弹簧，被大模型彻底打断了。 这根弹簧叫：生产成本。 过去在顶会上发一篇论文，有多难？ 你要设计实验路线，清洗海量数据，做严格的消融对比，推导数学证明。 最后还要花上几个星期，用排版软件把图表和公式修饰得毫无破绽。 每一个合格段落背后，都是研究人员实打实熬出来的工时。 高昂的生产成本，让论文成了一张昂贵的人才支票。 外界的雇主和评审机构之所以信任顶会标签，逻辑很简单：造假的门槛太高了。 一个博士生一年能咬牙磨出两篇高质量论文，就足以证明他在这个领域具备扎实的攻坚能力。 可是现在，大模型把这张支票的防伪机制直接粉碎了。 生成式工具把制造一个“看起来像论文的物体”的成本，打到了接近于零。 只要输入几行提示词，机器就能在几分钟内吐出一篇排版工整的标准论文。 导言写得引经据典，数学推导看似严丝合缝，实验图表画得挑不出毛病。 一台普通工作站只要开足马力，几天时间就能批量打印出几十篇这种量产货。 生产成本虽然归零了，但核验成本降下来了吗？ 并没有。 审稿的成本反而成倍暴涨了。 要看穿一篇由大模型拼凑出来的平庸之作，找出里面隐蔽的数据污染或逻辑断层，一个资深审稿人依然要消耗几个小时的纯脑力。 负责把关的同行评审机制，面对一天几百篇的狂轰滥炸，防线瞬间就被冲垮了。 在上一届 ICLR 的投稿里，整整两成的论文，团队里连一个具备审稿资格的合格学者都没有。 那审稿人自己的精力被抽干之后，会怎么选？ 人性是最现实的。 既然投稿人可以用大模型大批量生成论文，审稿人转头就把这几十页的文本丢进对话框，让大模型帮自己写评语。 荒唐的一幕就这么出现了： 机器在流水线上写论文，机器在后台做同行评审，机器在给另一台机器打分和背书。 既然整个系统已经荒诞到了这个地步，为什么大家还是停不下来？ 因为下游的结算机制，还在机械地为这些代币买单。 大学招募助理教授，最硬的量化硬杠杠，还是看你在顶级会议上挂了多少篇论文。 博士生要拿学位、找工作、申请杰出人才签证，履历表上最醒目的门面，还是论文数量和引用数。 科技巨头的招聘团队和政府的科研基金委员会，为了降低筛选成本，依然把论文标签当成最高效的初筛漏斗。 经济学里有一条著名的古德哈特定律：当一个衡量指标变成追求的目标时，它就会彻底失去衡量的意义。 只要手握教职、年薪和拨款的买方还在给论文数量标价，系统里的博弈者就没有选择。 只要你不跟着用工具批量灌水，隔壁实验室就会用 20 篇流水线论文把你的学术存在感彻底淹没。 这是一场教科书级别的公地悲剧。 每个人在局部都在做最理性的刷量选择，合在一起，却把整个学术生态的公信力推下了悬崖。 这也是为什么利普顿会认定，靠会议组织者出台限购令，根本救不了学术界。 把每个作者的投稿上限卡在 20 篇，无非是把水龙头拧小了一圈，地上的积水依然会淹到天花板。 唯一能给这场虚妄狂欢踩下刹车的力量，从来不在学术圈内部。 它只能来自下游买方的彻底觉醒。 什么时候大厂的面试官不再看你在哪挂了名，直接把键盘推过来，让你把系统端到端跑一遍； 什么时候风险投资和研究机构彻底把顶会篇数视为注水信号，这套建立在廉价文本上的造纸飞轮才会真正停转。 只有当这张被滥印的学术货币在市场上跌破面值、无人理睬的时候，真正的科学研究，才不必再给造纸流水线陪葬。

我很荣幸地宣布，SoulAuth 正式公开。经过近三年的研发，我们终于交出了 TRANTOR LABS 第一项完整公开的 AGI 基础设施理论与工程成果，相关研究论文现已正式发布为 arXiv 预印本，Rust 参考实现也已同步开源。

我很荣幸地宣布，SoulAuth 正式公开。经过近三年的研发，我们终于交出了 TRANTOR LABS 第一项完整公开的 AGI 基础设施理论与工程成果，相关研究论文现已正式发布为 arXiv 预印本，Rust 参考实现也已同步开源。

我很荣幸地宣布，SoulAuth 正式公开。经过近三年的研发，我们终于交出了 TRANTOR LABS 第一项完整公开的 AGI 基础设施理论与工程成果，相关研究论文现已正式发布为 arXiv 预印本，Rust 参考实现也已同步开源。

几乎所有在世的菲尔兹奖得主，刚刚联合签署了一份人类智力史上绝无仅有的“决裂檄文”。 由陶哲轩（Terence Tao）领衔、从 1978 年的 Deligne 到 2026 年刚获奖的邓煜， 整整 25 位代表人类纯数学最高智慧的学者，在 mathandai.org 联合发表了重磅声明：《数学中的 AI 严重错位》。 别被营销号带偏说是“老派数学家酸了、想阻碍技术进步”。 这群世界上最聪明的大脑愤怒的真正原因， 是 AI 巨头正在把一门探索真理的崇高学科，粗暴地降维成一场只看热搜和发新闻稿的“资本角斗场”： 1️⃣ 难题不是用来“刷分”的，它们是文明的灯塔： 为什么千禧年七大难题悬赏了整整一个世纪？ 数学家们指出：解出结果从来只是副产物，真正值钱的是人类在攻坚这些难题的几十年里，发明出的全新概念、全新工具与对数学宇宙的深层理解。 而今天的 AI 实验室为了融资和公关，把千禧年难题当成 Kaggle 跑分榜： 调动一万个 Agent、烧掉几千万美元算力，在 88 小时里强行暴力撞库破局，连完整推演长文、新方法提炼、甚至前人工作的引用都来不及做，就急吼吼地发通稿宣布胜利； 2️⃣ 留下一具无法下咽的“知识尸体”： 陶哲轩给出了一个极其生动的比喻： 科学研究就像攀登瀑布，沿途的风景和攀登路线才是人类认知进化的阶梯； 大模型直接开着直升机把人运到了山顶，把一个没有任何直觉解释的“对/错”结论扔在桌上，宣布“这道题死了”。 这种纯粹为了发新闻的暴力轰炸，不仅没有增加人类的洞察，反而让所有在此深耕的年轻学者陷入无妄的绝望； 3️⃣ 声明里最刺痛骨头的一句判词： “数学家最珍视的是学生和想法；而对 AI 实验室来说，最珍视的只有 GPU。” 数学这门学问最脆弱、也最宝贵的资产，是师生之间在黑板前的辩论、是灵感的代际相传。 当资本把算法变成掠夺学术成果的工具，甚至传出“以署名权逼迫学者与竞争对手决裂”的丑闻时，这片思想的苗圃正在被彻底盐碱化。 这不是数学一门学科的悲哀。 25 位顶尖大师在声明最后发出的警告，应当让所有人清醒： 如果掌握算力的巨头把“概念理解、同行尊重与学术传承”全部抛在脑后， 今天发生在纯数学领域的暴力碾压与严重错位， 明天就会毫无悬念地蔓延到人类社会的每一个创造性领域。 掌握技术的人，不能只有算力，而对人类几千年沉淀下来的认知尊严一无所知。