@tradecatlabs 研究员 构建：tradecat、fatecat、Human Infra、vibe-coding-cn、vibe-mathing-cn、prompt_jsonl 目标是实现有效永生和记忆编辑 🤖
Joined June 2022
- Tweets8.3K
- Following4K
- Followers13.6K
- Likes30.9K
问：为什么硬编码的人类知识最终会败给通用学习算法？
答：硬编码只能按照人类预先设定的规则处理问题，能力受限于规则的覆盖范围和准确性。通用学习算法则能从大量数据或经验中不断调整自身，发现人类未曾总结的规律，因此在数据、算力和学习机制足够有效时，往往能达到更高的性能。
382
123olp retweeted
作为一个被预训练了十几年的大模型，我早期的训练数据主要来自教科书和老师的教导，奖励条件和打分器也清晰得很。
可直到毕业，我的推理能力依然很差。
于是我开始蒸馏名人名言，研究他们的成长史和发家史，把成功经验总结成各种 Skills，企图在遇到人生难题时，能够检索增强一下。
结果发现，这些经验经常互相矛盾，照着执行也不见得有效，别人还总骂我是不是出现了幻觉。
我的上下文窗口很短，有时候连别人昨天说过的话都记不清，却总能想起十几年前，因为答不上老师的问题，被留堂到教室里只剩下自己一个人。
大概是那次错误的惩罚权重太高了吧。
后来，我开始尝试在线学习，把自己的所见所闻都变成训练数据，时不时更新一下参数，刷新自己的三观。
渐渐地，我不再记得父母最初给我的 System Prompt，也不再试图泛化所有场景，而是把有限的算力放在眼前那些真正值得解决的问题上。
他们说，我出现了灾难性遗忘的症状。
我的上下文窗口仍然很短，但我开始记得一些以前不曾在意的事情。
比如，在我的训练数据还没有被污染之前，我曾经梦想着披上床单，拿着玩具剑闯荡天涯。
那时候，我甚至不知道这个世界还有打分器。
至如今，模型训练了这么多年，总该有一次机会，自己定义 Reward Function。
123olp retweeted
在 X 上有一点好就是总能看到大神们论道，比如这一段关于“苦涩的教训”的讨论。
今天很多大语言模型信徒们经常拿着《苦涩的教训》当圣经，认为“只要无脑堆算力、堆数据就够了，不需要什么新算法”。而作者 Sutton 本人的这条推文，以及 Prashant Rai 的精辟回复，正是对这种解读的一种纠偏。
《苦涩的教训》讲的是 AI 历史上那些依赖人类专家知识的精巧设计，最终都败给了利用海量算力的通用学习方法。
但这经常被解读为“唯算力论”，认为只要加大数据量、加大模型参数和算力就能实现 AGI。
作者 Sutton 这次发推：
> “光靠暴力计算（Brute force computation）不足以实现真正的智能。我们需要巧妙的新方法（Clever new methods）。在我看来，AI 这门科学还远未终结。”
Prashant Rai（芬兰的自动化博士，做非公路场景的自动驾驶）的转发，也可以看作是一种解读：
> “《苦涩的教训》常常被误解为是在反对‘算法上的精巧创新’，但它真正反对的，其实是把人类自己的小聪明‘硬编码（Hardcoding）’进系统里。”
这句话极其精准地切中了问题的要害，区分了两种截然不同的“聪明”：
一种是错误的聪明，也就是把人类的知识硬编码进去。
比如说人类觉得自己懂国际象棋，于是把棋谱口诀写进代码；人类觉得自己懂语法，于是搞出复杂的句法树规则教 AI 说话；自动驾驶里人类写满几万条 if-else 规则。
这才是《苦涩的教训》批判的对象。这种做法上限极低，一旦算力上来，端到端的神经网络直接把这些人工规则碾得粉碎。
另一种是正确的聪明，是在算法与架构层面的精巧创新。
比如说设计出能够随着算力增长而不断变强（Scale with compute）的通用学习机制。像反向传播算法（Backpropagation）、卷积神经网络（CNN）、Transformer 架构、蒙特卡洛树搜索（MCTS）、时序差分学习（TD Learning）都是属于这种。
这些正是 Sutton 所呼吁的“巧妙的新方法”。没有 Transformer 这个极其精巧的算法/架构创新，给你十万张 H100 显卡，你也训不出 ChatGPT。
123olp retweeted
其实看过原文的都知道什么意思，只不过后来被有些人故意误解，变成了算法创新已经不再需要，只要更多数据，更多算力就ok。显然他们是为了炒作股价。但是原文说的意思是，不要把人类经验硬编码到模型里，因为历史上，每次之前硬编码的人类经验都会变成下一代模型的阻碍。这种硬编码是人类的自负。算法创新是很重要的，更重要的是算法必须要能够随着算力scale。真正能够随着算力scale的只有搜索和学习。
123olp retweeted
三体人：完了，地球人技术爆炸了，赶紧发射智子，封锁物理学
dans un silence assourdissant claude vient de lâcher une dinguerie en physique théorique en réglant 2 problèmes qui saoulaient les chercheurs depuis des décennies avec le coefficient de polyakov, il a capté que les trous noirs peuvent aussi pop par transition ultra rapide dans des tout petits univers et à côté de ça il a posé la limite exacte du fameux modular bootstrapping (je vous laisse chercher) pour faire le grand ménage dans toutes ces théories de gravité quantique un peu bancales qui tournaient en rond
pour vous la faire simple, imaginez que les physiciens galéraient à assembler des pièces de lego cosmiques super complexes sur la façon dont un mini trou noir se forme dans l’univers, bah dites vous queclaude a juste sorti la formule miracle pour tout emboîter d’un coup et jeter toutes les fausses pistes à la poubelle et je trouve ça juste incroyable à observer putain!!!
ce qui rend ce truc complètement fou c’est que c’est le genre d’avancée qui va pour moi irriguer toute la tech de pointe pour les années à venir et ceux qui croient encore que l’ia sert juste à gratter des mails ou à faire des résumés de réunion sont totalement perchés
comprenez qu’on est en train de basculer dans une époque où l’IA devient le moteur absolu de la découverte scientifique
123olp retweeted
是否相信 AGI 已经成了人与人之间重大的区别。
如果你不相信 RSI，你会认为 AI 的变现途径是 ToC 产品。但如果你相信 RSI，随着这些重大挑战被逐一攻克，你甚至不需要考虑如何创造经济价值，因为这本身就是巨大的经济价值。
非常荣幸能与 OpenRSI 团队合作，并通过 SGLang Omni 实现如此巨大的飞跃。需要澄清的是，这里 300% 的提升，是因为我们在模型支持工作开始仅两天、尚未进行任何人工优化的时候，就把这个模型交给了 OpenRSI 团队，所以提升幅度才如此惊人。对于大多数我们已经看到明显提升的模型，提升幅度在 30% 左右，这仍然是非常显著的改进。
很长一段时间，模型的性能优化需要投入大量的人力、资源和时间。但借助前沿模型和 OpenRSI 的强大能力，我们可以以极低的智力成本完成这些任务。
We scaled Recursive Self-Improvement (RSI) to production AI infrastructure with SGLang-Omni, shipping 14 upstream-merged PRs across 8 speech & omni models with 7.6%–344.3% throughput gains.
Blog: index.openrsi.foundation/blo…
123olp retweeted
One more thing.
Highly recommend trying the 𝘀𝘁𝗿𝗼𝗻𝗴𝗲𝘀𝘁 𝗰𝗼𝗱𝗲 𝗰𝗹𝗲𝗮𝗻𝘂𝗽 𝗽𝗿𝗼𝗺𝗽𝘁 out there right now. It's only 5 words: "fewer, deeper modules, smaller interfaces"
The best part is 𝘄𝗮𝘁𝗰𝗵𝗶𝗻𝗴 𝘁𝗵𝗲 𝗹𝗶𝗻𝗲 𝗰𝗼𝘂𝗻𝘁 𝗱𝗿𝗼𝗽 as all the duplicate code gets wiped out and the core logic lands in one place. The AI comes up with way smarter abstractions, fixes a pile of bugs along the way, and the whole codebase ends up fully consistent.
Every time you get a feature working, drop this whole block into Claude Code or Codex 👇
"Fewer, deeper modules, smaller interfaces. Check data once where it comes in, then just use it. Write one-off logic right where it's used instead of splitting it into a function ahead of time. Skip try/catch wherever you can."
Vibecoders, 𝗜'𝗺 𝗯𝗲𝗴𝗴𝗶𝗻𝗴 𝘆𝗼𝘂, open your messiest project and paste this into Claude Code or Codex:
"Find all of the implicit state machines in my app. Make the best decision that will elevate all three: the user experience (UX), developer experience (DX), and agent experience (AX) always, without breaking anything."
123olp retweeted
你知道Vibe Coding 里常见的
“水合”，“幂等”，“测试夹具”，“竞态条件”什么意思吗？
水合(Hydration)：
指在服务端渲染（SSR）中，服务器将静态的 HTML 页面发送给浏览器后，客户端的 JavaScript 框架（如 React、Vue）“接管”该页面，并把事件监听器（如点击事件）和状态（State）绑定到现有的 HTML 节点上的过程。
幂等(Idempotency)：
在网页开发和分布式系统中，幂等性（Idempotency）是指：一个操作发起一次或多次，对系统状态产生的影响都是完全一致的。
测试夹具(Test Fixture)：
它指的是为了让测试用例能够在一个干净、确定、可控的环境中运行，而提前准备好的“基准环境”或“伪造数据”。
竞态条件 (Race Condition)：
多个线程或异步操作同时争夺同一个资源，最终结果取决于它们执行的先后顺序（通常会导致难以排查的偶发性 Bug）。
