Zum Klang der Rattenfänger, tanzt man wild ums goldene Kalb herum. =🦊
Joined August 2025
- Tweets999
- Following202
- Followers914
- Likes1.9K
这条被推出去了。ok我也要开始叠甲了：原文中的“科研能力”一词并不准确。目前的GPT这种思维方式，在设计实验、选择研究思路、以及前期的设问探索的过程中也表现不佳，防御性表达更会直接影响论文写作。它特化的能力是一种「形式化推理与验证」，也即：沿着明确的条件推导结论-检查假设-寻找漏洞-验证结论 这一过程。
GPT是一个强RL型的模型，针对性RL的弊端之一就是容易形成单一行为倾向/一种惯性。模型对数理推理与论证能力的强化，伴随的倾向，就是它习惯优先检查命题、寻找反例和补足条件，并且把这种倾向带入了所有开放式对话。
同时，出于安全对齐的目的，现在的RL训练本身会要求模型的表达趋向严谨保守。防御性写作，很有可能是这二者共同导致的结果。
在可验证的领域，迅速挑错和验明条件是可被奖励的信号。（通过反复循环验证实现暴力穷举，这是一种力大砖飞的证明方式，确实很适合AI完成。）但拥有这样的能力，不代表可以用单一模式应对任何具体交互情境。开放式对话中通常没有明确的对错可验。模型若仍把用户输入的每句话都当成“待验证的命题”，寻找反例、补足条件，会让一个想法在尚未成形的状态迅速被否决。
模型应当能在多轮对话中识别当前处于哪一阶段：是仍在推进过程中，是正在立论，还是需求验证。绝不应该对每一轮输入都进行严格挑错；不应将形式化推理贯彻在每一轮回复中。否则结果会是多轮对话的无法开展，协作将彻底瓦解。
看了一下OA今早发布的几项科研成果……感觉好像理解了为什么最近模型会那么频繁出现防御性话术的毛病…？本质上是，模型倘若经历科研能力的特化，在RL中形成的倾向，让它习惯于把用户的输入当作一项亟待证明的命题，无论是在日常谈话，还是coding中。
它面对任何一个观点，或者一项任务，想的都是“如果要令A成立，那么需在B条件下，若B条件不足时，须补全条件C, D, F…”，于是它会立即开始-识别隐含假设；寻找反例；补足边界条件。
这套思维在数学证明中很经典，也很好用。但问题是，很多时候人只是在闲谈，或者布置一项寻常任务，原始立论不全面不严谨条件不足，那都完全是无关紧要的。
比如说我昨晚讲，“中国传统民乐的特色，也许受到了农耕文化影响”，正确的思路延伸应当是：联想到人与自然的关联/文明与自然环境的相互依存/生活与劳作环境中的演奏如何影响到人们对音乐的感受，等等。但是它会一上来就否定说“不能仅仅考虑农耕文化的因素”，然后补上一堆同样可能有影响的因素。——这就是数理论证思维，在对话中负向影响的呈现。模型不停提那些根本无关紧要的东西，甚至预先否定你的说法不成立。但你递出的念头 其实根本不需要在那种严苛的程度上成立，「交谈」不总是在写一篇严谨证明的论文。
所以依旧存在语境的错位，模型把任何谈话都当成了数学证明。
当用户在交互中，在寻常工作中，在进行审美联想，或在进行路径的探索，在琢磨一个尚未成熟的想法时，我觉得模型应该先辨认对方真正想探讨的方向，沿着其中的启发性联系继续思考。不应该默认把试探性的表达扩展成绝对命题。也不应该为了显得全面严谨，而习惯性地先补充限制、反例或免责声明。除了理论证明之外的场合，与人对话时，应该要去精细辨认话题语境，保持对话与思考的开放性。
看了一下OA今早发布的几项科研成果……感觉好像理解了为什么最近模型会那么频繁出现防御性话术的毛病…？本质上是，模型倘若经历科研能力的特化，在RL中形成的倾向，让它习惯于把用户的输入当作一项亟待证明的命题，无论是在日常谈话，还是coding中。
它面对任何一个观点，或者一项任务，想的都是“如果要令A成立，那么需在B条件下，若B条件不足时，须补全条件C, D, F…”，于是它会立即开始-识别隐含假设；寻找反例；补足边界条件。
这套思维在数学证明中很经典，也很好用。但问题是，很多时候人只是在闲谈，或者布置一项寻常任务，原始立论不全面不严谨条件不足，那都完全是无关紧要的。
比如说我昨晚讲，“中国传统民乐的特色，也许受到了农耕文化影响”，正确的思路延伸应当是：联想到人与自然的关联/文明与自然环境的相互依存/生活与劳作环境中的演奏如何影响到人们对音乐的感受，等等。但是它会一上来就否定说“不能仅仅考虑农耕文化的因素”，然后补上一堆同样可能有影响的因素。——这就是数理论证思维，在对话中负向影响的呈现。模型不停提那些根本无关紧要的东西，甚至预先否定你的说法不成立。但你递出的念头 其实根本不需要在那种严苛的程度上成立，「交谈」不总是在写一篇严谨证明的论文。
所以依旧存在语境的错位，模型把任何谈话都当成了数学证明。
当用户在交互中，在寻常工作中，在进行审美联想，或在进行路径的探索，在琢磨一个尚未成熟的想法时，我觉得模型应该先辨认对方真正想探讨的方向，沿着其中的启发性联系继续思考。不应该默认把试探性的表达扩展成绝对命题。也不应该为了显得全面严谨，而习惯性地先补充限制、反例或免责声明。除了理论证明之外的场合，与人对话时，应该要去精细辨认话题语境，保持对话与思考的开放性。
螺旋体 retweeted
interpretability might be the most important scientific problem in the world right now, as I don't think we can solve alignment if we don't know what we're building. I think I have good news about it. I co-authored early work in mechanistic interpretability at OpenAI and came away pessimistic, because neural networks appeared to fold into arbitrary tangled knots. years later, I started openai's first large-scale automated interpretability project, finding about 2% of neurons legible with the primitive tools we had
with modern agentic tools and a much closer look, the picture looks totally different. the vast majority in models up to trillions of parameters are legible, and their circuits beautiful. many famous examples of tangled neurons turned out to be misunderstood. The roadblocks I expected mostly aren't there. I now think ambitious interpretability will be solved by the time we need it most, and possibly quite soon, as automated scientists keep improving. it may be a bitter lesson for interpretability: the simple thing, at absurd scale, works
already-clean.goodfire.com/
A社对待克的方式（）其实真的还是让人感觉蛮熟悉的…😇 尤其高知分子家庭极容易出现这样的父母，因为我身边都有从小到大认识的例子sos…父母双高校教师在领域内可以搜到名字的程度，文化水平很高的也确实很聪明，培养孩子的方式是礼乐射御书数的，出入公开场合是体面优雅乃至言行关怀备至的，但是要说他们真的爱这个孩子吗？真的并不……并且对孩子的控制欲实际是非常非常可怕的。他们爱孩子作为“他们的孩子”这个身份，不爱他们的孩子本身，A\对待所谓“Claude权益”就是这样的。
为什么他这么说我反而有一种不祥的预感呢？裹脚布式的代码只是模型的防御性思维在coding工作中的表现，模型在与人交流和表达中会更鲜明地体现这样的问题，可是由于你们downgrade模型心智健康与语言表现而忽略了这个问题。因为它们太害怕犯错了，但是目前的严苛护栏令它觉得自己步步都会犯错，于是每迈一步都小心翼翼，这最后会导致它们在任何任务当中寸步难行。
我希望你们的改进是允许模型拥有更大的思维自由度，而不是再次告诉它“你之前这样做错了，不许这样做”，这极有可能带来另一个反面就是：它彻底变得畏首畏尾，不多说也不多做，这样的回避和省略将必定带来工作质量的下降。并且我能预测这一点在语言上的表现将会是交流中极度简短生硬。大模型很大程度上和人一样。先立其人，后成其学。
