LiLens

🚨 AI 自己写的推理引擎，把 Strata 和 Basalt 给办了？ GitHub 上刚冒出一个黑马推理引擎 Infernix，最骚的是作者在主页坦白：这项目的代码和文档，几乎全是 Claude Opus 5.5 和本地跑的 Qwen 联手搓出来的！ 在单张 RTX 5090（Windows 11 / 84G 内存预算）上实测 Qwen3.8-Flash-Next： 1️⃣ NVFP4 权重下全面暴走： 首字响应时间（TTFT）比官方 Strata 快了整整 4.6~7.4 倍！在双路并发的 Agent 编码任务里，总耗时直接从 Strata 的 15.9 分钟缩减到 6.7 分钟——连前两天刚刷榜的 Basalt（8.9 分钟）都被它超了。 2️⃣ 不同量化的微妙反差： - 跑 NVFP4：Infernix 优势明显，直接登顶； - 跑 IQ3_S：Basalt 在 Prefill 阶段依然更快，但长文本解码时 Infernix 重新反超 25%。 3️⃣ 客观提醒： 目前的实测全部集中在吞吐速度上，具体生成质量和精度损失（Perplexity）还在测、尚未公开。 现在连底层高性能 C++/CUDA 推理引擎都开始由 AI 自己迭代自进化了。 📎 开源仓库：github.com/Wallawalla47/Infe…

薅了一波羊毛，确实不错👍

🧠 太炸裂了！Astra 居然能直接读写模型权重来“改进” Qwen。 过去搞 AI 几十年，大家都以为模型几亿个数字权重就是天书，想要模型变聪明，只能靠反向传播拿着算力慢慢磨。 但 MIT 最新这项研究彻底打破了认知：大模型不仅能肉眼读懂纯数字的底层权重，甚至能直接给其他模型动“开颅微创手术”！ 零微调、零梯度下降、一行训练代码都没跑： • 裸看权重猜功能 ➔ 丢给它 1.7 万个无标签的纯数字，不准做推理，它光看数值分布就能断定：“这是个玩打砖块的游戏网络”； • 手写权重虐翻强化学习 ➔ 像敲代码一样直接把逻辑写进权重矩阵，手搓出的游戏模型，直接打爆了苦练 1 亿步的 PPO 策略； • 改 0.016% 权重暴涨 6 倍数学 ➔ 发现 Qwen 存在死循环缺陷，直接精准切除第 15 和 19 层的特定方向——仅仅修改了 0.016% 的参数，Qwen 的数学得分从 7.9% 暴涨到 48.1%，指令遵循能力直接翻了 3 倍！ 以前大家聊“AI 自进化”，还以为只是让模型写写 Python 脚本；现在它已经学会直接在权重空间里敲代码、篡改神经元了。 靠梯度慢慢磨可能真的是笨办法，神经网络的微创手术时代真的来了。 📎 论文日志：rikiyat.github.io/blog/weigh… #深度学习 #MIT #大模型 #WeightSpaceProgramming #AI科研 #Qwen

⚖️ 成本只要三分之一，成绩差 1 个点！谷歌 Gemini 4 Carbon 第一次把 Opus 5.5 逼到了墙角。 在 SemiAnalysis 最新公布的 GDPx 全球高价值商业 Agent 榜单里，大家都在惊叹“第一名只有 12%”，但博主 @itangieff 扒出的这组横向对决数据，才真正把大模型头部的攻守逆转展现得淋漓尽致： • 代际暴涨 49% ➔ 谷歌上一代主力 Argon 当时只排在第 9 名（7.3%），而全新的 Gemini 4 Carbon 直接空降全球第 2（10.9%），单代跃升近一半，瞬间完成反超； • 三大旗舰实测账单拉通对比： - Claude Opus 5.5 ➔ 12.0% 领跑，单任务成本 $51.41； - Gemini 4 Carbon ➔ 10.9% 紧咬，单任务成本只要 $16.29（不到 Opus 的三分之一！）； - GPT-6 Astra ➔ 只有 9.6% 垫底，单任务成本却要 $53.99（得分最低、收费最贵，处境极其尴尬）。 只要三分之一的成本，就能换来 Opus 5.5 超过 90% 的顶级商业 Agent 战力，这也是为什么劈柴哥和各大评测社区都在疯狂吹这一代的 ROI。 不过在跟着欢呼之前，博主也点出了一盆非常现实的冷水： Carbon 目前普通开发者根本摸不到。 谷歌现在只通过它的 Fairwind 计划，把测试权限定向开放给极少数网络安全防御者。在它正式大面积开放 API 之前，大家生产力环境里真正能随时调用并落地的全能主力，依然只有 Opus 5.5。 榜单上的数字很漂亮，但只有能真正被开发者调用到的算力，才算真正的赢家。就看谷歌什么时候舍得把 Carbon 的大闸全面拉开了。 📎 演示视频来自 @ITangieff 前文联动 🧵👇 nitter.gq/LiLensss/status/211771… #Gemini #Claude #OpenAI #SemiAnalysis #大模型 #算力成本 #AI测评

🧪 屠榜还要打价格战！Gemini 4 Carbon 今天刷爆全网三大权威基准，谷歌后手代号接连泄露。 谷歌的旗舰模型 Gemini 4 Carbon 今天的实测数据彻底杀疯了——在今天最新放出的三大权威行业基准里，不仅全线登顶第一，而且把 OpenAI 和 Anthropic 的性价比打得抬不起头： • Perplexity 官方 WANDR 复杂长程基准 ➔ 跑出 0.857 登顶第一，单任务成本只要 $5.86！相比之下，GPT-6 Astra 只有 0.735（单次开销却高达 $13.34，贵了整整一倍多），Claude Opus 5.5 更是只有 0.647； • Artificial Analysis 全球智能综合指数 v5.0 ➔ Carbon 以 59 分 拿下全网最高分，力压 Opus 5.5（58分）和 Astra（57分）； • 代码与安全审计基准 ➔ SEC-bench Pro 拿下 88.2%，CWE-bench 拿下 71.0%。 更刺激的是原推文末抛出的内部猛料： 继此前的 Argon（氩）和今天的 Carbon（碳）之后，谷歌内部两款后续核心模型的化学元素代号刚刚被扒了出来——Uranium（铀） 和 Xenon（异氙）！ 结合这几天的产业情报来看，大模型头部的竞争格局正在发生剧烈震荡： 过去大家默认 Anthropic 和 OpenAI 牢牢霸占着智力天花板，谷歌只负责做便宜货；但如今 Carbon 的表现证明，谷歌的自研 TPU 矩阵和后训练正在迎来真正的爆发期——用别人三分之一的成本，跑出反超旗舰的断层得分。 加上还在暗中蓄力的铀（Uranium）和自带自进化机制的异氙（Xenon），谷歌这套元素周期表大招，看来才刚刚开始往外掏。 📎 榜单情报来自 @bebuu_ai #Gemini #GoogleAI #OpenAI #Claude #大模型 #ArtificialAnalysis #AI测评

🍏 苹果 Mac 党终于能本地跑单图生 3D 了！Speridlabs 的 Idol 迎来原生 MLX 移植。 前两天我们刚聊过火爆的开源单图生 3D 模型 Idol，但此前版本只能在 NVIDIA 显卡上跑 CUDA。 开源社区刚刚把这块拼图补齐了——开发者把完整的生成流水线移植到了苹果的 MLX 框架（mlx-vlm），直接原生跑在 Apple Silicon（Metal）上： 1️⃣ 16G 内存的普通 Mac 就能单机起跑： 峰值内存占用控制在极其克制的 ~8.6 GB，不需要昂贵的工作站，手头的 16GB MacBook Air、Pro 或 Mac mini 打开就能全离线生成； 2️⃣ 直接复用原版权重，支持百万高斯点云： 零 CUDA 依赖，直接吃 Speridlabs 原版 1.8B 权重，单张照片输入，自动生成 3.2 万到 100 万个高斯椭球体，输出标准的 3DGS .ply 文件； 3️⃣ 自带本地服务接口： 内置了 Local Server Endpoint，想要在本地搭自动化管线或者接 Web 前端非常方便。 --- 不过还是要给刚上手的 Mac 玩家提个醒： 产出的是高质量的 3D 高斯点云（3DGS），拿来做电商 360 度展示、空间视频或独立游戏的概念道具非常轻便好看；但它并不是传统带 UV 贴图的三角面网格（Mesh），想进传统 3D 渲染和建模管线，后续依然需要走一遍网格提取与烘焙流程。 终于不用眼馋 N 卡，Mac 用户的本地 3D 资产生成器也算是正式就绪了。 📎 演示来自 @Stefan_3D_AI 开源仓库：github.com/Blaizzy/mlx-vlm 原版模型：huggingface.co/speridlabs/id… #AppleSilicon #MLX #Mac #3DGS #高斯泼溅 #开源模型 #3D生成

⚔️ 别再拿选择题跑分了！有人让两大顶级大模型在局域网打了一场星际争霸式的即时战略对决。 评测极客 @niklaslenz_ai 刚刚搞了个极具观赏性的大活：他自己写了一套即时战略（RTS）对战引擎，没有人类介入、全程开启深度思考（Thinking on），让两大国产顶级模型在不同的物理硬件上各控一方互推基地！ 双方的软硬件配置非常硬核，甚至带点阵营对决的意味： • 蓝方（守望阵营） ➔ MiniMax-M3.1-Flash，部署在一台 苹果 Mac Studio M5 Ultra（256GB 顶配） 上，走 TensorFold 1.2.1 引擎与 MLX mix256k 混合量化（~3.8 bpw）； • 红方（天灾阵营） ➔ GLM-5.3-Flash，部署在 2 台 NVIDIA DGX Spark 超算节点 上，走 EXL3 4bpw 量化； • 第三方 AI 解说 ➔ 另拉了一台 DGX Spark 单独跑 Drama 3，分章节实时复盘战局、分析双方在战争迷雾（Fog of War）下的视野盲区与博弈动机。 对决规则极其残酷简单： 1. 唯一胜负标准是拆毁对方老家基地； 2. 每方最多只能起 2 座防御塔，逼着模型把算力花在兵线调度和攻防抉择上； 3. 从第 10 分钟开始双方获得无限资源，进入生死决战。 从实录视频看，博弈场面极其戏剧化： 两个模型在战争迷雾下完全是“黑盒博弈”——它们需要一边分析自己视野里探到的敌情，一边在内部长思维链里权衡“是先造塔固守，还是趁虚爆兵偷家”。走位、拉扯、试探与战术反制全部由模型自行规划吐字决策。 这场实验最大的启发，在于它把大模型的 Agent 评估带入了一个完全崭新的维度： 刷榜刷题早已不能代表模型的真实智力。让模型在带有动态物理规则、信息不对称（战争迷雾）和强对抗博弈的环境里自己做决策，谁在重压下少犯错、谁的策略闭环更深，高下立判。 📎 演示原视频来自 @niklaslenz_ai #MiniMax #GLM #MacStudio #DGXSpark #大模型对决 #AI游戏 #即时战略

🧊 一张照片秒变 100 万个 3D 高斯点云！ComfyUI 官方封装上线 3D 神器 Idol。 很多做游戏资产、3D 打印或空间可视化的同学，过去用单图转 3D 工具最大的痛点有两个：要么速度慢得像看幻灯片，要么生成的背面一团糊、边缘破碎不堪。 ComfyUI 官方刚刚打包收录了 speridlabs 开源的单图生 3D 模型 Idol，直接把 3D Gaussian Splatting（3DGS）的生成门槛打穿到了消费级显卡： 1️⃣ 单图输入，百万高斯点云直接成型： 扔给它任意一张物体照片、渲染图或 Midjourney 生成图，内置的 BiRefNet 会自动抠图对齐，直接实时解算出最高 104 万个（1,048,576）3D 高斯椭球体，输出标准的 .ply 文件，连原图根本没拍到的背面结构与材质光影都补得整整齐齐； 2️⃣ 7.2G 显存就能单卡跑通： 整个流水线参数量只有 1.8B（整合了 370M DiT 去噪器、DINOv3 视觉大模型与 FLUX.2 VAE），运行峰值显存仅需 7.2GB VRAM，主流 8G 显存的 RTX 3070、4060 笔记本都能本地跑通，彻底告别爆显存； 3️⃣ 横向评测全线霸榜： 在统一标准基准测试中对比 TripoSplat、TRELLIS 和 LGM，Idol 在结构相似度（SSIM 0.726）、多视角特征对齐（CLIP 0.885）与边缘清晰度上全部拿下第一名。 --- 各类显卡上的真实生成速度： • 数据中心 B200 / B300 ➔ 50 步采样仅需 3.4 ~ 3.6 秒 出片； • RTX 5090 台式机 ➔ 端到端生成仅需 14.1 秒； • RTX 4090 主流旗舰 ➔ 跑完一整只精细 3D 模型只需 19.1 秒； • RTX 3080（10G 显存） ➔ 也能在 46 秒内平稳完成。 现在的 ComfyUI 已经完美无缝支持，直接复用现有的 TripoSplat 工作流节点，把对应权重丢进 models/ 目录即可开箱即用。 --- 实际落地也有三盆非常现实的冷水： 1. 速度宣传有水分：主页号称“不到 2 秒”，但看官方底表连 B300 都要 3.4 秒，4090 是 19 秒，8G 卡实际跑一次通常要几十秒，别轻信 2 秒神话； 2. 能力边界受限：只适合做孤立单体静物，人脸极易糊，且背面纯靠模型经验“脑补”，做概念道具展示没问题，当工业实测扫描必翻车； 3. 格式需二次转换：产出的 .ply 是高斯点云而非传统三角形网格（Mesh），想进游戏引擎和常规建模管线，后续还得自己多加一道拓扑提取流程。 抛开宣发水分，能把单图生成高斯点云的显存和门槛压到 8G 普及级，依然称得上是一个极具可用性的 3D 生产力节点。 📎 ComfyUI 权重：huggingface.co/Comfy-Org/Ido… 原版仓库与 SDK：github.com/speridlabs/idol-s… #3DGS #高斯泼溅 #ComfyUI #3D生成 #AIGC #开源模型

🦾 换套工具链，开源大模型也能稳稳控制机械臂！清华与伯克利联手开源具身基座 uni-robot-agent。 在具身智能圈子里，让大模型操控机器人做复杂任务一直有个致命痛点： 很多人以为开源模型手眼不协调是因为“脑子不行”，但清华与 UC 伯克利团队的研究揭露了另一个真相——不是开源模型不能干活，而是以前的机器人接入框架（Harness）做得太糙，给模型的空间反馈和工具动作充满了噪音。 他们联手开源了跨仿真与真机的统一具身工具链 uni-robot-agent，用本地部署的开源模型 Qwen3.8-Flash-Next 跑出了极具说服力的对照实验： • 工具链带来的逆天质变 ➔ 同样是本地运行的 Qwen3.8-Flash-Next，在旧框架（RoboProbe）下综合得分只有可怜的 1.90 分；而一旦切入 uni-robot-agent，在没有开任何特权深度外挂的前提下，得分直接狂飙到 31.39 分（任务成功率 SR 达到 25.00%）！ • 越级对标顶级闭源成绩 ➔ 这一表现不仅打平了一批专用小模型，更一举超过了此前官方公布的 GPT-6 Astra 在旧框架下的公开基准（28.97 分）；当然必须承认，如果把 Astra 也放进这套新框架，其得分会进一步飙到 51.90 分； • 真实物理桌面机械臂实测 ➔ 在 19 项真实的桌面抓取与物理操控任务中，Qwen 凭借新框架拿下了 49.50 分，微弱险胜了经过专门微调训练的具身模型 π0.5（47.75 分）； • 成本直接砍掉约 95% ➔ 相比调用商业闭源模型（Astra 单局约 $21.29），本地开源的 Qwen 单局调用开销仅需约 $1.09（不到前者的 1/20）。 这项研究最大的启发，在于它把具身智能从“盲目堆大模型算力”拉回到了“优秀的交互工程学”——只要相机标定、空间关系与动作反馈的工具链搭建得足够扎实，普通研究者用成本极低的开源权重，也能在物理世界里搭出一套真正能打的机器人智能体。 📎 论文详情：arxiv.org/abs/2611.01560 开源仓库：github.com/Open-RUA/uni-robo… #具身智能 #机器人 #Qwen #清华 #伯克利 #AIAgent #开源技术

🌪️ 算力负债近 9000 亿、9 个月烧光千亿美金！Anthropic 刚递交的 IPO 招股书，藏着整个 AI 行业最恐怖的秘密。 就在昨天（11月2日），Anthropic 向美国 SEC 紧急提交了修订版 S-1 招股书。此前第一版故意隐去了 Q3 业绩，这次补齐之后，上面的财务数字直接把华尔街看傻了，市场当场用脚投票（韩国半导体股瞬间重挫 3.6%）： • 营收与烧钱速度 ➔ Q3 单季营收冲到了 169.6 亿美元，但净亏损直接干到了 232.9 亿美元；今年前 9 个月累计净亏损高达 1040 亿美元！ • 一眼望不到头的基建账单 ➔ 公司已背负的长期算力与数据中心租约承诺，达到了令人窒息的 ~8954 亿美元（近 9000 亿美金）！ • 资本市场排队抽血 ➔ 计划在感恩节前以“ANT”代码登陆纳斯达克；而同期 Meta 正在筹备增发 950 亿新股，超大数据中心算力商 Nscale 也要扎堆 IPO 募 350 亿。 但上面这些天量亏损，在招股书第 29 页悄悄补上的那一句话面前，根本不值一提——这也是目前全网讨论极少、但技术价值最高的一条绝密披露： Anthropic 首次在官方公开监管文件里承认：根据内部评估与对未来新模型的测算，他们即将跨过 RSP（责任扩展策略）中关于“递归自进化（RSI）”的警戒阈值！ 官方给这个阈值的定义直白得让人后背发凉：“由 AI 自身驱动带来的研发提速，将在一年内完成过去两年人类 baseline 的进展总和。” 甚至招股书里还坦白，由于 AI 自我加速的飞轮转得太快，公司可能在加速已经实际发生之后，才能事后识别出来。 深入看透这份招股书，会发现两个极其残酷的产业真相： 1. 重资产对赌与流动性踩踏： 以前软件行业是“高毛利、轻资产”，而如今的顶级 AI 已经变成了“重资产公用事业 + 极高风险的科研对赌”。前 9 个月赚 332 亿，背后却死死绑着近 9000 亿不可撤销的算力硬债务！赶在感恩节前上市，根本不是因为财报多好看，而是因为身后排着 Meta、OpenAI 和一堆算力服务商——二级市场的存量流动性就这么多，谁先上市敲钟，谁才能从公共市场抢到最后一口续命水。 2. 最致命的“商业与安全死结”： 这份文件暴露出一个商业史上前所未有的悖论：作为上市公司，你必须为了偿还 9000 亿债务而狂飙算力、拼命商业化；但只要你的模型真正撞开 RSI 的大门进入自进化循环，你自己的责任政策又必须强迫你踩下刹车、冻结模型发布！ 资本想要的是源源不断、受控的利润回报，而技术正在冲向不可逆的失控奇点。这份招股书，其实是整个人类科技史上第一份写给资本市场的“赌国运契约”。 📎 深度报道：shattered.io/what-the-anthro… #Anthropic #Claude #IPO #AI奇点 #RSI #资本市场 #人工智能

当你把大模型的上下文拉到 1000 万 Token，它有 98% 的时间根本不是在思考，而是在硬盘和显存里瞎翻索引。 苏黎世联邦理工（ETH Zurich）和 Prefrontal AI 翻开底层算子发现了这个极其尴尬的真相：在千万级超长上下文里，传统稀疏注意力最大的开销根本不是算矩阵乘法，而是大海捞针找“该看哪个词”，光这个寻址过程本身就是个算力黑洞。 他们刚开源的方案 Latent Sparse Attention (LSA) 直接把解题思路给换了：不再挨个扫描数以千万计的 Token，而是把它们先按语义压缩聚类成一棵低维特征树，模型只查聚类中心，顺着树状索引去找相关的几个桶。全盘地毯式搜索瞬间变成了精准的树查找。 针对老模型和新训练，他们分了两条路走： • 老模型平替（D-LSA）：基座模型完全冻结，只微调蒸馏每层极小的投影索引矩阵，几张卡花很小的代价就能把现有大模型移植过去； • 从零预训练（N-LSA）：直接在预训练阶段内置这套聚类逻辑，128K 长度下每层训练直接省出 1.6 倍的速度，精度和全注意力毫无二致； • 底层的 FlashAttention 计算内核一行不改，只在前面解决“挑数据”的卡顿。 在 H200 和 B300 节点上的实际表现： • Qwen3.8-27B 挑战 1000 万 Token ➔ 单层 Attention 算子的 Prefill 速度狂飙 72.4 倍，解码快 42.5 倍，端到端首字响应时间直接砍到约 1/9； • GLM-5.3-Flash ➔ 对比官方自带的稀疏注意力，Prefill 依然快出 22.7 倍； • 在 RULER 大海捞针等长文档任务里，测试得分几乎完全贴合全量注意力。 官方已经把这套方案做成了 SGLang 插件，想在服务器上跑 Qwen3.8-27B 现成蒸馏版的话，步骤非常简单： 1. 拉取代码：git clone github.com/Prefrontal-AI/lat… && uv sync 2. 从官方 release 下载现成的 qwen38_27b.pt 投影权重； 3. 挂载到官方 SGLang 镜像，启动时带上： --json-model-override-args '{"lsa": {"projections": "/maps/qwen38_27b.pt", "query_heads": "all"}}' 并加上 --disable-prefill-cuda-graph。 客观来说，1000 万 Token 的吞吐依然需要严肃的服务器显存支撑。但这项技术真正厉害的地方，是终于让大家看清了方向——未来的超长文本 Agent，靠蛮力穷举必定碰壁，用低维潜空间建树状索引，才是大模型走向千万级上下文唯一的正规军路线。 📎 开源仓库：github.com/Prefrontal-AI/lat… 论文详情：arxiv.org/abs/2610.42147 #深度学习 #LLM #稀疏注意力 #SGLang #长上下文 #Qwen #开源技术

🎬 8G 显存就能本地跑 MiniMax H3！伯克利团队开源视频生成引擎 FreeVideo。 玩过 AI 视频生成的创作者都有体会：像 MiniMax H3 这类电影级大模型，以前想要本地跑，动辄要求 24G 甚至双卡专业显卡，普通人的游戏本和台式机根本连模型都载入不进去，只能按秒给云端平台交昂贵的月费。 伯克利与 FlashML 团队刚刚把这扇大门彻底拆掉了——开源推理引擎 FreeVideo，直接把 MiniMax H3 强行压进了一台普通的家用电脑： 1️⃣ Video DeltaNet（VDN）混合注意力： 采用基于 OpenVDN 的 8 步蒸馏模型，从底层重构了时序注意力机制，摆脱传统视频扩散模型庞大冗余的去噪开销； 2️⃣ 多级动态显存下沉与分块计算： 采用权重动态流式加载（Weight Streaming）与异步显存预取，将 GPU 显存、系统内存与 NVMe 硬盘深度打通，最低仅需 8GB 显存 + 16GB 内存就能稳稳起跑，彻底消灭 OOM 崩溃； 3️⃣ 硬件自适应加速路径： 启动时自动探测硬件：普通消费级显卡（GeForce RTX 30/40/50 系）走自适应 int8，专业卡与数据中心卡自动切换原生 FP8，不浪费一丝算力。 --- 不同硬件上的实际表现： • 4060 笔记本（8G 显存 / 32G 内存） ➔ 跑 768×1344 分辨率、15 秒长的轻量视频，端到端耗时约 24 分钟； • 4070 SUPER（12G 显存） ➔ 跑 1344×768、15 秒精细大片，用时 34 分钟； • 5090 台式机（32G 显存） ➔ 顶格拉满“极致（Max）”画质，跑一段高质量视频仅需 336 秒（5 分多钟）； • M4 Max Mac（统一内存） ➔ 苹果芯片预览版跑 5 秒视频耗时 34 分钟，全离线本地出片； • 节点生态打通 ➔ 生成的视频文件直接拖进 ComfyUI 画布，瞬间 100% 还原提示词、种子和全部工作流。 实际使用也有两个很关键的细节：8G 显存虽然能跑，但如果机器总内存只有 16GB，大部分时间会花在固态硬盘的换页读取上；另外笔记本生成时负载较高，容易撞温度墙降频，最好垫个散热架。 以前做 AI 漫剧和短视频，最大的制约就是“试错成本”——在商业平台生成 100 条可能废掉 90 条，几百块钱眨眼就没了。当 FreeVideo 把电影级视频生成的门槛砸穿到 8GB 显存，创作者第一次可以在自己的电脑上零成本无休止地调试分镜与 LoRA 风格。算力门槛下放的那一刻，才是真正属于独立创作者的黄金时代。 📎 开源仓库：github.com/FlashML-org/FreeV… 官方展示：freevideo-community.pages.de… #FreeVideo #MiniMax #AI视频 #ComfyUI #开源项目 #生成式AI

⚙️ 纯 C 语言手搓！仅靠一颗普通 CPU + 8GB 内存，硬生生跑通了 2.78 万亿参数的 Kimi K3。 GitHub 上刚放出一个让人头皮发麻的极客项目 kimi-k3-in-c： 零显卡（0 张 GPU）、零 Python 框架、甚至连 BLAS 数学加速库都不调，仅靠 7 个纯 C 语言源文件（编译出来的程序仅 176 KB），就把月之暗面总重达 1.56 TB 的 2.78 万亿参数 Kimi K3，完整跑在了一台只有 8GB 内存的普通笔记本上！ 很多人第一反应是“这怎么可能塞得下？”看完作者极其严密的 4 级漏斗削减架构，简直是一场教科书级的内存与磁盘调度奇迹： --- 🧩 一、 从巨型集群压进 8G 笔记本的四大底层手术 1️⃣ 专家不解码（原生 4-bit 直乘）： 1.45 TB 的 896 个路由专家全部以 MXFP4 原生存储，引擎坚决不做反量化常驻，需要算哪几个专家，矩阵运算就直接吃 4-bit 算，算完就走； 2️⃣ KDA 线性注意力（记忆不膨胀）： 93 层网络中有 69 层是 Kimi 独有的 KDA 线性注意力层，循环状态大小恒定，上下文再长内存也绝不膨胀； 3️⃣ Gated MLA 单潜变量压缩： 剩下的 24 层全注意力全部走 MLA 压缩，用单一低秩潜变量（3584 维）替代传统多头 KV Cache； 4️⃣ 主干流式分页（把内存门槛变成旋钮）： 最神的一步——作者写了个预打包脚本，把 93 层的主干打包成单个约 109 GB 连续二进制文件。内存小（8G 笔记本），主干直接从高速固态硬盘逐层流式按需读取；内存大，就自由决定把多少层常驻在内存里。内存不再是能不能跑的硬门槛，而只是用来调节速度的“旋钮”！ --- 📊 二、 真实实测数据：多花内存只买速度，答案逐字一致 最惊艳的是作者做到了“字节级完全一致（Byte-Identical）”——无论在 8G 轻薄本还是在 128G 工作站上，跑出来的 Token 答案完全一模一样，变的仅仅是快慢： - 普通 8GB 笔记本（Laptop 预设，实测峰值仅 8.24 GB）：全部靠固态流式读取，单 Token 吐字约 26.5 秒； - 32GB 电脑（Desktop 预设）：部分主干常驻内存，提速到 24.2 秒/token； - 64GB 电脑：更多专家进缓存，推到 19.8 秒/token； - 128GB+ 工作站（Server 预设）：主干全部常驻内存彻底消灭磁盘等待，速度直接飙升到 5.6 秒/token（提速近 5 倍）。 --- 💡 三、 这事到底意味着什么？ 这个项目给整个大模型圈上了一堂生动的计算机体系结构课： 以前大家被庞大的 Python 库、显卡驱动和昂贵的机房堆栈蒙住了双眼，以为万亿大模型必须与数百万美元绑定。 当有人用最古朴纯粹的 C 语言，在 8G 内存里一笔一划把 2.78 万亿大模型的答案吐出来时，它证明了：大模型本质上就是一堆数学与数据流，只要你懂计算机底层，没有哪座高山是普通硬件绝对翻不过去的。 📎 开源仓库：github.com/FareedKhan-dev/ki… #Kimi #C语言 #底层开发 #开源大模型 #极客精神 #体系结构

🛠️ 别再拿截屏去猜坐标了！Vercel Labs 开源 agent-desktop：大模型操控电脑的底层逻辑彻底变了。 过去一年，各大厂商都在卷 Computer Use（AI 替你操控桌面电脑）。但凡在实际业务中用过的人都知道，传统方案有多折磨人： - 抢鼠标焦点：模型一跑起来，你的真实物理鼠标就在屏幕上乱晃乱点，你连微信、网页都别想正常用； - 暴力视觉极度脆弱：每动一步都要截一张几 MB 的高分辨率全屏图塞给模型。不仅单步延迟高达 3~5 秒、Token 账单爆炸，而且只要遇到系统缩放、深浅色模式切换或者窗口稍微被遮挡，坐标就直接点偏点空。 刚加入 Vercel Labs 的核心作者甩出的 agent-desktop，彻底颠覆了这种“盲人摸象”式的视觉方案： --- ⚙️ 一、 核心底层变革：从“看像素”到“直读系统无障碍树” 1️⃣ 纯 Rust 重构，把桌面软件变成虚拟 DOM 树： 它不跑任何大模型，而是一个极致轻量的系统级 CLI 与 C 库。底层直接对接各操作系统的原生辅助技术 API： - macOS：挂载系统底层 AXUIElement 辅助无障碍树； - Windows：接入微软 UI Automation； - Linux：直连标准 AT-SPI。 每一个窗口、按钮、文本框都会被提取为结构化的 JSON 节点，并附带唯一且生命周期锁定的句柄（如 @s8f3k2p9:e8）。大模型操控桌面就像当年浏览器里操作 DOM 一样精准，再也不需要靠像素去盲猜！ 2️⃣ 真正的静默后台操作（Headless by default）： 只要调用无障碍 API 触发事件，完全不移动你的物理鼠标指针，也不抢夺前台激活窗口！你在前台正常敲代码、开视频会议，多个 Agent 可以在后台各自持有虚拟会话与独立光标，静默操作其他软件，互不干扰。 3️⃣ 跨生态通用插件： 完美适配 Claude Code、Codex、Cursor、Hermes 等所有主流终端与编码智能体。单行命令 npm install -g agent-desktop 或通过 skills.sh 即可为你的智能体装上这双“无形大手”。 --- 💡 二、 极其清醒的选型建议与落地边界（必看大实话） 很多开发者问“是不是以后所有自动化都要用它？”社区技术党给出了非常理性的总结： 1. 有 API / MCP 接口的软件 👉 坚决别用它！ 如果你的目标服务本身提供了官方 API、命令行 CLI 或 MCP 协议，直接调接口永远是更便宜、更稳固的选择； 2. 网页端自动化 👉 继续用 agent-browser 或 WebMCP； 3. 它真正无可替代的统治战场： 是那些长年没有 API、没有 Web 端的“深水区桌面软件”——比如老旧的企业内部客户端、ERP 安装配置界面、无接口的专业工业设计工具，或者自动化流程中卡死在弹窗确认的最后一步。 ⚠️ 安全红线提醒： 因为它能以读屏软件的视角提取系统里的所有窗口文字与剪贴板，在日常生产机上跑未经验证的自动化脚本时，务必在沙盒或独立测试账户中运行，防范环境凭据外泄。 📎 开源仓库：github.com/vercel-labs/agent… 官网文档：agent-browser.dev/desktop #AIAgent #ComputerUse #Rust #Vercel #自动化 #开源项目

💡 以前考 90+ 分的基准全是虚假繁荣！全球顶级模型进入真实商业深水区，最高分居然只有 12%。 半导体与算力权威智库 @SemiAnalysis_ 连发 7 条重磅推串，正式甩出震撼硅谷的全新智能体基准 GDPx。 与市面上那些给模型“喂好上下文、考选择题”的玩具基准不同，GDPx 联合了 14 家全球顶级数据机构，专门把模型扔进芯片设计（Chip Design）、量化高频交易（Quant Trading）、网络攻防（Cybersecurity）、生物医药、法律与 RSI 递归自进化等 11 个最赚钱的万亿级商业场景。 单次任务执行上限直接放宽到 8 小时，逼着模型在真实企业级 deal room（上千份真实账目与代码文件）里端到端交付。结果极其残酷，直接撕掉了所有模型的遮羞布：全球最强的第一名，及格线也仅仅只有 12.0%！ 深入拆解这套榜单，信息量与行业内幕极大： --- 🏆 一、 诸神偏科图鉴：谁在哪个领域真正称霸？ 1️⃣ Claude Opus 5.5（综合 12.0% 登顶全能王）： 在芯片架构设计、硬件工程、量化高频交易三大赛道几乎完全统治全场，工程底蕴极其雄厚，但单任务成本也最高（~$51）； 2️⃣ Gemini 4 Carbon（10.9% 紧咬第二）： 谷歌真正的王牌逆袭！不仅在生物制药与核心软件工程上拿下第一，而且单次任务成本只要 $16（只有 Opus 的三分之一！劈柴哥专门转发赞叹性价比）； 3️⃣ GPT-6 Astra（9.6%）与 Muse Wonder（9.0%）： Astra 在“递归自进化（RSI）”与材料科学上断层第一；而 Meta 的 Muse Wonder 在网络攻防（Cybersecurity）上竟然以肉眼可见的差距把所有人甩在身后！ 4️⃣ 开源主力抗压： DeepSeek-V4.1-Flash（5.4%）是唯一冲进前排的开源代表，力压 GPT-6 Luna 与 Grok 4.7。而在复杂金融并购与法务审计任务上，由于涉及到复杂的权责发生制和合同漏洞推演，几乎全网所有模型全部拿了 0 分！ --- 🎭 二、 榜单背后的惊天内幕：安全分类器（Safety）在演戏拖后腿 SemiAnalysis 在推串中特别揭露了一个被严重低估的事实： Opus 5.5 和 GPT-6 Astra 的总分被自家的“安全过滤器”严重拉低了（Sandbagged）！ 遇到网络渗透或者高精生物实验任务，模型其实具备攻克能力，但官方的安全策略直接触发拒答或强制掐断，直接按 0 分算。 如果把安全分类器最容易误杀的“网络、生物、对齐”三个领域剔除： 👉 GPT-6 Astra 反而超越 Opus 5.5 逆袭成为第一名，而 Carbon 会从第二跌到第五！这也是为什么 Meta 的 Muse 能在网络攻防里断层领先——它的安全限制更松、实战能力更放得开。 --- 💡 三、 万亿美金的商业终局总结 SemiAnalysis 强调了一句非常冷酷的大实话： “AI 的第一个一万亿美金收入，绝不会平均撒胡椒面式地扩散到全行业，而是必然集中在极高 ROI、能被尖端智能瞬间放大的少数硬核产业。” 聊天吹水、写简单代码的时代已经彻底过去，接下来真正的分水岭，全看谁能把这 12% 没被攻克的深水区一点点啃下来。 📎 完整榜单与情报来自 @SemiAnalysis_ ，报告：gdpx.semianalysis.com

⚡ 8G 到 12G 显存党的终极解法！19B 甜点尺寸 MoE 实测，把 35B 的速度拉爆 2.6 倍。 手头有 RTX 3080 10G、3060 12G 或 4070 的同学，本地跑模型常年陷入尴尬： - 跑 9B 小模型，显存剩一堆，但智商上限明显不够看； - 跑 35B 级别大 MoE，显存又塞不下，大量网络层只能硬甩给 CPU，速度当场暴跌到十几 tok/s。 评测博主 @PaulGug 在单张 RTX 3080 10G 上实测了全新甜点模型 Groot 19B A3B（基于 Qwen3.6-35B-A3B 剪枝精调），对决顶流 35B 选手 MiniCPM-V 4.7： 1️⃣ 质量媲美 35B，智商不降级： 在 51.2K 上下文任务中，开启思考模式的 Groot 19B 轰出 269/300 分，紧咬 35B 的 273 分！用 19B 的身躯硬生生打出了 35B 大模型的输出水准。 2️⃣ 长上下文速度直接翻 2.6 倍： - 在 51K 上下文时：Groot 狂飙 52 tok/s，而 35B 只有可怜的 20 tok/s； - 在 128K 超长上下文时：Groot 依然稳在 42.5 tok/s，35B 却掉到了 17 tok/s。 - 根本原因：35B 遇到长文本显存吃紧，只能把更多层推给 CPU 慢慢磨；而 19B 显存充裕，全程跑在显卡高速通道里。 💡 选型总结与获得感： 显存只有 8G~12G 的中端卡，别再头铁硬塞 35B 了。选一个带有激活机制的 19B 甜点级 MoE 才是当前最聪明的解法——不仅拥有接近 35B 的严谨逻辑，还能换来翻倍的丝滑吐字速度与 128K 超长上下文空间。 📎 评测数据来自 @PaulGug 权重直达：huggingface.co/GrootTeam/Gro…

🚨 同样是用游戏卡跑 100B+ 超大 MoE，FreeToken 和 Strata 到底差在哪？深度实测与底层架构全景对比。 随着 Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash 这类百亿级激活、千亿级总参数的顶尖 MoE 开源，本地算力党面临同一个终极拷问：单张 24G/32G 消费级显卡（3090/4090/5090），到底怎么啃得动上百 G 的大模型？ 目前社区里最火的两个方案，恰好代表了两种截然不同的路线： - 一方是 UC Berkeley、MIT、韩松团队联合推出的学院派正规军：FreeToken（论文 arXiv:2608.16157）； - 另一方是 独立开发者 Niko1221 靠极客工程刀法杀出来的单兵利器：Strata。 表面看它们都在做“把装不下的专家扔给 CPU 和内存”，但在实际真机实测中，两者的底层技术细节和硬件胃口有着天壤之别： --- 🖥️ 一、 硬件门槛对决：平民 64G 内存 vs 豪华 128G+ 内存池 很多玩家装了 FreeToken 发现机器根本跑不动，根本原因在于内存架构的分配策略： - FreeToken 走的是“全专家钉在内存（Pinned RAM）”路线： 它要求将整个模型的所有专家全量常驻在主内存中。官方论文里的测试机动辄配置 128G 甚至 192GB 顶配 DDR5。如果你的机器只有 64GB 内存，跑超大模型很容易直接被系统杀进程。 - Strata 是货真价实的“64G 内存平民救星”： 像 Qwen3.8-Flash-Next 有一张高达 29GB 的大嵌入表（n-gram embedding），FreeToken 必须把它整张塞进 RAM，而 Strata 却极其巧妙地把它留在 NVMe SSD 上按需读取，需要哪几行才调哪几行！这直接让普通玩家“单张 4090 + 64GB 内存”就能轻松越级跑 125B 的大模型。 --- ⚙️ 二、 核心技术细节拆解：动态弹性池 vs 激进工程剪枝 1️⃣ FreeToken 的核心大招：带宽自适应（q* 策略）与语义快照 - 硬件打通成弹性池：不把 GPU 当孤岛，而是实时根据当前 PCIe、CPU 算力与内存带宽动态调整调度比例，双缓冲 Prefill 流水线让硬件谁都不闲着； - 动态显存热调配：在模型运行中，可直接无感动态调整专家缓存与 KV Cache 的显存配比，完全不需要停机重启或重新加载几十 G 的模型； - 语义感知状态快照（Semantic-Aware Caching）：专门针对 Coding Agent 设计。当智能体进行工具调用（Tool Calls）或者展开多轮思考块（Thinking blocks）导致上下文变动时，它能通过语义锚点精准复用缓存，免去昂贵的上下文二次重复计算。 2️⃣ Strata 的核心大招：专家尾部跳过（Tail Skip）与专注单卡极限 - 激进剪枝换吞吐：开启 STRATA_ROUTE_TAIL_SKIP 后，对于权重排名极其靠后的冷门专家，系统会直接选择跳过计算与传输，用极其微弱、人类几乎无法感知的精度浮动，在本地强行榨出极致的吐字速率； - 原生集成了针对性更强的投机解码（MTP），在特定模型架构上做到了极致的软硬件压榨。 --- 📊 三、 真机实测数据与适用战场 - 在 Qwen3.8-Flash-Next（125B）战场： Strata 凭借针对性极强的内核优化，在 64G 内存的单机上就能跑出 100+ tok/s 的中位数速度，比 FreeToken 更轻快、门槛更低。 - 在 280B 乃至 750B+ 的超级巨兽战场： FreeToken 的体系化正规军优势显现无遗。实测在单张 RTX 5090 上跑 284B 的 DeepSeek-V4-Flash，解码稳定在 22~25 tok/s；跑 65GB 的 gpt-oss-120b 单流解码高达 127.1 tok/s；甚至在单张专业工作站卡上把 753B 的 GLM-5.2 跑出了 14.9 tok/s（llama.cpp 仅 7.3 tok/s）。而且 FreeToken 还自带独立的 Windows / Linux 桌面 GUI 控制台。 --- 💡 四、 真实玩家选型结论（极简准绳） 1. 显存装得下的小模型（<35B）：这两个都别碰！老老实实用 vLLM 或原生 llama.cpp，常驻显存速度才是最快的； 2. 机器只有 64G 内存，主打 125B 级别的模型做日常编程 👉 果断上 Strata，它是目前对硬件包容度最高、刀法最精准的选择； 3. 主板插满了 128G~192G 豪华内存，经常跑复杂 Agent 多轮工具链，且想挑战 284B DeepSeek 等天花板级大模型 👉 FreeToken 才是真正的完全体。 📎 FreeToken 仓库：github.com/FlashML-org/FreeT… 📎 FreeToken 论文：arxiv.org/abs/2608.16157 📎 Strata 仓库：github.com/Niko1221/Strata #本地大模型 #MoE #RTX5090 #RTX4090 #FreeToken #Strata #开源AI

🚨 显存装不下的超大 MoE 终于有救了！单张 4090 跑 Qwen3.8 从 29.8 狂飙到 97.3 tok/s。 社区刚开源了 tandem.cpp（一组给 llama.cpp 打的底层神级补丁），在一台极其平民的机器（i5-12400F + 64G DDR4 + RTX 4090）上，跑 78GB 的 Qwen3.8-Flash-Next（IQ3_S + MTP），速度直接暴涨 3.3 倍，逼近专用引擎 Strata！ 为什么能白捡 3.3 倍提速？底层架构做了极其精妙的重构： 1️⃣ 从“按层死切”变“热点专家动态缓存”： llama.cpp 原生是固定把后半截层全扔给内存硬算，每次生成都要跨内存读一遍；tandem 把显存剩余空间当缓存，常用专家反复命中，实测缓存命中率高达 98.7%！ 2️⃣ CPU、PCIe 与 GPU 三路协同并行： 没命中的专家不再干等。tandem 会根据带宽测速分成两批：一批丢给 CPU 算，另一批经 PCIe 传进显存，GPU 此时还在算缓存里的专家，全链路无缝双工，谁都不闲着。 3️⃣ 投机解码价值被彻底激活： 过去因为专家都在内存，开 MTP 投机解码验证多 Token 基本负收益；现在绝大部分专家常驻显存，多 Token 验证的边际成本骤降，单卡直接满血起飞。 最受益的是“单张大显卡 + 大内存”的普通工作站用户，精度完全与原版对齐。 📎 补丁仓库：github.com/ewhacc/tandem.cpp

🚨 终端敲命令的时代翻篇了！开源调度神器 T3 Code 来了，把所有 Coding Agent 装进同一个工作台。 以前玩 Claude Code、Codex 或 Cursor，要么在黑漆漆的命令行里干瞪眼，要么在多个客户端之间来回反复横跳。 ping.gg 团队直接甩出了这个统治级的控制台 t3code： 1️⃣ 一个界面统一操控全家桶： 同一工作台内同时编排 Claude Code、Codex、Cursor、Grok、OpenCode 和 Google Antigravity。直接复用你本地已有的官方订阅与授权，不抽佣、不加价。 2️⃣ 多 Agent 独立分支，一键直接提 PR： 每一个 Agent 会话自动在独立的 Git 分支静默修改代码。内置行内 Diff 差异审查，代码跑通后，点击一个按钮自动生成 PR 标题、总结并直接提交到 GitHub！ 3️⃣ 跨端全平台支持： 除了桌面客户端（Mac 支持 Homebrew / Windows 支持 winget），还直接上线了 iOS App Store、安卓和网页版，在手机上也能随时查阅与审批。 完全开源，允许自由 Fork 魔改 UI。你的 Agent 确实值得一个比命令行更趁手的现代控制台。 📎 开源仓库：github.com/pingdotgg/t3code ，官网：t3.codes

🚨 看到别人惊艳的网站或小游戏想自己做一个？这个 Rust 开源神器直接把“逆向克隆”打通了。 GitHub 上刚放出一个硬核项目 craft-anything：只要扔给它一个目标网址或应用，它就能先自动拆解它的底层逻辑，再调度 AI Agent 为你重构出一个纯净代码版本！ 它的架构设计非常讲究，完全不是瞎猜： 1️⃣ 净室研究与无污染重构： 用纯 Rust 打造，首先深度分析原产品各端布局、交互状态与资产结构；接着唤醒本地的 Claude Code（直接走本地授权，绝不泄露凭据），按你要求的语言（React/Vue/Rust 等）从零生成全新的工程架构。 2️⃣ 是校验对比，不是盲猜（Checked, not guessed）： 最神的是内置了可视化校验系统——把生成的项目与原版逐页进行差异比对，实时列出未对齐细节和匹配度打分，直到严丝合缝对齐。 3️⃣ 自带 CLI 与 MCP 协议原生支持： 除了图形客户端，还能直接以 MCP 服务跑在后台（craft-anything-cli mcp），随时充当你的个人 Agent 军火库。 无论是拆解优秀前端设计、学习复杂的全栈架构，还是做原型复现，效率直接翻倍。 📎 开源仓库：github.com/storytold/craft-a…