日本漫画家ぬこー様ちゃん展示了一套很实用的 AI 工作流:用 iPhone 扫描真实房间,做成可以反复使用的漫画背景!
他先用 iPhone 的 LiDAR 传感器扫描房间,再让 AI 辅助生成 3D 模型,最后渲染成自己的漫画画风。
整个建模过程花了大约 2 小时。
有意思的是,场景做好之后,就可以自由调整镜头角度,从不同方向输出漫画背景,而且家具布局、空间透视都能保持一致。
我觉得这对独立漫画创作者特别有价值。
想象一下,一部连载漫画里,同一个房间可能出现几十甚至上百次。以前每次换镜头,都要重新处理背景和透视。现在只需要建立一次 3D 场景,后面就能反复使用。
如果把主角的家、办公室、街道等常用场景都提前建好,一个人制作长篇漫画的工作量可能会大幅降低。
这套方法甚至可以用于动画分镜和游戏场景设计。
类似于特工电影中那种蜂群自毁无人机就要实现了!
日本名古屋大学的研究者赤井直紀展示了一个很有意思的项目:只用一块 Raspberry Pi 5(树莓派)、一个单目摄像头和 IMU 惯性传感器,就能让设备在预先建立的地图中实时定位。
更厉害的是,整个过程完全依靠 CPU,不需要 GPU 加速,甚至不必提前告诉系统起始位置。它可以通过观察周围环境,在地图中重新找到自己的位置。
这项技术很适合未来的低成本室内巡检无人机。
想象一下,在没有 GPS 信号的仓库、工厂甚至地下隧道里,一架小型无人机依靠摄像头观察周围环境,就能判断自己在哪里,沿着预定路线执行巡检任务。
我觉得最值得关注的是成本。如果一块便宜的微型计算机就能承担实时视觉定位,未来自主巡检无人机的硬件门槛可能大幅降低。
目前项目还在验证阶段,演示使用的是录制数据回放,CPU 已接近满载,光照变化也会影响定位稳定性。
但作者已经明确表示,目标就是定期巡检无人机。
但是我想如果这种低成本的无人机能够实现定位巡航,那么完全可以在军事上做成自杀飞机一类的,如果再能把体积缩小一下,你想想,成千上万个这种东西,携带小型炸弹像蜂群一样冲敌人飞去是个什么样的情景?
如果后续能在真实飞行中稳定运行,这项技术就很有实际价值了,无论是民用还是军用。过去需要较昂贵硬件支持的定位能力,有机会进入更多低成本的小型机器人和无人机。
4 台桌面 AI 计算机,竟然成功运行了一个 7550 亿参数的大模型!
开发者刚刚发布了 ExpertAtlas-GLM5.3,让完整版 GLM-5.3 在 4 台 NVIDIA DGX Spark 上运行。
我更感兴趣的是:这样一套自己部署的 AI,究竟能干什么?和我们现在使用的 ChatGPT、Claude 相比,差距还有多大?花几万美元自己部署值得吗?
先说能力,GLM-5.3 已经是一个相当强的编程 AI。
它可以理解大型代码库、分析复杂程序、修复 Bug、生成测试代码,接入 Agent 工具后还能执行多步骤开发任务。
这套部署方案还支持约 74 万 token 的超长上下文,可以一次处理大量代码、技术文档和日志,并缓存已经处理过的对话上下文。
对于一家拥有大量私有代码的企业,这意味着有机会建立一套完全运行在自己网络里的大型 AI 编程助手。
但它与目前最强的商用模型还有多大差距?
我查了 Artificial Analysis 的独立测试。
在 Terminal-Bench 4.0 编程 Agent 测试中,使用 Max 推理配置:
GLM-5.3:约 42%
GPT-6.1 Sol:约 56%
Claude Opus 5.5:约 60%
综合智能指数分别为 45、52 和 58。
这说明 GLM-5.3 已经进入高能力模型的竞争范围,但处理复杂编程任务时,GPT 和 Claude 依然有明显优势。
比如同样要求 AI 独立修复一个复杂软件问题,测试成功率相差十几个百分点,实际工作中就可能意味着更多人工检查和返工。
这些成绩来自模型的云端评测,四台 Spark 上的低比特量化版本还没有对应的完整实战评测。
再看看实际部署成本和速度。
NVIDIA DGX Spark 美国官方标价每台 6,950 美元,四台光硬件就是 27,800 美元,还要考虑网络、电力和维护。
项目公布的四机测试显示:
一次输入约 52 万 token 的新内容,需要等待约 9 分半才开始生成回答。
之后默认生成速度约为每秒 32 token;使用需要单独授权的 DFlash2,可以达到约 38 token。
而且目前一次只能处理一个请求。
另外,这套引擎目前只接受文本输入。ChatGPT 和 Claude 已经提供的图像理解及完整产品工具链,也无法直接通过部署模型权重获得。
那么,花几万美元自己部署到底值不值?
我的判断是,对普通开发者和小团队,经济上很难划算。
GLM-5.3 本身就有现成的云端 API。以 Cloudflare 的定价为例,每百万输入 token 为 1.40 美元,输出为 4.40 美元。多数个人开发者远远用不到值得购买四台机器的调用量。
但如果你是一家银行、医院、政府单位、软件公司等,拥有大量不能上传第三方云端的客户数据或私有代码,情况就不同了。
你可以完全控制模型运行环境,自己管理数据、工具和访问权限,也不用担心模型服务商突然调整接口或停止提供这个模型。
这才是我认为这项技术目前最有价值的地方。
GLM-5.3 在复杂任务上还有差距,本地推理速度也有明显代价。但现在,企业已经可以用一套桌面计算机集群,在自己的网络里运行具备实际编程能力的超大规模 AI。
项目还在继续优化。新推出的 Expert Atlas 会根据专家模块的实际使用频率调整量化精度,让有限内存得到更有效的利用。
如果后续能把硬件需求进一步降低、提高速度和并发能力,本地 AI 才可能真正从少数技术团队走向更多普通企业。
项目地址:
github.com/fiore-labo/Expert…
做网站还在为首页hero设计发愁?如果你首页hero需要卡片交互效果,那么这个开源项目值得你看看!
Sharingan 提供了 18 种现成的网页首屏动效。
视频里这种随鼠标交互、扇形展开的 3D 卡片效果,就可以直接集成到自己的网站,换上自己的图片、文字和配色。
还有 WebGPU 粒子、液态玻璃等炫酷效果,适合个人作品集、产品展示页和企业官网。
支持 React、Web Components,可以通过 shadcn CLI 安装,MIT 开源协议。
更方便的是,现在完全可以让 Claude Code 或 Cursor 帮你接入、修改这些组件,省去大量从零设计和编写动画的时间。
做网站的朋友可以收藏起来,以后肯定用得上。
GitHub:rasengan-dev/sharingan
如果 AI 把扫地机器人的定位算法改错了,它可能只是在客厅里乱转;但如果改错的是无人机的定位算法,后果可能就是撞墙甚至坠毁。
现在 AI 已经能帮工程师修改这些算法了。可每修改一次,总不能真的放飞一架无人机,看看它会不会出事吧?
奥地利 AIT 的研究人员 Philipp Glira 搭建了一套很有意思的测试系统。
他用游戏引擎 Godot 4 创建了一座虚拟城市,再用 HELIOS++ 模拟激光雷达,配合惯性传感器、卫星定位和摄像头数据,让机器人定位算法在这个虚拟世界里接受测试。
视频左边是虚拟城市中行驶的车辆,右边是激光雷达生成的三维点云。
这套系统最巧妙的地方在于:虚拟世界里的车辆究竟在哪里,系统一清二楚。因此,它可以直接测出定位算法算得准不准,误差有多大。
AI 修改算法后,只要重新运行测试,就能知道这次修改究竟有没有效果。
我觉得这套技术真正的潜力在于未来的机器人和无人机研发。
比如,无人机在没有 GPS 信号的地下停车场里迷路了,或者无人叉车在复杂仓库里定位不准。
工程师可以先在虚拟环境中重现问题,让 AI 尝试修改算法,再通过大量模拟测试寻找更好的方案。
更进一步,如果把整个流程自动化,AI 就可以不断发现问题、修改代码、运行测试,甚至主动生成更困难的测试场景。
想象一下,未来 AI 在虚拟世界里进行成千上万次实验,自动筛选出表现最好的算法,再交给工程师到真实设备上验证。
这可能大幅改变机器人和无人机软件的研发方式。
当看到Google 今天发布的 Genie 4时,我的脑袋是懵逼的!
就在今天,我们还在研究如何通过 AI 把一张概念图变成 3D 模型,再自动完成骨骼绑定、蒙皮、动画,最后导入 Unreal Engine,编写交互逻辑。
即使有 AI 帮忙,这仍然是一套相当繁琐的制作流程。
然而现在看来这些完全有可能在接下来几个月,或者半年一年内被淘汰!
Google Genie 4 展示了另一条完全不同的路。
你可以通过文字和参考图片,指定自己想要的世界。可以是现实城市,也可以是完全虚构的奇幻世界。
Google 的演示中,一段文字就能生成可以自由探索的彩色玻璃世界,甚至能让你以第一人称骑着黑龙,在城堡之间高速竞赛。
更惊人的是,这个世界会实时响应你的操作。你可以改变天气、镜头、人物和事件,AI 会继续生成后续场景。
环境声音、人物动作甚至实时对话也能一起生成。Gemini 还会参与推理和规划,让世界根据发生的事情继续变化。
想想这对游戏开发意味着什么!
传统游戏需要提前制作大量 3D 资产、角色动画和交互逻辑。Genie 4 则在展示一种全新的可能:根据创作者的设计和玩家的操作,实时生成可以探索的游戏世界。
当然,它现在还处于早期阶段,连贯场景只能维持约两分钟,长期一致性和复杂游戏规则也尚未解决。
但我觉得,这条技术路线的潜力相当惊人。
如果未来 AI 能持续维持一个完整的游戏世界,准确执行游戏规则,记住玩家改变的一切,那么一张概念图,加上一套世界设定,也许就能成为一款游戏的起点。
我们今天还在努力让 AI 学会建模、绑骨、蒙皮和制作动画。Google 已经开始探索如何绕过这整套流程了。
游戏开发者们,未来你们何去何从?
用两张五六年前的显卡,跑开源 Qwen 3.8模型,居然比付费云端GLM模型还快!
开发者pkillsleep用 RTX 3090 + 3080 Ti、80GB 内存,通过 Strata 在本地运行 Qwen 3.8 Flash Next(IQ3_S 量化版),挑战通过 Z.ai 付费 API 调用的 GLM-5.3-Flash。
给两个模型完全相同的任务:编写一个家庭电脑工作台场景,实现完整的 24 小时昼夜变化、太阳运动和灯光动画。
结果很有意思:
本地 Qwen:7 分 55 秒,113.3 tokens/s
云端 GLM:11 分 41 秒,54.4 tokens/s
两边都完成了任务。视频上方是 Qwen,下方是 GLM。单看画面,我甚至觉得 Qwen 的场景更精致,窗外城市、灯光和桌面细节都做得相当不错。
更让我感兴趣的是,这套本地方案使用的还是 RTX 30 系列显卡。虽然两张显卡加 80GB 内存的硬件门槛不低,但对已经拥有这些设备的开发者来说,吸引力很明显。
作者已经开始考虑:等 Qwen 4 Flash Next 发布,自己是不是就可以取消云端 AI 订阅了?
我觉得这个想法越来越现实了。如果本地模型能持续保持这样的进步速度,未来很多 AI 编程任务完全可以交给自己的电脑完成。开源云端模型的订阅费,恐怕真的需要重新算算值不值了。
我擦,现在的AI已经能够毫不费力的制作一支相当像样的汉堡商业广告!
整个视频只有20秒,却包含了5组精心设计的镜头:金黄色面包的微距特写、铁板上滋滋作响的牛肉、慢动作融化的奶酪、食材逐层组合,最后是完整汉堡的电影级展示。
作者 meAsifAi 使用 CuddlerAI 制作,还公开了完整提示词。
我觉得最值得借鉴的是他的工作流:
先用参考图锁定产品外观,再把广告拆成5个分镜,明确每个镜头的时间、动作、摄影机运动、光线、转场和音效,连背景音乐什么时候进入高潮都写得清清楚楚。
这让我特别看好 AI 视频在商业广告上的应用。
想象一下,一家小汉堡店、咖啡馆,或者普通电商卖家,以前可能根本舍不得花钱请专业团队拍广告。现在他们已经可以用 AI 快速制作这样的广告样片,尝试不同的创意和风格。
更重要的是,一旦找到满意的效果,同一套工作流还能用来制作其他产品的广告。
我觉得未来大量中小商家的广告,可能都会从这样的 AI 工作流开始。
完整提示词:# GOURMET BURGER — CINEMATIC FOOD COMMERCIAL **SEEDANCE 2.5 | 20 SECONDS | PREMIUM FAST-FOOD AD** **PRODUCT LOCK:** One identical gourmet beef burger throughout all shots. Preserve bun shape, sesame seeds, beef patty, melted cheese, lettuce, tomato and sauce. Realistic food textures, no ingredient morphing. **SHOT 1 — THE CRAVING (0–3s)** Extreme macro shot of a freshly toasted brioche bun. Warm golden light glides across its glossy surface as the camera rapidly zooms out to reveal a thick, juicy beef burger. Tiny steam wisps rise naturally. SFX: deep cinematic whoosh followed by a punchy bass hit. **SHOT 2 — THE SIZZLE (3–6s)** FAST CUT. A beef patty sears on a hot grill, releasing realistic smoke and sizzling fat. A spatula flips the patty in dramatic slow motion. Capture tiny droplets of sizzling oil and the caramelized crust in sharp detail. SFX: loud grill sizzle, sharp flip and metallic impact. **SHOT 3 — THE CHEESE PULL (6–10s)** FAST CUT. Melted cheddar cascades over the hot patty in ultra-slow motion. Stretchy cheese strands glisten under warm studio lighting. The camera performs an aggressive macro push-in, revealing the juicy meat texture and melting cheese. SFX: satisfying sizzling, subtle gooey stretch and a deep bass drop. **SHOT 4 — THE PERFECT STACK (10–15s)** THREE RAPID CUTS. Fresh lettuce lands on the bottom bun; tomato slices and the cheesy beef patty stack perfectly; glossy burger sauce drizzles down the side. Each ingredient lands in rhythmic slow motion, followed by a fast camera whip between angles. SFX: crisp vegetable crunch, soft food impacts, sauce drizzle and synchronized whooshes. **SHOT 5 — THE HERO BITE (15–20s)** FAST WHIP-PAN into a spectacular final burger reveal on a dark wooden board. The camera makes a smooth 180-degree orbit, then rapidly zooms toward the burger's juicy cross-section. Steam rises, cheese glistens and the sesame bun catches a warm golden rim light. Hold the final hero frame for two seconds. End with a powerful cinematic bass hit and a crisp, satisfying crunch sound effect. **MUSIC & SOUND DESIGN** Energetic premium food-ad music with punchy drums, funky bass and rising cinematic tension. Synchronize every cut with the beat. Layer realistic grill sizzling, spatula clinks, vegetable crunches, sauce drizzle, dramatic whooshes and bass impacts. Music peaks during the final reveal and fades cleanly. **VISUAL STYLE** Photorealistic food cinematography, appetizing warm colors, natural food textures, realistic cheese physics, visible meat juices, macro lens detail, shallow depth of field, professional commercial lighting, high-speed photography and premium cinematic color grading. **NEGATIVE CONSTRAINTS** No cartoon food, no plastic-looking ingredients, no deformed burger, no floating ingredients, no duplicate burgers, no unnatural cheese, no flickering, no random text, no fake logos, no watermark. **RESOLUTION LOCK:** Generate final images in 16K resolution — 15360 × 8640 pixels (≈132.7 million pixels), 16:9 aspect ratio.
你想让自己的 AI Agent 在完成任务后,直接开口告诉你结果吗?
比如,你正在做其他事情,电脑突然传来一句:
“代码已经修改完成,所有测试通过!”
或者:“有两个测试失败,需要你确认一下。”
这个功能其实已经有了很简单、低成本的实现路径。
开发者 @_marc_garcia 展示了一个很有意思的项目:他的 AI Agent 使用 Remotion 自动制作动画视频,再通过 Phonon 31M 自动生成语音旁白。
Phonon 31M 是一个只有 3100 万参数的开源语音合成模型,普通笔记本的 CPU 就能运行。不需要调用云端语音 API,也没有按分钟收费的问题,而且采用 Apache 2.0 开源协议,可以商业使用。
原作者演示的是自动视频配音,但我们完全可以把这项技术接到 Claude Code、Codex 等 AI Agent 的任务系统上。
Agent 完成任务、遇到错误或者需要你做决定时,就可以自动用语音通知你。
但我更感兴趣的是下一步:能不能给自己的 AI Agent 再装上一双“耳朵”?
其实技术上已经完全可以实现。
通过麦克风和语音识别,让 Agent 听懂你说的话;Agent 负责理解指令、执行任务;Phonon 则负责把回答变成声音。
你可以直接问:
“刚才的代码测试怎么样了?”
它回答:“跑完了,有两个测试失败,我正在修复。”
更有意思的是,Hugging Face 已经有一个开源的 speech-to-speech 项目,把语音识别、AI 模型和语音合成串了起来,并且支持 Phonon。
对于经常使用 AI Agent 的开发者,我觉得这特别实用。
以后不需要一直盯着终端窗口。你可以直接用声音询问工作进度,Agent 遇到问题也能主动开口找你。
目前做AI视频,短剧或动画的人往往面临这样一个问题,很多 AI 视频正面看着很漂亮,一旦镜头大幅度转向侧面、背面,人物的脸、衣服甚至身体形状就开始变形。
武汉大学与小米研究团队最近发布的 WorldCast,正在解决这个问题。
它采用了一个很有意思的方案:利用 3D 点云建立空间约束,再通过 1–4 张人物不同视角的参考图,让 AI 在摄像机大幅度移动时,尽量保持角色的外貌和身体结构一致。
官方演示包含 360° 环绕、推拉等镜头轨迹,人物在不同机位下仍能保持相对稳定的外观。
我觉得这项技术对 AI 短剧、动画甚至电影制作都很有价值。
现在生成一段漂亮的 AI 视频已经不稀奇,难的是换一个机位、换一个镜头,观众看到的还是同一个角色。
电影导演可以自由设计镜头,AI 视频创作者却经常需要迁就模型的局限。如果这个问题解决得足够好,以后用 AI 拍电影,镜头设计就能自由得多。
这也是一条与此前“图片生成 3D 模型、绑定骨骼再制作动画”不同的技术路线。WorldCast 直接生成视频,重点解决大幅度运镜时的角色一致性;后者则能产生可供游戏引擎使用和操控的 3D 资产。
目前 WorldCast 已公开推理代码,但专用模型权重还没有发布,暂时无法完整复现演示效果。
你可能根本想不到,AI Agent 有多浪费 Token!
有人导出了自己的 Grok Bot 使用记录:从 10 月 1 日开始,累计消耗了 9.65 亿 Token,其中 78% 用于反复读取旧聊天记录,真正用于生成内容的只有 1%!
更夸张的是,其中一次回复,AI 先读取了 47,369 Token 的历史上下文,最后只写出了 402 Token。
这意味着,你花钱让 AI Agent 干活,结果大量算力都消耗在让它反复回忆过去聊过什么。
还有一个容易忽略的成本陷阱:
如果设置一个每 5 分钟执行一次的自动任务,一个月就会触发 8,640 次。即使没有任何新事情发生,AI 也可能反复启动、读取上下文、消耗 Token。
原作者Kai Milstein给出了 5 个很实用的优化办法:
定期清理上下文。 把 AI 必须长期记住的信息保存到配置中,然后复制一个全新的 Bot,避免每次都读取冗长的聊天历史。
减少定时唤醒。 很多任务每小时检查一次就够了,没必要每 5 分钟启动。
先检查,再执行。 没有新邮件、新事件或新数据,就直接结束任务。
清理无用任务。 把所有 Bot 的定时任务集中列出来,关闭重复和不再需要的任务。
先用一个模型跑通。 确认任务和提示词有效,再交给多个模型并行执行。
我觉得这暴露了当前 AI Agent 一个很现实的问题:
Agent 越来越擅长连续工作,但长期记忆、上下文管理和定时任务的成本控制,可能远没有跟上。
如果你正在运行多个 AI Agent,尤其是 24 小时自动执行的工作流,真的值得去检查一下 Token 使用记录。
你以为 AI 消耗的 Token 都在帮你解决问题,结果大部分可能只是让它一遍又一遍地回忆聊天记录。
Threejs前天开源了一些3D素材库,可以直接用于各种商用场合。
日本创作者 Kashiko_AIart 已经用这些素材搭建了自己的 3D 小房间,视频里就能看到实际效果。
我觉得,这对正在用 AI 独立开发游戏的人很有帮助。
AI 负责写代码,你负责设计玩法,房屋、街道、家具这些基础素材直接从现成的库里取。一个人也可以先把可玩的游戏原型搭起来,再慢慢打磨自己的美术风格。
AI 生成的像素游戏角色,看起来很漂亮,但你可能根本没法直接把它用到游戏里!
问题出在像素本身。
很多 AI 生成的“像素画”,只是看起来像素化了。仔细检查会发现,像素格子大小不一、排列不规则,边缘还混杂着多余的颜色。拿这样的图片制作游戏动画,很容易出现问题。
开发者 asynkimo 展示了一套相当实用的解决方案:
识别原图的像素网格
按照统一网格重新构建,每格只保留一种颜色
去除背景,保留清晰的像素边缘
修补角色轮廓上的缺口
统一调色板,让角色符合游戏的美术风格
使用清理后的角色图制作动画
他还推荐使用 Nano Banana 系列模型生成初始像素画,并介绍了自己开发的 SpriteCook。它的 Pixel Engine 可以直接按照指定像素尺寸绘制,从而省掉前面几道清理工序。
我觉得这套工作流很值得独立游戏开发者研究。
现在 AI 已经能快速生成大量漂亮的角色概念图,但要批量制作真正符合游戏规格、能够制作动画的像素角色,图像清理和标准化仍然很重要。
这套流程正好解决了其中一个实际问题。
你收藏的几百篇文章、技术资料和笔记,有多少后来真的用上了?
最近发现两个挺有意思的开源项目,可以让 Claude Code 帮你管理自己的知识库。
第一个是 Obsidian CEO Steph Ango 开源的 obsidian-skills,GitHub 已经接近 5 万 Star。
装上之后,Claude 就能按照 Obsidian 的规则创建笔记、添加双向链接、处理属性和 Canvas,不用每次都教它怎么写。
更有意思的是第二个项目:claude-obsidian。
它可以把你收集的资料自动整理成相互关联的笔记。以后想查什么,直接问 Claude,它可以从你自己的知识库里找答案,还能把有价值的新内容保存进去。
比如你平时收藏了大量 AI 技术文章,几个月后想研究某个项目,直接让 Claude 找出以前看过的相关资料,甚至帮你整理它们之间的联系。
我觉得这可能是 AI 最值得普通人折腾的应用之一。
以前花大量时间收藏、分类、整理资料,最后却很少回头看。现在这些积累终于有机会真正派上用场了。
两个项目都免费开源,模型使用可能产生费用。
Git 链接见回复区
Obsidian Skills:
github.com/kepano/obsidian-s…
Claude Obsidian:
github.com/AgriciDaniel/clau…
前两天我分享过一条 AI 自动生成 3D 游戏角色的工作流。今天看到另一条很有意思的路线:直接把 AI 生成的角色放进一个能实时运行的 3D 世界。
开发者 @chetanankola 只用一张潜水员参考图,通过 Tripo H3.1,大约一分钟就生成了带有 8K 纹理的完整 3D 模型。
更有意思的是,Tripo 还直接完成了骨骼绑定,生成游泳和后滚入水的动画。
随后,他在 Blender 中调整潜水员的装备与动作,又制作了一只三头海怪。最后通过 Three.js,把这些角色放进一个北极深海世界。
海面反射、浮冰、阳光穿透海水、气泡、夜晚的红色信号光……整个场景直接在浏览器中实时渲染,作者称达到了 4K/60 FPS。
这和我之前介绍的 Atlas + Unreal 工作流,其实代表了两种不同的开发思路。
上一条路线重点解决游戏角色的批量生产:AI 建模、模型优化、自动绑骨、动画,最终导入 Unreal Engine。
这一次的 Tripo + Blender + Three.js 路线,则更关注如何快速把 AI 生成的 3D 资产组合成一个可以实时运行的完整场景。
而且 Tripo 已经内置了基础绑骨和动画功能,不再需要额外使用 Atlas。不过,三头海怪这种特殊角色仍然需要在 Blender 中手动调整骨骼。
我觉得这对独立开发者很有意义。
如果你想开发大型、长期维护的游戏,前一条路线可能更合适。
但如果你只是想把自己的创意快速变成一个能在浏览器里运行的 3D 世界,第二条路线可能更直接。
真正令人期待的是,如何让AI在两条路线中自动调整骨骼,蒙皮,贴图等,稳定生成符合商业用途的模型和动画。
之前介绍的 Atlas + Unreal 工作流在这里:
xitter.cf/BeyondTheBoxCN/status/…
这条路线更侧重 AI 自动生成、优化、绑骨和动画,把角色直接送进 Unreal Engine。
两条路线可以互相补充,值得对比研究。
一个人开发一款 3D 游戏,可能很快就不需要自己制作角色模型了。
Atlas 刚展示了一条很有意思的 AI 工作流。
先用 Flux 3 生成角色概念图,Tripo 3.1 生成高精度 3D 模型,再由 Blender Agent 优化模型、Atlas 自动绑定骨骼和制作动画,最后导入 Unreal Engine,连披风的布料物理效果都加上了。
最让我感兴趣的是骨骼绑定。
以前 AI 能生成漂亮的 3D 角色,但要让它真正跑起来、做动作,仍然需要大量人工处理。现在连手指关节都开始自动生成了。
演示中的动作还有些生硬,脚底滑动和穿模问题也没完全解决。
但我觉得这条路线很值得关注。
当 AI 可以批量生成游戏角色、场景、道具,再加上越来越成熟的 AI 编程工具,独立游戏开发的门槛可能会下降得比我们想象中更快。
未来最稀缺的,也许不再是把游戏做出来的技术,而是真正好玩的游戏创意。
回复有中有完整工作流地址。
用 AI 生成一条巨龙,再让它在游戏里听你的指挥:按空格起飞,按攻击键挥爪,还能在空中盘旋、俯冲!
现在有人把其中一个最麻烦的环节做成了开源项目:让 AI 生成的视频变成真正可以在游戏里使用的 3D 骨骼动画。
这个项目叫 anymove,已经展示了巨龙起飞、恶魔挥动翅膀、蜘蛛扑击、狼奔跑等效果。
我研究了一下它的工作流程,确实很有意思。
第一步:AI 生成 3D 角色。
先用 FLUX 3 生成角色图片,再交给 Tripo H3.1 转换成带纹理的 3D 模型。
接着在 Blender 中给模型添加骨骼、设置关节、完成蒙皮。比如一条龙,需要给四肢、翅膀、尾巴分别设置骨骼。
做到这里,我们已经拥有一条带骨架的 3D 巨龙,但还缺少飞行、奔跑、攻击这些动作。
第二步:让 AI 视频模型表演动作。
这时候 MiniMax H3 Max 登场了。
输入一段文字,比如「巨龙展开翅膀,腾空起飞」,让模型生成这条龙的动作视频。
有意思的是,它会在同一个视频画面中,同时展示巨龙的正面和侧面动作。
为什么需要两个视角?
因为我们要知道每个关节在三维空间中的真实位置。正面提供左右位置,侧面提供前后位置,再结合高度,就能还原出 3D 运动轨迹。
第三步:从视频中提取骨骼动画。
这里用到了 Meta 的 DINOv2 视觉模型。
开发者先用 Blender 生成约 2200 组带有准确关节数据的训练姿势,对 DINOv2 进行微调,让它学会识别这条龙的各个关节。
接下来,DINOv2 逐帧识别视频中每个关节的位置。
anymove 则负责把两个视角的关节坐标还原成三维运动数据,再将这些动作拟合到前面已经制作好的骨架上。
最后通过 Blender 导出包含骨骼动画的 GLB 文件。
第四步:把动作放进真正的游戏。
这一步才是我觉得最值得期待的地方。
假设我们已经为同一条龙制作了起飞、飞行、降落、挥爪、咆哮等不同动画。
把这些动画导入 Unreal、Unity 或 Godot,再通过游戏引擎的动画状态机和控制代码,就能让玩家操作这条龙:
按空格,播放起飞动画,巨龙升空。
按方向键,控制巨龙飞行方向,同时播放对应的飞行动画。
按鼠标左键,巨龙挥爪攻击。
按鼠标右键,播放喷火动作,同时由游戏引擎生成火焰和伤害效果。
这里的关键是,anymove 负责提前制作动作,游戏引擎负责根据玩家操作选择、衔接和播放这些动作。
玩家不需要每按一次键,就重新调用 AI 生成一次视频。
更让人感兴趣的是成本。
根据项目公布的数据,用 MiniMax H3 Max 生成一段 5 秒的双视角动作视频,大约只要 0.26 美元!
当然,这只是视频生成费用。新角色首次制作还需要建模、绑骨、蒙皮,以及训练关节识别模型。项目目前对蜘蛛的八足行走等复杂动作也还处理得不够好。
但一旦角色、骨架和识别模型准备好了,就可以尝试不断生成新的动作,再由 anymove 转换成可用的骨骼动画。
想想这对独立游戏开发意味着什么。
以前制作一款 3D 游戏,一个人或许能做出几十种不同的怪物模型,但要让每只怪物都拥有自然的奔跑、跳跃、攻击、受伤和死亡动画,工作量可能非常惊人。
现在 AI 已经逐步进入角色设计、3D 建模、骨骼绑定和动画制作的各个环节。
我觉得真正令人兴奋的前景,是一个人也有机会制作出拥有几十种怪物、上百套动作,而且能够真正交互的 3D 游戏。
这条工作流距离完全自动化还有不少问题要解决,但 anymove 已经把其中非常关键的一环做成了可以实际运行的开源工具。
项目地址见回复
把比特币私钥“攻破”这件事,说不定根本不需要量子计算机。
10月26日,OpenAI 放了个研究结果,可能会把计算机科学近30年的一个基本认知给掀翻。我觉得这事比他们再发个更强的模型重要多了。
很多人以为,比特币的私钥是算不出来的。其实不是。椭圆曲线签名的规则是公开的,理论上你拿到公钥,就可以一个个试私钥,总能试出来。真正挡住人的,是计算量太大了,大到用现在的算法根本算不动。
计算机科学里有个著名的“指数时间假设”(ETH)。大概意思是,有些难题不管你怎么优化算法,计算时间都会随着问题变大而指数级爆炸,逃不掉。这个假设被接受了快30年,一堆论文都建在它上面。
结果 OpenAI 的 AI 找到了一种新算法,声称能把这类问题的计算复杂度下限给打破。而且不需要量子计算机,只是换了一种计算方法。
这事如果后面被独立验证了,就说明:至少有一类我们以前觉得“算不动”的经典问题,其实存在我们没想到的捷径。
那比特币用的椭圆曲线呢?目前这个新算法用不上,也没人证明椭圆曲线也有同样的捷径。但比特币的安全性,本质上也是建立在“我们到现在还没找到足够快的经典破解方法“上。找不到,不等于数学上证明了永远找不到。
我们一聊比特币未来的风险,眼睛总盯着量子计算机。可如果真正的突破是算法本身呢?如果 AI 找到了一种人类几十年都没想到的数学方法,把原本天文数字的计算量压下来了呢?
这种方法到底存不存在,现在没人知道。但 OpenAI 这次至少展示了一件事:人类过去找不到的计算捷径,AI 可能会找到。
未来真正改写数字世界安全规则的,说不定不是一台强大的量子计算机,而是跑在普通机器上的一套全新算法。
🤖 Made with AI



