M.Hertz (@timnity) header
M.Hertz (@timnity) profile picture

谢邀,人在市场,刚下三轮儿,农产品流通领域的软件产品经理.

太阳系第三星系
Joined August 2009
Photo by M.Hertz (@timnity)Photo by M.Hertz (@timnity)Photo by M.Hertz (@timnity)Photo by M.Hertz (@timnity)Photo by M.Hertz (@timnity)Photo by M.Hertz (@timnity)Photo by M.Hertz (@timnity)Photo by M.Hertz (@timnity)Photo by M.Hertz (@timnity)Photo by M.Hertz (@timnity)
M.Hertz retweeted
想起一句话:“当初求种像条狗,如今撸完嫌人丑” 😂
OpenAI其实已经不行!! 有什么正常的公司,天天像个小丑一样发 reset 的 现在就像掺水卖假酒,模型又慢又降智
57
9
5
263
84,423
让 Agent 用 Three.js 搭个 3D 场景,出来的东西常常是几个方块加一盏灯,或者跑起来一片黑,它自己还说搭好了。 3dviz-pro-max 是一个专门做 3D 可视化的 Agent Skill,Claude Code 和 Codex 都能装,一句话描述想要的场景,它带着 Agent 从美术方向、物体结构一路做到能交互的成品。 它最不一样的地方,是逼 Agent 看自己渲染出来的画面。自带一个截图脚本,把搭好的场景按预设机位跑一遍截图,Agent 对着真实的帧改。 GitHub:github.com/viettranx/3dviz-p… 背后是一个能检索的资料库,223 个配方、440 条知识记录、22 套验证过的组件套件,覆盖 24 个方向。 从奇幻村庄、产品拆解到心脏剖面、线性代数、天体轨道都有,配方里调色板、天空、雾、灯光、相机参数都给了起始值,Agent 拿来改就行,不用从零猜。 仓库里还有 37 个能直接跑起来的示例,解剖、数学、物理、灯光练习分了 5 章,每个都附当初的提示词。装了 Blender 能烘出更细的模型,没装也能跑。 想拿 Agent 做 3D 演示、教学动画或者小场景的,装上试试,比裸奔靠谱。
3
20
122
10,323
M.Hertz retweeted
New: draw.io skill for Claude Code — describe a diagram, get an editable PDF, PNG or SVG. Each file embeds the full draw.io XML so you can reopen and edit anytime. github.com/jgraph/drawio-mcp…
19
148
17
1,606
181,330
M.Hertz retweeted
We’ve identified industrial-scale distillation attacks on our models by DeepSeek, Moonshot AI, and MiniMax. These labs created over 24,000 fraudulent accounts and generated over 16 million exchanges with Claude, extracting its capabilities to train and improve their own models.
7,002
6,070
8,001
53,795
34,010,801
M.Hertz retweeted
作为内测用户,gemini 3.1 pro在解决复杂问题的思考能力上令人惊叹。我不止一次尝试把整个项目用repomix变成文件,上传给gemini 3.1 pro,归功于它的思考能力和长上下文能力,它总能找出其他工具找不到的致命缺陷,尤其是在复杂的race condition,多线程方面,在目前没有其他模型能追上。
Introducing Gemini 3.1 Pro, our new SOTA model across most reasoning, coding, and stem use cases!
13
11
1
115
26,121
Gemini 3.1 Pro Preview today confirmed. Would be breaking 👀
37
84
24
1,697
241,503
M.Hertz retweeted
用好 claude code 就够了,别折腾 Removed 662 packages……
76
20
9
386
137,092
为什么不能软件版本回退,或者重启? 不能回退,是因为这不是代码问题,而是一个持续自动扩散的bad config,没有版本控制、没有 kill switch,重启只会让所有节点更快加载这个bad config、加速crash 为什么不能配置回退? 配置没有版本号,更像是一个不断更新的 feed:只要 ClickHouse pipeline 继续工作,如果手工修改回退,它几分钟后会再生成新的坏文件,把修复覆盖掉
3
5
2
73
41,065
M.Hertz retweeted
老冯很早就说过,不要在容器里面跑 PostgreSQL 这样的数据库。会有很多在物理机/虚拟上根本不会有的麻烦与问题,比如下面这个排序规则的问题。
⚠️PSA: Don't use Docker's official Postgres image in production. Or, if you do, make sure you specify your Debian image. The long version: Postgres minor version upgrades (17.6 -> 17.7) are generally easy, safe and recommended. They should never break anything. *But* if you use the official docker image and recently (since August) did a minor version upgrade, you may have seen this warning: "The database was created using collation version 2.36, but the operating system provides version 2.41. Rebuild all objects in this database that use the default collation and run ALTER DATABASE "mydb" REFRESH COLLATION VERSION, or build PostgreSQL with the right library version." This is because: - Docker only supports 2 debian versions for the PG image - When a new version comes out, it automatically becomes the default unless you specify the image. - Debian's new release included a new glibc, which includes new locale files. - So now you are running Postgres linked against one set of locale files, but with a database with data and indexes that assume a different locale file. Since this situation can lead to anything from bad query results to corruption, Postgres correctly warns you to refresh the collation for the DB, which you do *after* rebuilding every object in your database (to avoid corruption). This is something we do on **major** upgrades, and absolutely do not expect on **minor** upgrades. But Docker forces this on the users of their official image. Be careful out there! Official image does not mean "responsible production behavior".
14
26
2
209
243,489
You're always welcome at your home, Leo. 💙❤️
4,480
60,419
5,409
519,175
30,491,737
M.Hertz retweeted
分享几个觉得又实用、又有意思的开源项目,GitHub 上都能找到。 1、爬虫开源工具——Crawlee 这个项目在 GitHub 上快 2 万 Star 了,是个用 Node.js(还有 Python 版本)写的网络爬虫框架。 它最大的特点就是:爬虫行为更像真人,不容易被网站的反爬机制拦住。 比如你想抓 TikTok、YouTube 这类动态内容,它都能搞定。 而且自带 CLI 工具,一键生成项目结构,给你现成的模板。 支持 HTTP 请求,也能配合 Playwright 这种浏览器自动化工具去抓复杂网页, 内置了代理切换、请求队列、错误重试、数据存储…… 用一句话总结:非常适合想写爬虫但又不想造轮子的同学。 2、屏幕录制工具——Cap Cap 是一个开源版的 Loom(就是那个录屏 + 视频分享工具)。 它能同时录屏幕和摄像头,还支持跟随鼠标放大,录完能直接剪辑、导出 MP4 或生成链接分享。 最关键的是:它有 Web 和桌面两个版本。Web 版可以自己部署,桌面版还能连接到你自己的 Cap 服务。 3、开源压缩工具——PeaZip PeaZip 是一款跨平台压缩解压工具,支持 Windows、macOS、Linux,能处理超过 200 种格式,包括 zip、rar、7z 这些常见的,还有分卷压缩文件。 它除了基本功能,还特别注重隐私和安全,支持加密、两步验证、安全删除,还有哈希校验、脚本导出等高级功能。 说白了,就是一个开源、无广告、比 WinRAR 更干净的压缩工具。
14
292
3
1,357
136,653
我举一个为什么程序员必须走出门的例子。 多年前我上班之余做项目,一年都泡在图书馆写代码,因此认识了另外一个也在图书馆写产品创业的上班族。他花了一年业余时间写了一个网站。整个故事是这样的: 他在澳洲勤工俭学时候在按摩店打工,观察到按摩店客人都是打电话预约,员工都是纸笔记录预约和排班。忙碌起来的时候感觉非常混乱。这种生意里面的员工流转率也高,所以员工请假或者离职了,排班什么也都是手工在本子上处理。有的老板可能还有几个店,就感觉更乱了。 从程序员的角度出发,他觉得弄一个网站,集成日历,可以处理排班和客户预约。然后那边再做一个手机端,客户还可以网站上下单预约,然后客户和商家还能得到提醒等。再加一个多店管理,这么一套东西收点订阅费,不光可以卖按摩店,美容,美发店都可以是潜在客户。 然后我和他去跑地推,那对程序员真的很挑战。这个过程就不细说了。 最后没一个买单的,原因是这样的: 首先按摩店的客户,就算不考虑产品触达的问题,也不会用app或者网站来预约。因为他们最方便的方式就是打个电话预约,麻不麻烦是商家的事。何况按摩店的客户群里面很多可能是中老年,更习惯传统方式。 客户没有用这个产品下单的需求,那么商家用这个产品就不是刚需。事实上对于商家来说,这个网站也并没降本增效。因为对于按摩店,很多就不会专门请一个接电话的前台,本来就是谁闲着谁接电话记录一下。即使专门找个打杂的,他们的人工成本也巨低。而采用一套系统,意味着小小的店面里面,还要有一套前台,电脑和wifi。更别说员工培训的成本,而且这个行业员工还是高流转率。所以这个东西其实反而是增本降效。 美容院和高档美发店,有连锁也有需求,但是他们的需求早就被满足了,对于这种高利润行业,系统迁移和学习的成本,远比订阅是不是便宜一点来的重要。 这件事对我朋友伤害是巨大的,他基本上就不再做创业了。上班的人,没有多少心气和时间可以再来几遍。从 #精益创业 的角度,有很多方法论可以避免我朋友这种浪费了一年的情况。 但是我想说的是,现实和程序员的思维方式往往是完全两样的。从程序员的角度,这个世界上太多东西都不够自动化,不够高效。如果待在自己思维里面头脑风暴,只会越想越对。但是从商业或者行业角度,完全不是这么一回事,是不是全自动化,很多时候一点也不重要。 小到个人创业者,大到互联网企业给传统行业做转型,很多时候都犯了这种自以为是的错误。 #独立开发 #公开构建
85
176
23
1,288
414,686
M.Hertz retweeted
这事我还是要替程序员说点话,为什么有些时候要手搓代码而不是写 Prompt。 不完全针对原推文,而是借这个机会写一点,替程序员们发声,因为现在社交媒体上有一种风气: 就是都在标榜自己用 AI 写代码多么高效,多爽。用 Prompt 来 AI Coding 就是高端的,代表先进生产力的,不用 AI 写 Prompt 手搓代码就很 Low。 AI 能提升编码效率这个没问题,但不代表说已经到了能完全替代手搓代码,更不能把两者对立起来。 ** 首先我们应该回归初心,写代码是为了什么? 刨除学习和自嗨为目的的写代码,通常我们写代码是为了构建软件产品,因为要构建一个产品,才需要去写代码实现产品需求。那么 AI 写代码和手搓代码,都属于写代码的手段,而不是目的。 先把这个问题分清楚:无论是你用 AI 写代码还是手搓代码代码,都属于手段而不是目的! 如果你只是为了标榜用 AI 写代码而用 AI,那就是为了手段而忘记了目的,当然换成你为了手搓代码而抵制 AI 写代码,也一样成立。 ** 然后,哪些情况适合 AI 写代码,哪些情况适合手搓代码 1. 任何情况下,都应该尝试用一下 AI Coding 很多任务开始前,可以先用 AI 写一遍,了解 AI 编程的优缺点在哪里,边界在哪里;另外每隔一段时间都要再测试一下以前失败的地方,可能随着模型的进化和工具的升级,以前不能解决的问题就会解决。 试试没坏处,AI 不行了再手搓,或者基于 AI 的结果手动改进。 AI 应该是程序员的一个重要工具,就像战士的枪一样,应该对它的优缺点适用场景了如指掌 2. 原型开发适合用 AI 写代码 原型开发是最适合用 AI 大量生成代码的场景,尤其是 Web 开发,现在的 AI 很擅长,并且不需要考虑代码后期维护、性能、安全性这些。 3. 当你需要借助代码来理清楚思路或者保持心流的时候,手搓代码 编程是创造性的工作,有时候我们需要直接的渐进的反馈,手搓代码更能让我们跟上自己思维的节奏,就像写作的时候,用键盘一个字符字符的敲打修改,更能和自己的思路保持相同的节奏,如果 AI 一次性生成太多内容,或者我们不想要的内容,反而会打乱自己的思路。 另外我个人的经验是 AI 写代码很容易打断心流,要等待结果,要重新修改提示词抽卡,很打断心流,有时候我宁可手动写,虽然慢一点,但是可以保持心流状态,代码质量也更有保证。 4. 当你需要从一门语言翻译到另一门语言,用 AI 生成 AI 最擅长的工作之一就是翻译了,当你需要从一门编程语言翻译成另一门编程语言,那绝对是 AI 的强项,提示词也简单,把要翻译的代码给 AI 让它按要求重写即可。 5. 当你无法用文字或者图片描述你要做的事情的时候,或者写 Prompt 的成本更高的时候,手搓代码 Prompt 不是万能的,很多需求或者问题是没法用文字或者图片描述清楚的,或者要清楚的描述成本比手搓代码成本还高,那真的没必要还要去写 Prompt。 如何把需求表达清楚并没有想的那么容易,尤其是那些自己擅长写文字的资深人士,是体会不到要清晰的用文字描述清楚一个需求是有点难度需要练习的,而有时候写代码反而直接些,因为简单并什么二义性。 所以我建议新手可以多用伪代码当提示词,代码也是很好的 Prompt。我自己在写不熟悉的语言的时候,通常会用熟悉的语言写成伪代码,然后让 AI 生成目标语言的代码。 6. 当 AI 写的代码质量满足不了要求的时候,只能依赖于手搓 现在 AI 写的代码虽然质量不错,但随机性很强,有时候很好,有时候却不怎么样,对于复杂一点的没训练过的算法,或者训练语料不足的语言,还是得手搓才能获得更好的结果。 7. Debug 代码的时候,优先用 AI 我发现 AI Agent 对于 Debug 代码能力挺强的,经常能帮助找到一些隐藏的 Bug。AI 比人有优势的地方在于看到人看不见的盲区。但 AI 很多时候也不行,还得去人工复现一点点缩小范围。 8. 模块级、上下文充足的代码优先使用 AI 生成 如果你的代码只是模块级别,并且上下文充足,AI 生成通常能又快又好,如果效果不好可以调整提示词多生成几次。 我列这么多,一方面都是我使用过程中总结下来的经验,一方面也是为了说明用 AI 还是手搓,其实没标准答案,得看不同的场景以及使用 AI 的人。不能简单的就认为手搓代码不如 AI 写代码高级。 ** 再次,AI Coding 和手搓代码是最佳搭配 AI Coding 和手搓代码不是对立的,搭配用很好的。AI Coding 可以拓展能力边界、提升效率、减少重复劳动,手搓代码可以为 AI Coding 兜底,当 AI 解决不了时人工来写,当 AI 写不好时人来修改,就算时 AI 写的代码,也离不开人工的 Review。搭配好可以事半功倍。 ** 写在最后 用 AI 写代码还是手搓代码代码,都属于手段而不是目的,写代码的目的是为了构建产品。 不是所有的场景都适合 AI 编程,很多时候还是得手写代码,所以会写代码依然是重要的基础能力,不要因为 AI 写代码强了而忽视了锻炼自己的编程能力。 专业程序员就算手搓代码再熟练也需要多使用 AI Coding,让它成为自己有力的工具。 非专业人士也不要瞧不起手搓代码,当你遇到 AI 解决不了的问题,还得找专业程序员去手搓代码帮你兜底。 至于未来 AI 如何进化,我们都需要保持关注,持续学习,无论 AI 怎么强,用好它也能让自己更强。
很多程序员没有耐心写上几轮Prompt,就直接手搓代码。因为会手搓代码,所以容易没有耐心努力思考自然语言的Prompt。而“小白”不会写代码,唯一的办法就是想好如何表达,给什么样的上下文,想尽一切办法让AI为自己工作。手搓代码就像人工打孔以及修理被纸卡住的机器一样。
70
80
31
468
375,997
andrej karpathy 谈“如何成为任何领域的专家”: (又一个“纯金”建议💛) 1 迭代式项目驱动:追求深度而非广度,“按需”学习(不是先学后做学完再做,而是做中学,根据项目需要边做边学) 2 费曼一切所学所做:用自己的话说出来/总结 3 永远不要(和他人)横向比较,只(和过去的自己)纵向比较。 --- 1 的本质是项目式学习 2 的本质是费曼技巧 3 的本质是成长思维 这些都是大家听说过的道理。差异在于大多数人道理都知道但是做不到🙁
How to become expert at thing: 1 iteratively take on concrete projects and accomplish them depth wise, learning “on demand” (ie don’t learn bottom up breadth wise) 2 teach/summarize everything you learn in your own words 3 only compare yourself to younger you, never to others
16
124
3
458
67,801
M.Hertz retweeted
很多很多年前 我实习的时候 我跟的第一个老板 他说过一句话 对我产生了深远的影响 大到你做的每一个产品,小到每一项工作,每一次交付,都是你的作品,上面都刻着你的名字 世人会通过它,来了解你。你做完了之后,愿不愿意跟别人说,这个东西是我做的? 还是你自己都拿不出手,害怕别人知道,这个东西是你做的? 如果你每一次交付,都能有这种匠人精神,像认真对待自己的杰作一样对待它,每一次小的交付积累起来,就不会差的 可惜我后来当了产品经理,在面对垃圾的代码框架上不断妥协,破烂不堪的系统耦合设计导致无法实现你想要的东西,每次发布都是阉割的不能再阉割的版本,为了解决一些指标不断去hack,压下葫芦浮起瓢,导致一个好好的产品越做越烂 归根结底就是,建筑设计师和施工队是完全两个思维模式,如果你不在搭地基的时候就进去监工,你大概率会在搭半截的时候拆了重盖 我遇到过很多牛b的工程师,一点就透,可以设计独立且解耦的系统模块,我也遇到过很多垃圾,想尽一切办法容忍自己糊出来垃圾,没有任何对品质的要求,更不要说极致体验的渴望 去找到真正的牛人,哪怕在这群人中你是那个垃圾,只要你对自己提要求,想办法努力提升,一起去创造,也不要留在垃圾堆里当井底之蛙,为自己的“优秀”沾沾自喜 前提是,你也有对自己的要求,像个匠人一样,极致用心塑造
27
107
9
616
98,757
M.Hertz retweeted
让 GPT 根据你的历史记忆创作一幅个人专属的创意科技工作场景图像 v2 工具:GPT-4o 注意: 你也可以不用 GPT-4o 出图,而是让它生成提示词,用提示词去其他工具生成 提示词: 基于我的历史记忆,为我创作一幅个人专属的创意科技工作场景图像。房间以正面视角、去顶式剖面结构展示,仿佛是一件高端收藏级模型,用建筑级的清晰感与设计精度将空间完美展现。场景中的主角是你根据我的历史会话记忆生成的3D卡通形象,房间布置、人物造型、桌面设备、墙面装饰等细节请结合我真实的兴趣和职业背景,整体风格融合极简主义、科技感与视觉美学,展现一个专注、高效、富有创造力的工作环境。
让 GPT-4o 基于我的历史记忆,为我创作一幅我正在日常工作场景工作的图画 工具:GPT-4o 提示词: 基于我的历史记忆,为我创作一幅我正在日常工作场景工作的图画,有我的3D卡通形象,微距摄影风格,移轴效果
17
39
2
220
67,435
新新新可爱出炉!又延伸了一版!把图片变成正在雕刻的雕塑! Sculpting You|GPT 4o|-Zho- 今天我精调的这版 3d 可爱风格真好哈哈哈哈 【参考】我的图 【输入】图片 【提示词】按照以下要求为我生成: 内容:微缩场景,雕塑家们在雕刻 Q版上传图片人物 的巨型雕塑 风格:3D卡通Q版场景插画,1:1画幅,整体风格参考Pixar动画风,人物拥有夸张的大头比例,圆润的大眼睛、软萌的鼻子,脸上带有可爱的表情,整体质感光滑细腻,呈现出玩具般的柔软塑料感。背景为暗色纯色(如纯黑色),采用柔和棚拍光,没有明显阴影,风格干净、温暖、亲和,整体感觉超可爱、现代、数字插画感强烈
新想法来来来啦!为自己的名字生成建造版微缩场景! ZHO|GPT 4o 三步走: 1⃣【参考】直接用我的图/微缩场景图 2⃣【输入】文字/图片 3⃣【提示词】 按照以下要求为我生成: 内容:微缩场景,建筑师和施工队在设计和建造【ZHO】形状的大楼,大楼很大,人物很小,对比明显 风格:3D卡通Q版场景插画,1:1画幅,整体风格参考Pixar动画风,人物拥有夸张的大头比例,圆润的大眼睛、软萌的鼻子,脸上带有可爱的表情,整体质感光滑细腻,呈现出玩具般的柔软塑料感。背景为暗色纯色(如纯黑色),采用柔和棚拍光,没有明显阴影,风格干净、温暖、亲和,整体感觉超可爱、现代、数字插画感强烈
5
30
6
237
79,960
慢慢发现一件事…… 如果我不在潜意识里计较 token 消耗,我可以用现有的 AI 写出非常高质量的东西。 这不是说我会让 AI 疯狂迭代不计成本的疯狂修复自己直到跑出结果来…… 而是指,我仍然使用非常古老的传统方法编程,而且也不讲究速度,但我会把几乎每一段代码,设计思路,方案列举都和 AI 一一讨论。 可能聊半天下来代码也没几行。但没有什么冗余,没有什么过度设计,写完一点东西就去找复用,并分析是不是要复用,又要避免冗余代码又要避免过度封装。 数据结构,项目结构,模块划分,边界治理,更是千锤百炼,反复打磨。 速度肯定慢,别人写完应用估计都上线审核通过了,我都没写完。 也不是说我精益求精,我也舍不得 token 这样消耗法… 我只是表示,如果忘掉 token 消耗这件事,现有的 AI 已经足以成为你编程道路上的良师益友。可能比你遇到过的任何一位同事都更强,更好沟通,更容易协作。 只要你不是急着赶路,说我要用最低的成本最快的做出一个东西来。 那是做东西,我说的是编程就是目标本身。做东西还是要快一点……
12
1
3
81
16,701
M.Hertz retweeted
在 AI 迅速发展的今天,企业如何将 AI 技术落地应用,推动业务创新,成为了摆在许多从业者面前的难题。 Anthropic 在“AI Engineer Summit 2025”分享了他们在与众多客户合作的过程中,总结出来的一套行之有效的企业落地 AI 的最佳实践,并识别出了一些常见的错误。我在这里把视频上一些有价值的实践经验和教训整理出来了,希望能帮助你在 AI 应用的道路上少走弯路。 常见场景与挑战:你是否也有这些困惑? Anthropic 通过和企业客户的协作过程中,发现主要的问题集中在这几个方面: • 问题一:从何入手? 你知道 AI 很强大,但具体到你的业务场景,应该从哪里开始?是做一个聊天机器人,还是做数据分析工具?抑或是更高级的 AI Agent? • 问题二:如何评估效果? 你花了大量时间和资源搭建了一个 AI 系统,但如何判断它是否真的有效?是看用户反馈,还是看技术指标?评估的标准是什么? • 问题三:技术选择困惑。 你听说过微调(fine-tuning),觉得这听起来很高大上,是不是应该一上来就用微调来提升模型性能? 这些问题,你是否也曾遇到过?别担心,你并不孤单。许多企业在落地 AI 时都会面临类似的困惑。那么 Anthropic 是如何应对这些挑战的呢? 最佳实践一:评估先行,切勿本末倒置 在 AI 应用中,最常见的错误之一就是“先构建复杂流程,最后才想到做评估”。很多企业热情高涨,一上来就投入大量资源搭建复杂的 AI 系统,却忽略了评估的重要性。结果往往是,系统上线后才发现效果不尽如人意,浪费了大量时间和精力。 视频中不止一次强调,评估是指引你走向理想结果的工具。在 AI 应用中,评估不仅仅是事后的检验,更是整个开发过程中的“北极星”。为什么这么说呢? • 评估帮助你明确目标。 在开始任何 AI 项目之前,你需要清楚地知道什么是成功。评估标准能够帮助你设定明确的目标,比如准确率、响应时间、用户满意度等。 • 评估指导优化方向。 通过定期评估,你可以及时发现系统的问题,调整优化策略,避免在错误的道路上越走越远。 • 评估是你的“知识产权”。 一位专家曾说:“评估就是你们的‘知识产权’。”在 AI 应用的潜在空间中,谁能更快地通过评估找到最优解,谁就能在竞争中脱颖而出。 案例分享:Intercom 的 AI Agent Fin Intercom 是一家 AI 客服平台,他们的 AI Agent Fin 在业内颇有名气。然而,即使是这样的领先企业,在优化 AI 性能时也曾面临挑战。他们采取了评估先行的策略。 在合作初期,Intercom 与 Anthropic 的技术团队合作,将 Fin 的提示词(prompt)迁移到新模型上,并进行了为期两周的评估测试。结果显示,新模型在多个关键指标上优于 Intercom 当时使用的大语言模型。 随后,双方进行了为期两个月的冲刺,优化了所有与 Fin 相关的提示,确保在新模型上获得最佳性能。最终,Fin 2.0 版本上线后,数据显示,Fin 能够处理高达 86% 的客服需求,其中 51% 无需人工介入。这一成果的取得,离不开前期充分的评估和优化。 这个案例告诉我们,评估不仅是检验成果的手段,更是指导整个开发过程的关键环节。 最佳实践二:权衡“智能度、成本、延迟”,找到最优平衡 在 AI 应用中,企业往往需要在“智能度、成本、延迟”这三个维度之间进行权衡。而 Anthropic 的建议是:很少有企业能够同时在这三个方面都做到极致,因此,明确你的核心需求,找到最适合的平衡点至关重要。 • 智能度: AI 模型的准确性和智能水平。 • 成本: 开发和运维 AI 系统的经济成本。 • 延迟: AI 系统响应的速度。 不同的应用场景对这三个维度的要求不同。例如: • 客服场景: 延迟是关键指标。用户希望在 10 秒内得到回复,否则可能会流失。因此,在客服应用中,快速响应比极高的智能度更重要。 • 金融研究员助手: 智能度是核心。金融决策需要高度准确的信息,响应时间可以适当放宽。 如何找到平衡? 1. 明确核心指标。 根据业务需求,确定哪个维度是最关键的。 2. 设计评估标准。 针对核心指标,设定明确的评估标准。 3. 灵活调整。 在开发过程中,根据评估结果,灵活调整技术方案,找到最优平衡。 例如,在客服场景中,你可以通过设计“思考中”的动画或引导用户阅读其他内容来缓解延迟问题,同时优化模型以提高响应速度。 常见错误:过早考虑微调,忽视基础优化 在 AI 应用中,微调(fine-tuning)是一个常被提及的技术。许多企业一听到微调,就觉得这是提升模型性能的“灵丹妙药”,急于尝试。然而,Anthropic 警告,微调并不是万能的,而且往往不是最佳选择。 微调的误区 1. 微调不是“银弹”。 微调相当于对模型进行“脑外科手术”,会影响模型在其他领域的推理能力。盲目微调可能导致模型在某些任务上表现更好,但在其他任务上表现下降。 2. 微调成本高昂。 微调需要大量的数据和计算资源,而且成功率参差不齐。很多时候,企业投入了大量资源,却未能获得预期的效果。 3. 忽视基础优化。 在没有充分评估和优化基础模型的情况下,过早考虑微调,往往是本末倒置。 何时考虑微调? 建议,只有在基础优化无法满足需求时,才考虑微调。具体来说: • 先尝试提示工程(prompt engineering)。 通过优化提示词,提升模型在特定任务上的表现。 • 利用其他技术。 例如,提示缓存(prompt caching)可以降低成本和延迟,检索增强(retrieval augmentation)可以提高模型的知识覆盖面。 • 评估后再决定。 在充分评估后,如果发现基础模型无法满足需求,再考虑微调。 其他实用建议 除了上述最佳实践,Anthropic 还分享了一些其他实用建议,帮助企业更好地落地 AI 应用。 • 构建代表性的评估集。 确保你的评估集覆盖了各种可能的情况,包括边缘案例。例如,在客服场景中,不仅要评估常见问题,还要评估无关或恶意的问题。 • 监控和回放。 建立完善的监控系统,记录 AI 系统的表现,并定期回放评估结果,持续优化。 • 探索创新架构。 例如,AI Agent、上下文检索等,可以提升 AI 应用的智能度和用户体验。 结语 AI 技术的快速发展为企业带来了前所未有的机遇,但同时也伴随着诸多挑战。Anthropic 总结出了一套宝贵的最佳实践和常见错误,帮助企业在 AI 应用的道路上少走弯路。 记住,评估是你的“北极星”,指引你找到最优解;权衡“智能度、成本、延迟”,找到最适合的平衡点;避免过早考虑微调,先从基础优化做起。这些经验,不仅适用于 AI 企业落地,也适用于任何技术创新的实践。
2
67
2
196
26,418
M.Hertz retweeted
Complete step-by-step guide on Cursor: 🧵
16
217
6
2,055
363,420