My cat Gibo and Hagi. Share cat photo and my gunpla work.
台灣
Joined July 2019
- Tweets95
- Following35
- Followers7
- Likes168
ALT Gibo, a tabby-and-white cat, reclines in a wooden window hammock with one front paw raised, eyes squinted and mouth open showing small fangs. Sunlight shines through a white curtain beside him.
ALT Two cats cuddle on a wooden shelf beside a curtained window. A tabby-and-white cat rests its chin on a black-and-white cat, both with their eyes closed.
ALT Gibo, a brown tabby-and-white cat with green eyes, rests inside a white shelf with both front paws stretched forward, looking at the camera. An orange accessory hangs from his collar.
ALT Gibo, a green-eyed tabby-and-white cat wearing a collar with an orange tag, rests with his front paws tucked in and looks at the camera.
It took me a year and a half to finally complete my RG Sazabi!
Still, I learned a lot — and I’ll keep building more!
Let’s all keep pushing forward on this Gunpla journey!
#Gunpla #RGsazabi #ガンプラ #Sazabi #GunplaBuilder #ModelKit #PlasticModel #GunplaPainting #Gundam
A quick preview of my almost-finished Sazabi. I’ve been working on it for almost a year and a half…
#Gunpla #Sazabi #GunplaBuilding #Mecha #Gundam
SP & Gibo & Hagi retweeted
在這麼多的 prompt 教學當中，大概只有 Google 這一份我最後讀完有記得。出處放在留言。
雖然我凡事力求簡單就好，但這並不是說複雜的方法不好，很多時候是因為有以下限制：
● 能力不足：STEM 沒學好
● 個性不佳：沒耐心又不謹慎
● 動機不夠：沒那麼主動積極
● 壓力不大：老闆還沒逼著我動
在認知到自己還沒打破這四項限制以前，如果還想要真的做點什麼，就會想辦法去找一些「很簡單就能記得」的做法。有點像是走路可能不是最佳的運動型態，但「比坐著不動好」的意思。
看過蠻多 prompt 教學內容後，我自己唯一有辦法記得的準則都來自 Google 這份教學文件。在講這份文件為什麼好以前，還是要先說它的限制：
● 它主要是針對個人、而非團體協作
● 它是給初學者入門用的
● 它只講 Workspace，也就是辦公室生產力的情境
● 它不涉及 coding 與複雜的影視音創作
--
那麼，為什麼這份文件我覺得很讚？我認為光是它的「最高指導原則」就非常有參考價值（或著說光是認為這很有參考價值的我，基本上就屬於低階小白）：
● 使用自然語言就好，想像是在跟人說話
● 講話要具體，且反覆說明你的需求
● 務必用動詞來表達任務需求
● 盡可能提供充足的背景資訊（context）
● 用語簡潔，不要太複雜或用太多行話
● 不要覺得自己是在下指令，而是在「對話」
● 不要用一個 prompt 執行多個任務，拆開來
然後是一個我認為最重要的原則：在真正給出 prompt 以前，先用 LLM 作為 prompt 編輯器，再把新的 prompt 貼去執行。例如：
「請將 [原始 prompt 文字] 寫成一個厲害的 prompt（power prompt），並附上修改建議與解釋。」
甚至可以把這個步驟更往前一個階段，在請 LLM 改寫 prompt 以前，先問它：
「[原始 prompt 文字] 這是我的需求，你有什麼問題想問我，以便你改寫一個更好的版本？」
最後，Google 也提醒了一件事：最有效的 prompt 會提供有用的背景資訊，且平均是 21 個字。然而，多數人的 prompt 都少於 9 個字。
換句話說，光是「能把話講清楚」可能就已經是前四分之一（甚至更高）的使用者了。我覺得...這其實跟上班差不多。
--
除了最高指導原則，Google 這份教學文件還有兩個特點。
首先，它給了一個通用的最佳解公式。如果是廣告行銷人，可能在幾年前也都曾焦慮於「如何找到文案黃金公式」，例如開頭要寫什麼、中段要怎麼轉折、最後要怎麼下 CTA ... 等。
Google 認為一個有效的提示最好包含四個組成：
● 角色設定：要 LLM 調度哪些領域知識
● 任務：你想完成什麼目標（記得包含動詞）
● 背景：任務的起源／目標的限制／涉及的人士
● 格式：輸出類型、編排格式
其次，這份教學完全以「任務示範」為核心，並不是寫滿 68 頁的原理與原則，而是一本速查手冊。整份文件共有 11 種任務，每一種任務當中都會有多種範例的詳細示範與說明。這些任務包括：
● 行政支援
● 溝通
● 顧客服務
● 高階主管
● 前線管理
● 人力資源
● 行銷
● 專案管理
● 業務
● 中小企業主與創業者
● 創業領袖
--
總之，在認清到自己的限制後，近年來似乎漸漸發展出一套「80 分哲學」：
對任何事物的期待上限都先設在 80 分就好，除了過量的投入產出效益不佳，還會造成心理負擔。具體來說是什麼心理負擔？
「因為很認真對待，所以認為它一定可以成，或希望它一定要成。」我現在只要想到有哪件事情真的很希望它成功，心情就會變得很低落。
另外就是，考量到技術與外在環境的變化越來越快，今天的 80 分往往很快就會被新技術給 carry 上去了，簡稱搭便車。
當然，以上心得都屬於逆成長思維。
SP & Gibo & Hagi retweeted
Nvidia 主導機器人研發的 Director of AI Jim Fan 在紅衫的演講很有趣，講到了「物理AI」的現況和未來發展，為什麼實體機器人遠遠落後語言模型，以及Nvidia打算怎麼解決這個難題。
機器人時代需要的是更多的算力模擬學習更多實體世界的任務，這些算力會變成實用的技能，然後變成物理API所有其他機器人接入了就都能學會。
-----
#物理圖靈測試：AI 在實體世界的真正挑戰
Jim Fan 開場便提出了一個有趣的概念：「物理圖靈測試」。他指出，雖然我們已經達到了語言 AI 能夠通過傳統圖靈測試的階段，但在物理世界中，AI 的表現還遠遠不夠。
「前幾天我看到一篇部落格文章引起了我的注意，上面寫著『我們通過了圖靈測試，但沒有人注意到。』圖靈測試曾經是神聖的，是電腦科學的聖杯，指的是你無法分辨對話是來自人類還是機器。」
Jim Fan 提出的物理圖靈測試很簡單：想像你舉辦了一個週日晚上的黑客松派對，結果家裡一團亂。週一早上你希望有人能清理這些混亂，並準備一頓浪漫的燭光晚餐讓伴侶開心。
如果你回家後發現一切井然有序，甚至無法分辨是人類還是機器完成的工作，那就通過了物理圖靈測試。然而，目前的機器人技術還遠遠達不到這個標準。
#機器人訓練的根本困境：資料收集
為什麼實現物理圖靈測試如此困難？Jim Fan 幽默地將語言模型研究者與機器人研究者作比較：
「語言模型研究者抱怨很多，最近有人說語言模型的預訓練資料正在耗盡，甚至稱網路是 AI 的『化石燃料』，說我們正在耗盡訓練語言模型的資料。但只要花一天時間和機器人研究者在一起，你就會知道語言模型研究者有多麼被寵壞了，我們甚至沒有化石燃料可用。」
在 NVIDIA 總部的資料收集過程中，研究者們必須親自操作人形機器人來收集資料。這些資料是連續的機器人關節控制信號，無法從網路、維基百科、YouTube 或 Reddit 上抓取，必須親自收集。
收集這些資料的方法是「遠端操作」：人類戴上能識別手勢並將其傳輸給機器人的 VR 頭盔。這種方式可以教導機器人如何執行如從烤麵包機中取出麵包或倒蜂蜜等任務，但這是一個緩慢且痛苦的過程。
更糟的是，這種資料收集方式幾乎無法擴展，每個機器人每天最多只能收集 24 小時的資料，而實際上會少得多，因為人類和機器人都會疲勞。
「這就是真正的機器人資料，它是人類燃料，比化石燃料還糟糕，你正在燃燒人類燃料。」
#模擬：機器人訓練的「核能」
面對資料收集的困境，Jim Fan 和他的團隊轉向了模擬世界。他們訓練機器人手在模擬環境中完成高難度的靈巧任務，例如旋轉筆，這種技巧甚至超越了 Jim 自己的能力。
這種訓練基於兩個關鍵概念：
以比現實快 10,000 倍的速度進行模擬，即在單一 GPU 上並行運行 10,000 個環境的物理模擬
這 10,000 個環境不能完全相同，必須變化某些參數，如重力、摩擦力和重量，這被稱為「領域隨機化」
「為什麼這有效？想像一下，如果神經網路能夠控制機器人解決一百萬個不同的世界，那麼它很可能也能解決第一百零一萬個世界，也就是我們的物理現實。換句話說，我們的物理世界是在這個訓練分布中的。」
透過這種方法，研究者可以建立「數位分身」—機器人和環境的一對一複製，然後在模擬中訓練，直接測試於現實世界，實現零樣本遷移。
他們成功地將這種技術應用於機器人狗和人形機器人。這些人形機器人在僅僅兩小時的模擬時間內，就完成了相當於 10 年的行走訓練。更令人驚訝的是，控制這些複雜人形機器人的神經網路僅有 150 萬個參數，遠低於現代語言模型的規模。
「需要多大的神經網路才能做到這點？只需要 150 萬個參數，不是 10 億，150 萬個參數就足以捕捉人體的下意識處理和系統性推理。」
從數位分身到數位表親： #生成式模擬
Jim Fan 將這種基於精確物理引擎的模擬稱為「模擬 1.0」或「數位分身」範式。它能以每秒 10,000 至 100 萬幀的速度運行，但缺點是需要手動建立數位分身，包括機器人、環境等所有元素，這是一個繁瑣的過程。
為了解決這個問題，NVIDIA 開發了 Roboccasta 框架，利用生成式 AI 創建模擬的部分元素：
>3D 模型由 3D 生成模型創建
>材質由穩定擴散或其他擴散模型生成
>場景佈局由大型語言模型生成 XML 描述
「這些 3D 資產全部由 3D 生成模型創建，這些材質來自穩定擴散或你喜歡的任何擴散模型，所有的佈局都是由大型語言模型編寫 XML 生成的。」
這種方法被稱為「數位表親」範式，它不是完全精確的數位分身，但已足夠接近。這些模擬運行較慢，但具有更高的多樣性。使用這種混合式生成物理引擎，NVIDIA 可以模擬包含軟體、流體等複雜元素的場景。
#數位遊牧者：視訊生成模型的突破
Jim Fan 展示了更進一步的突破：利用視訊生成模型來模擬機器人動作。他向觀眾展示了一段完全由自訂模型生成的視訊，沒有任何真實像素。
「我騙了你們，這個視訊中沒有一個真實的像素，它完全是由自訂模型生成的。」
NVIDIA 團隊使用開源的最先進視訊生成模型，並針對實際機器人實驗室收集的資料進行微調。這使得模型能夠根據語言指令想像不同的未來情境，即使這些動作從未在現實世界中發生過。
視訊擴散模型不在乎場景有多複雜，無論是流體還是軟體，都能正確模擬。它甚至能模擬機器人手指彈奏烏克麗麗，雖然實際硬體並不支援這種動作。
「視訊生成模型可能已經看過數百萬人彈奏烏克麗麗的影片，然後它就模擬機器人手指做同樣的動作，即使硬體實際上並不支援這種動作。」
Jim Fan 將這稱為「模擬 2.0」或「數位遊牧者」，它在多樣性上非常高，但運行速度較慢。他將視訊擴散模型比喻為數億網路視訊的壓縮，形成了一種「多重宇宙的模擬」。
「就像《奇異博士》一樣，你在夢境空間中實例化機器人，基本上機器人現在可以與各處的物體互動，無所不在、無時不在。」
#體現規模定律 Embodied Scaling Law 與計算需求
Jim Fan 提出了「體現規模定律」，指出經典模擬（1.x 系列）需要大量計算資源來擴展，但其多樣性受到手工製作系統的限制。而神經世界模型（模擬 2.0）則會隨著計算資源呈指數級增長，這是神經網路開始超越經典圖形引擎的點。這兩者結合將成為下一代機器人系統的「核能」。
「買越多，省越多。誰說計算情況會變好而不是變糟，把這個圖記在腦子裡好好想想。」
Groot N1 模型： #開源物理AI
NVIDIA 將這些資料輸入到視覺-語言-行動模型中，該模型接收圖像和指令，輸出馬達控制信號。這就是他們在 3 月份 GTC（Jensen 主題演講）公開發布的 Groot N1 模型。
Jim Fan 展示了 Groot N1 在真實機器人上的表現，包括抓取香檳杯、執行工業任務以及多機器人協調。他強調 Groot N1 是完全開源的，未來系列的模型也將保持開源，以遵循 Jensen Huang 的開源和民主化物理 AI 的範式。
未來： #物理API
Jim Fan 認為，當我們解決了物理 AI 後，下一步將是「物理 API」。
「縱觀人類歷史，5,000 年來我們有了更好的工具和更好的社會，但我們做晚餐和進行大量手工勞動的方式仍然與埃及時代差不多。」
他指出，在人類歷史的 99% 時間裡，我們都是透過原材料和人類勞動來建設文明。在最後的 1%（約 50 年）中，我們看到人類勞動減少，高度專業化的機器人系統能一次做一件事，但編程非常昂貴。
未來是將物理 API 擴展到各個領域，就像語言模型 API 移動數位位元一樣，物理 API 移動原子團塊。在這個物理 API 之上，將會有新的經濟和範式，包括物理提示（如何指導機器人）、物理應用商店和技能經濟。
「未來一切移動的東西都將是自主的，總有一天你會回到家，看到乾淨的沙發和點燃蠟燭的晚餐，你的伴侶對你微笑，而不是因為你沒有洗臟衣服而對你大喊大叫。這仍然是我每天的動力。」
Jim Fan 想像了一個未來：你上個月買了兩個運行 Groot N7 的人形機器人，這些機器人會融入背景，成為一種環境智慧。你甚至不會注意到我們通過了物理圖靈測試的那一刻，那一天將被簡單地記住為「又一個星期二」。
