5 月 7 日，星動紀元宣布，已與清華大學叉院的 ISRLab 合作，開源首個 AIGC 生成式機器人大模型 VPP（Video Prediction Policy）。

VPP 利用了大量互聯(lián)網(wǎng)視頻數(shù)據(jù)進行訓練，直接學習人類動作，減輕了對于高質(zhì)量機器人真機數(shù)據(jù)的依賴，且可在不同人形機器人本體之間自如切換，這有望大大加速人形機器人的商業(yè)化落地。

在今年的 ICML 2025 中，VPP 從超 12000 篇投稿里脫穎而出，入選占比不到 2.6% 的 Spotlight 論文。

當下，AI 大模型領(lǐng)域有兩大 “巨頭” 流派 —— 基于自回歸的理解模型，比如大名鼎鼎的 GPT；和基于擴散的生成模型，例如 Sora。

GPT 的思路演化到具身智能領(lǐng)域，就是以 PI（Physical Intelligence）為代表的 VLA 技術(shù)，它從視覺語言理解模型（VLM）微調(diào)而來，擅長抽象推理和語義理解。

而生成式技術(shù)與機器人的碰撞，就誕生了 VPP 這樣的生成式機器人大模型。

VPP 分成兩階段的學習框架，最終實現(xiàn)基于文本指令的視頻動作生成。

第一階段利用視頻擴散模型學習預(yù)測性視覺表征；第二階段通過 Video Former 和 DiT 擴散策略進行動作學習。

以往機器人策略（例如 VLA 模型）往往只能根據(jù)當前觀測進行動作學習，機器人策略需要先理解指令和場景，再執(zhí)行。而 VPP 能夠提前預(yù)知未來的場景，讓機器人 “看著答案” 行動，大大增強泛化能力。并且，VPP 視頻預(yù)測結(jié)果與機器人實際物理執(zhí)行結(jié)果幾乎一致，能被視頻生成的，就能被機器人執(zhí)行。

過去訓練機器人策略（例如 VLA 模型），得反復拍很多它干活的視頻，成本高又費時間。VPP 就像個 “超級學霸”，不用盯著機器人實操，直接看網(wǎng)上海量人類干活的視頻，比如掃地、炒菜，就能學會這些動作，提前 “腦補” 接下來場景，比如端水杯前知道可能會灑，提前調(diào)整動作。

高頻預(yù)測和執(zhí)行，反應(yīng)超快不 “卡殼”

以前 AIGC 生成畫面很慢，但往往花費大量推理時間，就像電腦加載視頻要等好久。

星動紀元研究團隊發(fā)現(xiàn)，不需要精確地預(yù)測未來的每個像素，通過有效提取視頻模型中間層的表征，單步去噪的預(yù)測就可以蘊含大量未來信息。

VPP 發(fā)現(xiàn)不用把畫面每個細節(jié)都精準預(yù)測，抓住關(guān)鍵信息就行。這樣一來，它預(yù)測下一步動作不到 0.15 秒，控制機器人的頻率比普通模型快好幾倍，干活一點不拖泥帶水。

跨本體學習，技能 “共享” 超方便

不同機器人 “身材” “手臂” 不一樣，以前教它們技能很麻煩。

VPP 直接把機器人干活的視頻當教材，連人類干活視頻也能學，就像學做菜，看別人做一遍，自己就能上手。

在測試中，它完成任務(wù)的效率比老方法高 41.5%，在仿真測試接近滿分，真機測試成功率也有 67% 。

舉一反三，真實世界表現(xiàn) “全能”

在真實世界的測試中，VPP 模型展現(xiàn)出了驚人的多任務(wù)學習能力和泛化能力，學習成果十分驚艷。

在星動紀元單臂 + 仿人五指靈巧手靈巧手 XHAND 平臺，VPP 能使用一個網(wǎng)絡(luò)完成 100 多種精細操作，像疊衣服、擰瓶蓋；在雙臂機器人上，也能熟練搞定 50 多項復雜任務(wù)，比如包餃子、擺餐具。

可解釋性與調(diào)試優(yōu)化，問題一眼看穿

VPP 的預(yù)測視覺表示在一定程度上是可解釋的，開發(fā)者在不通過 real - world 測試情況下，通過預(yù)測的視頻來提前發(fā)現(xiàn)失敗的場景和任務(wù)，進行針對性的調(diào)試和優(yōu)化。

如果機器人干活出錯，VPP 能通過預(yù)測的視頻提前發(fā)現(xiàn)問題，就像看彩排視頻找漏洞。而以前的模型，得讓機器人反復實操，才能找到問題，VPP 大大節(jié)省了調(diào)試時間。

如今 VPP 已全部開源，武功秘籍已經(jīng)免費分享出來了。依托行業(yè)持續(xù)開源優(yōu)質(zhì)模型與技術(shù)的強勁動力，機器人技術(shù)必將開啟全新篇章，具身 AGI 也將沿著這條創(chuàng)新之路闊步前行。