5 月 7 日消息，星動紀元今日在官方公眾號上宣布，開源首個 AIGC 機器人大模型 VPP（Video Prediction Policy）。

據了解，生成式機器人大模型 VPP 由清華大學叉院的 ISRLab 和星動紀元合作開發，將視頻擴散模型的泛化能力轉移到了通用機器人操作策略中，解決了 diffusion 推理速度的問題，讓機器人實時進行未來預測和動作執行，大大提升機器人策略泛化性，并且現已全部開源，相關成果入選 ICML 2025 Spotlight。

星動紀元介紹稱，VPP 利用了大量互聯網視頻數據進行訓練，直接學習人類動作，減輕了對于高質量機器人真機數據的依賴，且可在不同人形機器人本體之間自如切換，這有望大大加速人形機器人的商業化落地。

目前 AI 大模型領域有兩種主流方法，基于自回歸的理解模型和基于擴散的生成模型，各自代表作分別為自回歸的 GPT 和生成式的 Sora：

GPT 的思路演化到具身智能領域，就是以 PI（ Physical Intelligence ）為代表的 VLA 技術，是從視覺語言理解模型（VLM）微調而來，擅長抽象推理和語義理解。

生成式的技術與機器人的碰撞，就誕生了 VPP 這樣的生成式機器人大模型。

然而，人工智能領域存在著著名的莫拉維克悖論（Moravec's paradox）：高級推理功能反而容易（例如圍棋、數學題），下層的感知和執行反而困難（例如各種家務）。VLM 更擅長高層級的推理，而 AIGC 生成式模型更擅長細節處理。VPP 基于 AIGC 視頻擴散模型而來，在底層的感知和控制有獨特的優勢。

如圖所示，VPP 分成兩階段的學習框架，最終實現基于文本指令的視頻動作生成。第一階段利用視頻擴散模型學習預測性視覺表征；第二階段通過 Video Former 和 DiT 擴散策略進行動作學習。

1、提前預知未來：VPP 讓機器人行動前做到“心里有數”

以往機器人策略（例如：VLA 模型）往往只能根據當前觀測進行動作學習，機器人策略需要先理解指令和場景，再執行。VPP 能夠提前預知未來的場景，讓機器人“看著答案”行動，大大增強泛化能力。

VPP 視頻預測結果與機器人實際物理執行結果幾乎一致。能被視頻生成的，就能被機器人執行。

2、高頻預測和執行：VPP 讓機器人執行速度“更快一步”

AIGC 視頻擴散模型雖能生成逼真的視頻，但往往花費大量推理時間。星動紀元研究團隊發現，不需要精確地預測未來的每個像素，通過有效提取視頻模型中間層的表征，單步去噪的預測就可以蘊含大量未來信息。這讓模型預測時間小于 150ms，模型的預測頻率約 6-10hz，通過 action chunk size = 10，模型的控制頻率能超過 50Hz。

如圖所示，單步視頻擴散模型預測已經蘊含大量未來信息，足夠實現高頻預測（規劃）和執行。

3、跨本體學習：VPP 讓機器人先驗知識流通“暢通無阻”

如何利用不同本體的機器人數據是一個巨大的難題。VLA 模型只能學習不同維度的低維度 action 信息，而 VPP 可以直接學習各種形態機器人的視頻數據，不存在維度不同的問題。如果將人類本體也當作一種機器本體，VPP 也可以直接學習人類操作數據，降低數據獲取成本。同時視頻數據也包含比低維度動作更加豐富的信息，提高模型泛化能力。

VPP 能學習跨本體的豐富視頻數據，相比之下，VLA 只能學習維度不一致的低維動作信號。

4、基準測試領先：VPP 讓機器人性能“一騎絕塵”

在 Calvin ABC-D 基準測試中，實現了 4.33 的任務完成平均長度，已經接近任務的滿分 5.0。相較于先前技術，VPP 實現了 41.5% 的提升。

左圖為 Calvin ABC-D 任務的平均長度對比，右圖為 Real-World Dexterous Hand 任務的成功率對比。可以看出，VPP 方法在這兩項指標中均取得了最佳表現，在仿真環境任務完成平均長度達到 4.33，真機測試成功率為 67%，顯著優于其他方法。

5、真實世界靈巧操作：VPP 讓機器人靈巧操作“舉一反三”

在真實世界的測試中，VPP 模型展現出了良好的多任務學習能力和泛化能力。在星動紀元單臂 + 仿人五指靈巧手靈巧手 XHAND 平臺，VPP 能使用一個網絡完成 100+ 種復雜靈巧操作任務，例如抓取、放置、堆疊、倒水、工具使用等，在雙臂人形機器人平臺能完成 50+ 種復雜靈巧操作任務。

6、可解釋性與調試優化：VPP 讓機器人“透明可控”

VPP 的預測視覺表示在一定程度上是可解釋的，開發者在不通過 real-world 測試情況下，通過預測的視頻來提前發現失敗的場景和任務，進行針對性的調試和優化。

而 VLA 模型是完全端到端的模型，開發者在調試優化中需要大量真實世界的測試來找到模型漏洞，需要花費大量的時間。