復旦?學、上海創智學院與新加坡國立?學聯合推出全模態端到端操作?模型 RoboOmni，統?視覺、?本、聽覺與動作模態，實現動作?成與語?交互的協同控制。開源 140K 條語? - 視覺 - ?字「情境指令」真機操作數據，引領機器?從「被動執??類指令」邁向「主動提供服務」新時代。
在?常?活中，?類很少發出?硬的命令式指令?「把杯子放到桌上」。更多時候，我們的真實意圖隱藏在對話、語?、甚?環境聲音中。
「這果汁好酸啊」，其實意味著想換別的飲料；聽到雷聲驟起，就知道該去關窗收?；從聲音辨出是爺爺在說話，會主動問他是否想喝最愛的熱茶?不是可樂；在多?同時說話的場景中，還要分清誰才是發出指令的?。
現在，機器?終于能聽懂這些「潛臺詞」了！復旦?學與新加坡國立?學聯合發布RoboOmni，不僅重新定義了機器?交互的「情境指令」新范式，更通過全模態端到端的統?架構，讓機器??次具備了「察?觀?」的認知能力。
- 論文標題：RoboOmni: Proactive Robot Manipulation in Omni-modal Context
- 論?地址：https://arxiv.org/pdf/2510.23763
- 代碼地址：https://github.com/OpenMOSS/RoboOmni
- 模型 & 數據地址： https://huggingface.co/collections/fnlp/roboomni
- 項?主?：https://OpenMOSS.github.io/RoboOmni
具身交互范式革命：從「顯式指令」到「情境指令」
圖 1：根據指令類型與輸?對機器?操控模型的分類。RoboOmni 通過整合跨模態情境指令，實現了端到端多模態交互與動作執行的?體化。
當前主流的 VLA 模型存在兩?局限：（1）現有模型?多依賴于精確、顯式的指令（如「拿起蘋果」），?法理解隱含的意圖。（2）現有?法的指令輸?嚴重依賴于?本，即便使?語音，也需要先通過 ASR （Automatic Speech Recognition）技術轉成?字，這丟失了語調、情感、說話?身份等副語?關鍵信息，更?法感知?鈴、雷聲等環境聲音的語義。
這意味著，過去的機器?是?個需要「精確編程」的遲鈍執?者，???個能「察?觀?」的智能伙伴。
復旦聯合新國立提出的「跨模態情境指令」 (contextual instrcution) 新范式，旨在徹底改變這?現狀。它要求機器?能像??樣，主動融合語音對話、環境聲音和視覺觀察，從多模態上下?中推斷出?戶的真實意圖。
- 從被動到主動：不再是等待明確的「關窗」指令，?是在聽到雷聲、看到陽臺?開著時，主動詢問：「需要我關窗嗎？」
- 從單模態到全模態：同時理解語音中的情感傾向（如不滿的語?）、說話?身份（是媽媽的需求還是??的？）、環境聲音（?鈴、警報、廚房噪音）以及視覺觀察（畫?中的物體狀態和?物關系）的語義。
這不再是簡單的指令執?，?是讓機器?具備了真正的情境理解能力。它就像?個貼?的私?助理，能夠從?句嘀咕、?段對話和周圍的環境中讀懂潛臺詞，讓服務變得?然、主動且精準。