上海2025年12月15日 /美通社/ -- 在全球機器人產業加速演進的背景下,一個越來越清晰的共識正在形成:機器人真正走向真實世界,依賴的不只是更高的算力或更復雜的算法,而是一套能夠長期穩定運行、持續演進、并且可被產業廣泛采用的智能計算基礎。
過去十年,機器人經歷了從"可編程執行"到"感知驅動控制"的階段演進,視覺、定位與運動控制逐步成熟。但隨著深度學習和 Transformer 架構進入機器人領域,機器人開始承擔更復雜的理解、決策與協作任務,系統復雜度呈指數級上升。真實世界中不斷變化的光照、環境、人類行為和任務目標,使得傳統"模塊割裂、靜態部署"的機器人架構逐漸暴露出瓶頸。
在這一背景下,黑芝麻智能推出 SesameX 多維具身智能計算平臺。SesameX 的目標并非構建一個封閉的全棧系統,而是面向產業伙伴提供一套開放、可擴展、可量產的機器人智能計算底座,幫助機器人從"可運行"走向"可成長",從單點能力展示邁向長期商業化落地。
一、SesameX 多維具身智能計算平臺:讓機器人真正從"可運行",走向"可成長"
SesameX 在平臺設計的早期階段,就將"可成長性"作為核心目標之一。所謂成長,并非簡單依賴模型規模擴大,而是系統能夠在真實環境中持續穩定運行,并在反饋中逐步優化行為表現。
傳統機器人系統往往以任務為中心進行設計,感知、規劃、控制彼此分離,模型部署完成即進入長期靜態運行狀態。一旦環境變化或任務復雜度提升,系統需要重新設計、重新標定,難以支撐規?;涞?。
SesameX 通過在平臺層面引入統一的計算結構、任務表達方式和執行調度機制,使機器人在架構上具備持續演進的基礎條件。不同來源的感知模型、規劃算法和控制策略可以在同一平臺內協同運行,并在系統運行過程中形成穩定的閉環反饋,從而支持機器人能力隨時間逐步提升。這種設計,使機器人首次在工程層面具備了從"任務執行型"向"認知理解型"再向"全腦協同型"演進的現實路徑。
1.如何實現全腦智能?
黑芝麻智能提出"全腦智能(Whole-Brain Intelligence)"作為機器人計算平臺的長期設計目標。該理念并非強調單一模型或算力的突破,而是借鑒人類大腦多區域協同工作的方式,將語言理解、空間感知、決策推理和運動控制等能力,在系統層面進行統一組織和協同調度。
在 SesameX 平臺中,全腦智能并不是通過某一個"超級模型"實現,而是通過以下幾個層面的協同:
在計算層面,通過異構算力單元(CPU、NPU、DSP、MCU 等)的統一調度,使不同類型的任務在合適的計算資源上高效執行;
在系統層面,通過統一的任務表達和執行機制,使感知、規劃與控制之間不再依賴人工拼接,而是形成連續的信息流;
在模型層面,通過多模態模型與原子化能力組合,使來自不同算法體系和生態伙伴的模型能夠自然協同。
通過這種方式,SesameX 將原本分散在多個子系統中的智能能力重新組織為一個持續協作的整體,使機器人在復雜環境中能夠形成穩定、一致的跨模態理解與行為輸出,而非碎片化響應。
2.如何面對機器人安全挑戰?
與汽車等高度結構化場景不同,機器人通常與人類共享空間,安全不只是防止硬件故障,更是一種系統級能力。安全意味著行為可預測、狀態可解釋、異??苫謴?,并在極端情況下仍能最大程度保護人類。
SesameX 并未將安全視為某一個獨立模塊,而是將安全理念貫穿于整個平臺架構之中。從感知輸入、算力調度、任務執行到控制輸出,每一層都引入明確的安全約束和兜底機制。
平臺通過L0~L5多層級安全體系,使機器人在傳感器異常、模型輸出異常、資源爭搶或任務沖突等情況下,能夠自動進入受控狀態,包括限速、重規劃或安全停機。這種系統級安全設計,使機器人不再依賴單點正確性,而是具備整體可控、可預測的運行特性,為商業化部署提供必要前提。
3.機器人"如何行動、如何保護人類"?
為了在真實環境中實現安全與自主并存,SesameX 將復雜的安全需求抽象為六層安全機制,從物理行為一直延伸到數據與系統安全,形成由下而上的整體防護結構。
在執行過程中,系統會持續監測傳感器狀態、運動趨勢、人機距離以及決策穩定性。一旦檢測到潛在風險,平臺可在不同層級采取干預措施,從動作約束到策略降級,確保行為不越界。
在最高層的數據安全層,平臺通過本地推理、加密傳輸和系統完整性保護機制,防止數據泄露和系統被篡改。這一設計使機器人不僅在物理層面安全可控,在數字層面同樣具備可信基礎。
4.感知、算力和智力如何融合成完整有機體?
在真實世界中,機器人往往面臨這樣一種矛盾:傳感器"看得很清楚",算力"也足夠強",但整體行為卻依然遲緩、割裂,甚至在復雜場景下出現不穩定的動作和判斷。這種現象并非源于單一模塊能力不足,而是系統層面缺乏統一的協同機制。
以典型的服務或巡檢機器人為例,當機器人在人員密集環境中行進時,需要同時完成多項任務:視覺系統持續識別行人和障礙物,定位系統更新自身位姿,規劃模塊實時調整路徑,控制系統保證運動平穩;與此同時,上層任務邏輯可能還在接收新的目標或指令。如果這些能力分別運行在相互獨立的子系統中,數據在多次拷貝與異步調度中流轉,系統就容易出現延遲累積、決策滯后或行為不連貫的問題。
SesameX 的設計出發點,正是將這些原本分散的能力重新組織為一個統一協同的整體。平臺在計算層面通過異構算力融合,使感知、推理和控制不再是"各自為戰"的計算單元,而是接入同一算力網絡,由統一調度機制進行管理。不同任務根據實時性和安全等級,被分配到最合適的計算資源上執行,從而避免關鍵控制任務被高負載推理任務干擾。
在系統層面,SesameX 通過統一的數據通路和任務表達方式,將感知結果、決策邏輯和控制指令納入同一執行鏈路。來自攝像頭、激光雷達或其他傳感器的數據,可以在最少的中間拷貝下直接進入推理和規劃環節,縮短從"看到"到"行動"的反應路徑。這種端到端一致的數據流,使機器人在動態環境中能夠更快地響應突發變化。
在智能表達層面,平臺通過原子模型與任務圖的組合方式,把復雜行為拆解為可復用、可組合的智能單元。例如,在倉儲、商服或巡檢場景中,避障、跟隨、定位、交互等能力可以根據實時環境被動態組合,而不再依賴固定流程。這種"積木式"智能結構,使機器人在面對不同場景時能夠靈活調整行為策略,而不是被限定在預設路徑中。
通過上述多層協同,SesameX 讓機器人從"多個模塊拼裝的系統"轉變為一個具備統一感知、統一決策和統一行動邏輯的有機整體。機器人不再只是執行單點任務,而是能夠在復雜環境中形成連貫、穩定、可預測的行為表現,為真實世界應用提供必要的系統可靠性。
5.如何實現閉環進化?
真實世界永遠比實驗環境更復雜。光照變化、環境反射、人流密度、地面材質、設備老化等因素,都會在長期運行中不斷影響機器人性能。許多機器人在初期測試中表現良好,但隨著部署時間延長,定位漂移、識別準確率下降、動作變得保守或不穩定,最終需要頻繁人工介入。
SesameX 在平臺設計中引入"閉環進化"的理念,目的是讓機器人在真實運行中持續積累經驗,而不是在部署完成后停止成長。這一閉環并不局限于某一種訓練框架或工具鏈,而是通過標準化的數據與接口,將機器人運行過程自然納入持續優化鏈路。
在實際場景中,機器人在執行任務的同時,會對關鍵運行指標進行持續記錄,包括感知穩定性、模型推理延遲、任務成功率以及異常觸發情況。這些信息不會簡單堆積為日志,而是經過結構化整理,用于判斷系統在不同場景下的表現差異。
當機器人在新環境中遇到性能下降或異常行為時,平臺可以通過對比歷史運行數據,定位問題來源:是感知模型對特定光照不敏感,還是規劃策略在擁擠環境中過于保守,或是算力資源分配不合理導致延遲波動。這種基于運行數據的分析,為后續優化提供了明確方向。
在優化階段,SesameX 并不強制限定模型更新方式。合作伙伴可以選擇在本地進行模型微調,也可以在云端結合仿真環境進行再訓練。平臺通過統一接口支持模型更新、參數調整和策略回滾,使優化過程對現場運行影響最小。
當新的模型或策略被部署回機器人后,系統會在受控條件下逐步驗證其效果,并繼續進入下一輪反饋。這種漸進式的迭代方式,使機器人能力在長期運行中穩步提升,而不會因一次更新帶來不可控風險。
通過這一閉環機制,機器人不再是一次性交付的產品,而是具備持續演進能力的系統。隨著部署規模擴大,來自不同場景的數據還可以反向促進算法和系統設計的優化,形成技術與應用相互推動的良性循環,為商業化落地提供長期價值。
二、SesameX 多維具身智能計算平臺:一套"從端側模組到全腦智能的體系化計算的全棧自研平臺"
SesameX 多維具身智能計算平臺提供了一套從硬件模組到系統軟件的完整計算體系,其目標并非替代行業生態,而是為機器人廠商和算法伙伴提供一個可靠、可擴展的基礎平臺。平臺通過模塊化設計、統一接口和兼容主流生態的方式,幫助合作伙伴降低系統集成復雜度,加速產品從研發走向量產。
1.計算平臺層 Module
SesameX 的計算系統由我們自主研發的三款計算模塊 Kalos、Aura 和 Liora 構成,分別面向不同類型與復雜度的機器人算力需求。在計算平臺這一層,我們提供的不僅是三款單獨的模組,而是一套完整的計算平臺體系。模組內部已高度集成 SoC、內存、電源、電源管理與時鐘等復雜設計,并可兼容主流底板接口,支持豐富的 I/O,包括 MIPI、CAN-FD、以太網、USB、SPI與I2C 等,從而讓開發者可以直接面向系統級方案進行設計。
平臺具備從實時控制到大模型推理均能穩定輸出的可靠性能,同時 Kalos 與 Aura 擁有緊湊小巧的體積(分別為69×55mm與82×54mm),非常適合部署于敏感空間或移動場景。借助這一平臺化設計,開發者只需進行底板設計即可完成整機規劃,大幅降低研發門檻。
整體而言,這一層的價值在于為機器人提供可量產級的堅實硬件基礎,幫助不同形態的機器人以最低成本快速進入功能調試與商業測試階段。
2.計算平臺層 Network
SesameX Network 作為系統級通信與數據編排層,負責在機器人內部將不同計算模組、異構算力單元以及各類外設構建為一個統一的實時協同體系,并同時支撐機器人與邊緣節點、云端之間的穩健無線互聯。
在該層中,網絡子系統基于確定性以太網(TSN)構建內部主干,使感知→算力→控制鏈路具備可預測的端到端延遲與帶寬保障;通過集成多路高帶寬數據通道,可同時承載高分辨率 MIPI 視頻流、10GbE 數據交換以及跨單元共享 SRAM 的高速訪存,實現視覺、SLAM 與推理任務的并行數據供給。
系統還實現了面向 WiFi7/5G 的低時延無線協同協議,使機器人在與邊側節點進行分布式推理、任務共享時維持毫秒級鏈路抖動。底層數據管線采用 Zero-copy 通路設計,使來自 ISP/DSP 的感知流可直接進入 NPU/CPU 的推理路徑,避免多級緩存拷貝帶來的額外延遲與功耗開銷。借助上述通信機制,SesameX Network 為機器人構建起可擴展的實時協同計算結構,使其能夠在單機、集群與邊云協同環境下保持一致的實時性和數據一致性。
3.計算平臺層 OS
在操作系統層,SesameX 計算平臺提供了統一的軟件運行環境,支持 Ubuntu、ROS 2 以及自研的 SesameX-RTOS,從而在通用開發生態與實時控制需求之間實現兼容與平衡。平臺原生集成 ROS 2,能夠與行業主流算法框架無縫對接;同時通過 RTOS 與 Linux 的協同調度機制,使高頻控制環與大模型推理任務之間具備確定性時間片分配與干擾隔離能力。系統級安全隔離能力支持不同任務、不同權限在內核與用戶態之間實現強隔離,確保運行安全性與可驗證性。
此外,OS 層提供統一的軟件抽象,使 Kalos、Aura 和 Liora 等多款模組可在同一套系統架構中保持一致運行體驗。作為機器人系統的"基礎生命層",這一層決定了整機的可靠性、實時性與可擴展性,是支撐上層感知、規劃與控制能力的根本。
4.中間件層
SesameX 中間件層由調度引擎、工具鏈和 Runtime 三大核心模塊構成,共同形成機器人系統的"中樞神經網絡"。其中,SesameX 調度引擎負責跨模型、跨任務及跨算力單元的協同調度,通過優先級機制與任務隔離確保關鍵任務不被資源爭搶,安全域任務在系統中獲得最高級別的實時執行權。工具鏈組件提供并行編譯、混合精度加速、Transformer 結構優化、自動量化與算子級優化等能力,使模型在 Kalos、Aura、Liora 等不同模組上都能獲得最優延遲與算力利用率。SesameX Runtime 則對 CPU、DSP、NPU 與 MCU 進行異構融合調度,通過模型沙箱化、實時自調優和故障隔離,實現多模型并行執行與多單元算力的動態分配。
借助中間件層的統一抽象和調度體系,機器人智能從"分散式算力塊"演進為"統一調度的大腦結構",從而獲得更平滑的動作生成、更低抖動的實時響應與更高的系統魯棒性。
5.原子應用層
SesameX 原子應用層通過將復雜任務分解為最小可復用的原子技能(Atom Skills),并進一步抽象為可組合的原子模型(Atom Models),構建出可動態編排的智能行為體系。該層基于任務模型(Task Model)實現運行時的技能組合,使機器人能夠在無需硬編碼流程的情況下,根據環境與目標在線生成行為序列。核心能力包括:
覆蓋視覺、定位、融合、規劃、控制、語言與多模態等多類別的原子技能庫;基于 Skill Graph 的任務圖生成機制,通過結構化圖模型而非傳統代碼邏輯驅動機器人行為;跨機器人平臺的模型復用能力,使不同機器人可共享如 VSLAM、目標檢測、軌跡生成等原子模型;以及支持實時任務編排的動態行為組合,使機器人能夠根據情境變換重構任務執行鏈路。借助這一層,機器人首次具備類似"思維積木"的智能能力,智能行為從固定邏輯轉變為可組合、可擴展、可實時演化的任務體系。
6.系統安全層
系統安全層構建的是一個"由下而上、多級聯動"的安全體系,從物理行為開始守護,一直向上延伸到決策安全、主動預警和數據安全。這種設計保證了只要系統啟動,安全就始終在線,貫穿機器人生命周期的全部環節。
L0|本能反射層:最底層的機械與電氣保護。安全從最根部開始:電機斷電、STO、限位、限扭、急停等機制構成機器人的"本能反射",確保即使在最極端的情況下也不會造成物理傷害。這是所有安全的地基。
L1|動作審查層:實時運動安全約束。再往上一層,是由 MCU/R5F 等實時控制單元構建的動作審查系統。它以毫秒級速度監測速度、加速度、力矩和關節狀態,阻止任何不合理動作的發生。安全開始從"物理兜底"進入"實時保護"。
L2|安全軌跡層:計劃級的行為兜底。在控制安全之上,是規劃與軌跡層的安全機制。即使決策模型輸出異常,也會自動降級為"安全軌跡",防止機器人進入風險區域。AI 出錯≠執行危險動作。
L3|策略防護層:約束高層意圖,避免錯誤策略落地。再向上,是高層行為與策略的安全約束。所有任務、計劃和策略在下發前都要經過校驗,確保不會突破安全邊界。決策層面具備"自我約束能力"。
L4|主動預警層:提前100ms的危險預測能力。在此之上,是由多模態感知驅動的主動預警系統。人機距離、接觸風險、速度趨勢、傳感器健康狀況等都會實時監測,一旦判斷有風險,會主動觸發限速、減速、停機。機器人第一次具備"第六感"。
L5|數據安全層:大腦與隱私的最高級守護。安全的最頂層來自數字世界:隱私保護、防攻擊、防入侵。本地推理、數據不上云、端到端加密、NOC 防火墻與安全啟動機制共同構建機器人"大腦的護城河"。不僅動作安全、決策安全,也保障數據與模型的完整性。從最底部的 "不傷人",到中層的 "不做錯、不想錯",再到最高層的 "不泄漏、不被攻破"。
系統安全層建立起一個完整的安全金字塔:
底層 → 身體安全(物理行為層)
中層 → 意圖安全(規劃與決策層)
頂層 → 大腦安全(隱私與系統完整性)
這種自底向上的安全架構,是機器人從"小規模示范走向大規模落地"的根本前提,也是 SesameX 平臺區別于業界的核心價值。
綜上所述,SesameX 多維具身智能計算平臺的核心價值不在于單一算力的提升,而在于提供了一套從端側模組到全腦智能、從硬件到底層軟件、從模型到安全的完整系統體系。平臺通過六層架構實現了行業首次的全鏈路統一:
硬件層統一 :模組化、高集成、跨形態適配,覆蓋從移動到操作、從服務到人形的完整場景;
通信層統一 : TSN、萬兆以太網與 WiFi7/5G 組成實時神經網,支撐感知、推理與控制的確定性協同;
OS 層統一 :Ubuntu+ROS 2+RTOS 的組合既保證生態兼容,又滿足工業級實時性;
中間件層統一 :調度引擎、工具鏈與 Runtime 構成異構算力協調的"大腦操作系統";
智能層統一 : 原子模型+任務模型+Skill Graph 讓機器人智能像積木一樣擴展、復用與重組;
安全層統一:六層安全體系自底向上守護,從物理行為、規劃、策略到隱私與防攻擊全面覆蓋。
這種高度一體化的系統結構,讓 SesameX 多維具身智能計算平臺成為一款真正意義上的 "機器人全棧智能底座":它讓機器人不僅能穩定運行,更能隨環境變化持續成長;不僅能執行任務,更能具備理解能力;不僅能處理感知與控制,更能實現全腦協同的認知智能。
SesameX 多維具身智能計算平臺的意義不僅在于讓機器人"動得好、看得懂",更在于建立起一條從感知到智能、從安全到進化的系統級高速路,為機器人規?;涞靥峁┝饲八从械慕y一基礎。這正是 SesameX 的獨特價值:它不是一塊芯片,而是一套讓機器人真正邁向未來的系統智能架構。
三、結語:最佳機器人商業落地合作伙伴
SesameX 多維具身智能計算平臺從 Kalos、Aura 到 Liora,覆蓋了不同復雜度與形態的機器人需求。這些平臺并非孤立產品,而是構成一套可協同、可擴展的機器人智能階梯。
黑芝麻智能希望通過 SesameX,與機器人整機廠商、算法公司、系統集成商共同構建開放生態,讓機器人在真實世界中具備長期穩定運行與持續成長的能力。真正的具身智能,不只屬于算法或算力,而屬于一個能夠被產業廣泛采用、不斷演進的系統基礎。SesameX 正是為此而生。
黑芝麻智能的 SesameX 多維具身智能計算平臺,讓機器人能夠有"可信任的安全",從"可運行"走向"可成長",從"可演示"走向"量產落地"。讓我們一起推動機器人安全和智能的進化,讓機器人早日成為我們的助手和伙伴。