王家耀1,2 顏軍3,4 吳佳奇3 鄧劍文3 董文嶽3 張強3 龔永紅3 蔣曉華3 張建辰1,2 胡勝華5
1. 河南大學地理與環境學院
2. 河南省時空大資料產業技術研究院(河南大學)
3. 珠海航宇微科技股份有限公司
4. 青島科技大學資料科學學院
5. 廣東省國土資源技術中心
遙感衛星資料在軌智慧處理已成為遙感領域的前沿技術，是實現“星數天算”的有效技術途徑。本文綜述了當前國內外主流的資料在軌智慧處理系統發展現狀，分析了行業面對的問題，提出了天地一體的智慧星座系統架構，構建了一種集固有處理、資訊提取、知識生成功能於一體的衛星資料在軌智慧處理系統，探索了利用人工智慧AI模型及演算法以及星地一體化處理系統實施在軌資訊提取和知識生成的方法。為驗證上述系統框架和方法，利用高光譜衛星資料進行了船舶檢測和林火火點檢測及預警的模擬試驗。試驗結果表明該系統框架的總體設計是可行的，提出的在軌資訊提取和知識生成的方法是有效的。提出的系統架構為衛星在軌資訊提取及知識生成並最終賦予衛星在軌思考能力，提供了一種可行的技術路線。衛星在軌思考的能力取決於在軌處理系統的架構設計、資訊提取和知識生成的AI模型和演算法，而演算法的好壞將依賴衛星資料地面計算中心對其的不斷最佳化和長期的迭代。無疑，衛星在軌處理系統將對衛星地面系統的架構和算力提出更加苛刻的要求，長遠來看，這將助力“星數地算”的快速發展。
對地觀測是人們認識和保護地球的重要手段，商業衛星遙感的快速發展推動了行業需求的全面發展 [1] 。對地觀測衛星利用星載感測器從太空探測目標地物，獲取其反射、輻射或散射的電磁波資訊(如電場、磁場、電磁波、地震波等資訊)。衛星遙感(RS)技術具有覆蓋區域廣、持續時間長、不受空域國界限制等優勢，已成為當前對地觀測獲取資訊的重要技術手段，在地球資源探測、防災減災、環境保護等領域具有廣泛應用。衛星對地遙感所獲取的資料，需要對其進行一系列技術處理才能真正服務於各行各業。
衛星對地觀測資料服務一般經歷“資料獲取—資料傳輸—資料地面接收—地面資料處理—專題生產—資料儲存—資料分發及應用”等階段和環節。其中，資料解壓、編目、校正、資訊提取等地面資料處理就需要歷經數小時甚至數天的時間，這隻能服務於對時間沒有緊迫要求的應用場景。這種傳統服務模式難以滿足應急事件對於高時效的要求。
目前，面對頻發的自然災害和緊張的國際局勢，高時效的對地觀測及資料處理成為行業關注的重點，“及時準確”已成為應對突發事件的關鍵要求。因此，如何縮短資料傳輸、地面接收、地面處理、專題生產等環節的時間，使得使用者能快速得到需要的資訊或知識，已成為學界和業界關注的焦點。正是在這種情況下，基於衛星資料在軌處理系統的智慧化遙感衛星逐漸發展起來。
遙感衛星資料在軌智慧處理可追溯到2000年左右，以美國、歐洲為代表的研究機構，開展了衛星資料在軌處理的初步探索。但令人遺憾的是，宇航計算機晶片的算力一直難以匹配行業的需求，使得行業只能在軌處理簡單的任務。直至2010年，空間計算技術開始得以發展，逐步應用於資料在軌處理。2020年，AI技術應用的成功，也促進了AI晶片及各類演算法的發展，人們試圖把地面高效的AI處理搬到太空中。
在當前遙感衛星種類和數量都在快速增長的情況下，應該探索一種“星數天算”和“星數地算”高效協同方式完成衛星遙感資料快速處理模式。這裡的“星數”泛指衛星遙感資料，“天算”和“地算”分別泛指在軌衛星算力和地面系統算力。這種“天算”和“地算”協同處理的模式，將大幅提升衛星對地觀測服務的時效性。
本文介紹了該領域國內外進展，分析了存在的問題和發展趨勢；提出了天地一體的智慧星座系統架構及其核心組成部分；設計了衛星遙感資料在軌處理硬體工程及在軌處理演算法實現和流程；介紹了衛星遙感資料在軌處理試驗，並對試驗結果進行了分析；最後進行了總結和討論。
2000年，美國設計的 NEMO衛星搭載了美國海軍研究所研製的星上處理載荷ORASIS(Optical Real-time Adaptive Signature Identification System),其核心為多個 DSP(Digital Signal Processing)處理器構成的影像並行處理陣列，能夠即時對星上超光譜資料的特徵進行提取、資料壓縮等，將結果直接下行，服務地面應用 [2] 。同年11月，美國國家航空航天局發射了EO-1衛星，旨在對預先設定的目標進行自主觀測，如在軌對感興趣區域特徵提取、變化檢測等處理，縮短了星上資料下傳耗時 [3] 。這一時期的研究探索了在軌處理應用的可行性和應用領域。
2009年5月，美國空軍發射的戰術衛星TacSat-3加裝了星上自主處理器，具備自主規劃星上超光譜成像儀採集方式、影像資料即時處理及儲存等功能 [4-6] 。透過星上自主處理器對超光譜影像的即時處理，可在星上發現地面隱藏目標，從而獲得戰場周邊更多資訊，為飛機降落點的選擇、地面車輛行動路線的規劃等提供更多支撐。
為有效去除影像中的冗餘背景資料，實現對感興趣目標的檢測跟蹤及切片資料下傳，美國“國防支援計劃”在天基預警衛星搭載了星上資料處理器 [7] 。美國天基紅外系統SBIRS(Space Based Infrared System)同時具備彈道導彈、戰術導彈等多種目標的高置信度提取能力，並且可直接分發到戰術端 [8] 。
2009年5月，美國國家航空航天局戈達德太空飛行中心(GSFC)推出了機載混合科學資料處理系統SpaceCube。該資料處理系統採用了商用抗輻射賽靈思Virtex FPGA技術，並將其與整合的失調檢測和校正架構相結合，從而在計算能力方面比傳統的輻射加固處理器有了10～100倍“數量級”的提升 [9] ;同時降低了相對功耗和成本。SpaceCube具有飛行資料處理系統，飛行中可重新配置；同時支援多達6塊Xilinx Virtex5 FPGA,處理能力可達5 000 MIPS(Million Instructions Per Second, 每秒處理的百萬級機器語言指令數) [10] 。這一在軌處理系統在當時初步具備了一定的應用價值，開始應用於國防領域。
2019年完成的SpaceCube v3.0系統，採用了Kintex超尺度現場可程式設計門陣列(FPGA)和Xilinx Zymg 晶片上多處理器系統作為核心處理單元，使得行業認可其靈活性、模組化、相容性的特色，可以在多個應用場合中使用。
2018年2月，美國國防高階研究計劃局啟動“黑傑克”低軌衛星星座專案。該專案充分利用人工智慧、低成本商業衛星平臺及載荷、在軌大規模分散式計算等技術，透過星上自主分散式決策處理器，探索衛星資料在軌自主處理。在無地面運營中心支援的情況下，衛星可獨立執行1個月，以滿足全球範圍內情報監視與偵察、指揮控制以及戰術作戰等多工需求 [5-11] 。2022年，該系統成功完成星間光鏈路OISL(Optical Inter-Satallite Link)天基雷射通訊演示，在114 km範圍內傳輸了約280 Gb資料，工作總時長超過40 min [12] 。這個實驗，初步探索了在軌處理系統逐步應用於商業領域的可行性。
在衛星在軌處理領域，美國航天一直在持續推進資料在軌處理技術的探索和各個場合的應用。其研究主要聚焦在系統的靈活性、模組化、相容性的設計，積極探索利用人工智慧、低成本商業衛星平臺及載荷、在軌大規模分散式計算等技術在在軌處理系統中的應用。
在歐洲，歐洲空間局的PROBA衛星和PhiSat-1衛星、德國空間中心的BIRD T衛星、法國空間中心的Pleiades衛星等，都在一定程度上對衛星遙感資料在軌處理進行了探索，在特徵提取、資料壓縮和分析等方面取得了一定的成果。
歐洲空間局在2000年左右啟動了PROBA [13] 專案，並於2009年11月發射了PROBA-2衛星，其高解析度成像光譜儀處理系統是一個DSP處理系統，具有星上光譜通道可程式設計能力，可以根據需要進行光譜通道的合併和在軌資料處理 [14] 。PROBA是歐空局第一個具有完全自主能力的航天器，主要執行導航、有效載荷和資源管理等日常任務，地面部分是高度自動化的，允許無監督的透過自動上行遙控、接收和處理遙測資料、提取有效載荷產品並將其分發到伺服器 [15] 。
2020年9月，歐洲空間局發射的PhiSat-1是第一個展示人工智慧如何用於地球觀測實驗——過濾掉由於雲層覆蓋而不太完美的影像，只傳送可用的資料至地面站，其AI處理器是基於Myriad2的Movidius晶片和Ubotica的EoT硬體加速器(SectionIII-B) [16] 。
德國空間中心研製的BIRD T衛星於2001年10月成功發射，其星上處理載荷由FPGA、DSP等處理器組成，可對可見光、中波紅外、熱紅外影像資料進行輻射校正、幾何校正、特徵提取、影像分類等在軌處理[17] 。衛星控制系統允許衛星進行遠端自主操作，同時以最高優先順序確保衛星的生存能力。星載計算系統是一個分散式容錯多計算機系統，它執行所有的控制、遙測和監測以及與應用程式相關的任務。為了實現高可靠性、安全性和壽命，機載計算機配置由4臺相同的計算機(節點)組成。冗餘控制計算機的結構是完全對稱的，這意味著每個節點都能夠執行所有的控制任務。其中兩臺計算機保持連續執行(一臺為熱冗餘),另外兩個節點為冷冗餘[18-20] 。2012年發射的TET-1(服務期至2019年9月)是軌道驗證(OOV)計劃中的技術演示衛星，裝配了基於多光譜輻射計的熱點識別系統(HSRS)。其焦距為 90.9 mm, FOV 為 19.6°,條頻寬度為211 km, 地面畫素寬度為42.4 km, 其目標是對野火和火山等 HTE(高溫事件)進行檢測和定量分析。TET-1系統核心計算模組是基於SPARC-V8架構的LEON-3-CPU 和 FPGA(RTAX-1000),其處理效能為20 MIPS [21] 。
法國空間中心研製的高解析度光學衛星Pleiades-1A和Pleiades-1B [22] 分別於2011年12月和2012年12月發射，星上影像處理器利用FPGA實現影像資料的採集、校正、壓縮等在軌處理 [23-24] 。可重構星載計算機以FPGA為核心，可依據星上任務程序自主調整電路結構進而動態改變星上計算機功能，利用單一處理器資源分時複用實現多處理器功能，可簡化星上中心機配置數量和在軌升級機制，同時還在系統層增強了其對輻射損傷的應對能力。
在衛星遙感影像在軌處理領域，歐洲起步較早，也一直在持續推進資料在軌處理技術的探索。在其設計實施中，高速宇航處理晶片的使用並不多見，所以，其處理能力受到較大制約。
針對星上遙感影像在軌處理，國內眾多高校和科研院所也開展了大量研究工作。中科院軟體所於2018年發射的“天智一號”衛星，是我國首顆在軌軟體定義衛星，其主要載荷包括1臺超分相機、4臺大視場相機以及雲計算平臺。透過雲計算平臺智慧調配計算節點，“天智一號”衛星可以在軌完成部分資料處理任務，並將處理結果下傳地面。
2019年1月，長光衛星技術有限公司發射的“吉林號”光譜01和02星，搭載了遙感影像在軌即時智慧處理系統，具備雲霧檢測、船舶識別等功能，並支援處理程式在軌上注更新。硬體平臺選用TI公司的宇航級SMV320C6727B DSP作為主要運算單元，選用Xilinx公司的V5FX70T FPGA作為協處理器，實施可平行計算的高密度運算以及介面邏輯，DSP處理能力為1.5 GFLOPs(Giga Floating-point Operations Per Second, 每秒10億次的浮點運算數)。在軌智慧處理系統支援在軌重注(類似“平臺軟體+處理app”),可以透過更新應用層處理軟體，實現演算法的迭代最佳化，結合地面場景模擬系統，可以實現智慧處理系統在軌快速“進化” 。
武漢大學正在研製的“珞珈三號”01星，主要任務是對星上遙感影像資料即時獲取、高效壓縮、智慧處理等關鍵技術進行驗證，探索天基遙感資訊服務新模式。星上智慧處理單元採用主備異構軟硬體架構，主份硬體基於高效能GPU進行設計，配備開放軟體平臺(Linux),支援基於APP的在軌即時影像/影片處理；備份硬體基於FPGA設計，支援在軌常規壓縮；同時主備通道均配置大容量固存模組，支援原始影像及處理後圖像的在軌儲存。在軌處理模式以任務位置資訊為牽引，以目標/場景內容和變化事件為驅動，實現了在軌定位、影像產品生成、靜動態目標資訊提取、資料壓縮等功能 。
西安空間無線電技術研究所利用大規模FPGA與多核DSP設計了星上處理系統，支援基於深度學習模型的目標檢測與識別 。
西安交通大學設計了一種FPGA-DSP可重構異構計算單元，透過分時載入的方式，支援4類FPGA程式和6類DSP程式進行重構，從而實現輻射校正、雲判、感興趣區域資訊提取等不同任務功能 。
北京理工大學星上影像目標即時處理分系統實現了即時目標檢測和定位處理，處理延遲小於5 s, 檢測和定位精度與地面即時處理相同。該系統採用模組化設計，基於FPGA+DSP異構並行，可在軌實現1 Gb/s速率資料的即時目標檢測處理。系統功耗小於60 W。核心處理器選用了兩片TI的高速定點DSPTMS320C6416-7E3/720,峰值運算能力為11 520×106乘累加/s [33-34] 。
山東航天電子技術研究所基於國產商用高效能神經網路加速器寒武紀創智2號，採用FPGA+CPU+NPU+DSP/GPU的處理架構研製了星上影像即時處理系統 [35-36] 。其整機典型功耗為 120 W,測試YOLOv3 網路對船舶、飛機、港口等重點目標進行檢測，4 096×4 096畫素影像處理時間為30 ms, 每類目標的識別率都達到 85% 以上， 平均檢測精度mAP為0.64。
珠海歐位元衛星大資料有限公司基於玉龍810晶片構建了處理能力為72 TOPS(Tera Operations Per Second, 每秒萬億次操作)在軌處理系統，進行了在軌遙感智慧處理的架構設計與實驗驗證工作，構建了天地一體的協同處理機制，形成了包括固有處理、資訊提取、知識生成的計算框架，開展了船舶檢測、林火檢測等遙感應用測試。
在衛星在軌處理領域，中國航天及科研院所起步較晚，但起點較高。可能前幾年宇航AI晶片沒有面世，使得大部分研究沒有能夠利用此技術產品構建在軌處理系統。所幸的是，以玉龍810為代表的宇航AI晶片已經進入市場，這為中國航天下一步在軌處理系統的設計帶來新的機遇。
縱觀國內外的發展，衛星在軌智慧處理是技術挑戰較強的領域，已經在部分領域取得了一定的進展，目前存在的問題包括：
遙感衛星在軌處理研究主要集中在單個衛星上，不能滿足星座協同、星地協同處理等方面的需求，尚未實現星地協同一體化處理。
遙感衛星資料的固有處理技術相對成熟，但在實現需面向在軌處理時所需的輕量化、體系化方面，還需開展深入研究。
在軌處理研究主要集中在基於AI演算法的星上解譯，對地物的解譯依賴於預先訓練的模型，將在軌處理侷限在遙感影像解譯功能上沒有實現衛星智慧化處理和思考功能。
資料處理能力制約。一方面智慧處理晶片是在軌處理能力的核心制約要素，目前的航天級芯片價格非常昂貴，產能有限。另一方面大量遙感地球觀測任務存在多種計算模式、計算裝置混合計算需求，亟需發展適應在軌模式需求的多模態異構計算體系。
針對以上問題，本文從以下4個方向開展了探索。行業在呼喚高時效性的衛星服務，並希望實現如下目標：
利用星上資料處理直接在軌生成使用者所需的資訊並進行分發，滿足高時效應用需求。在此基礎上，地面處理系統接收到資料、資訊和知識及相關模型和演算法後，將繼續進行更加精細全面的態勢評估；並根據評估結果，進一步最佳化星上資料處理模型和演算法，形成更加完整的知識體系和思考能力，並透過星地鏈路上注到星上資料處理平臺，以完成模型演算法最佳化更新、知識積累及思考，不斷提升星上在軌處理的準確性、可靠性以及智慧思考能力。
在軌處理系統，配置輕量化的控制點庫和週期性標定功能，必須具備更加精確快速的固有處理功能，包括但不侷限於ROI資料擷取、輻射校正、幾何校正、光譜對準、正射校正、資料壓縮等資料處理任務。
即時資訊提取、目標檢測和變化監測、知識生成等功能是在軌處理系統必須具備的功能。AI技術是實現上述在軌處理的重要發力點，但基於自然場景影像處理發展起來的深度學習模型並不適合遙感應用場景的需求。這就需要針對衛星遙感影像的資料特點和任務特點，研究適合衛星遙感影像在軌處理的深度學習模型、演算法、計算流程、輕量化計算等問題，以及當前應用場景下，進一步拓展從資訊到知識的處理應用。
在軌處理系統必須配置大算力的硬體，即AI處理器晶片。面對大量遙感地球觀測任務和低成本需求，工業級裝置開始逐步應用於智慧遙感近地軌道上的衛星，在軌資料處理的研究也逐漸開始探索邊緣GPU,如 Jetson TX 2 (1 TFLOPs(Tera Floating-point Operations Per Second, 每秒萬億次浮點運算)) 和 Xavier NX (14 TFLOPs)。這些低成本的工業級晶片雖然顯著提升了機載遙感資料處理能力，但仍亟需推進自主可控的國產高效能大算力宇航級處理器件(GPU、NPU等)的研製。完善星上處理平臺硬體系統，配置高達60～200 TOPS處理能力的AI處理系統及可信軟體架構，實現平臺應用軟體與底層硬體之間的良好適配，支援批次AI模型與演算法和開放式的測試與應用，是在軌處理系統的理想選擇。
星地協同處理，除傳統的解譯模型之外，遙感衛星資料在軌處理還增設知識生成的處理功能，以形成知識積累的能力，實現衛星之間、衛星與地面中心之間的知識共享，透過持續的知識積累與提升，逐步提高衛星資料在軌處理的智慧化程度，最終形成衛星及星座“思考”的能力，逐步實現如圖1所示的智慧星座系統架構。
星地一體化智慧星座系統由衛星地面處理系統和多顆具備在軌智慧計算的遙感衛星組成，各衛星之間、衛星與地面中心之間具備通訊通道，地面可對衛星實施任務部署、功能調整。在空間資源制約下，單顆衛星可執行感知任務的空間範圍和複雜度受到很大的制約。透過地面排程和部署，可以透過天地互補的一體化方式實現以下更強的空間感知能力。
1)透過地面排程，即採用上注指令與演算法的方式更新與調整衛星智慧處理功能，擴大單顆衛星智慧感知的空間範圍，增強衛星對複雜任務的適配性。
2)透過空間組網觀測、協同作業，提升感知範圍和頻次，提高資料在軌處理的“覆蓋度”,增強星座對廣域任務的適配性。
3)透過長期持續的觀測，形成資料和知識的積累，在地面進行持續迭代更新，提升模型處理效能，從而提高單顆衛星智慧的“深度”,增強衛星處理效能。
基於星地一體化感知的智慧星座，能有效擺脫單顆衛星資源限制，實現更復雜的“星數天算”智慧處理。
當前開展的資料在軌處理研究以任務導向為主，為任務目標開展定製化最佳化的同時，提升專項任務的處理能力，但一定程度上會降低應對更開放任務場景的效能。此外，當前研究資料在軌處理任務集中在資訊處理層次，面向知識生成的遙感應用模式已經受到重視 [37-39] ,正在推動遙感技術向知識化、智慧化層次的高質量發展。因此，本文提出了一種寬相容、層級化的遙感資料在軌處理架構，如圖2所示。該架構能夠提升資料在軌處理模式的相容性，並將資料在軌處理的任務從資訊處理擴充套件到知識生成。
從圖2可知，在軌處理系統主要包含3個核心部分：固有處理、資訊提取和知識生成。
固有處理為後續分析應用提供標準影像產品和定位資訊，包括幾何定位求解(或幾何模型構建)、相對輻射糾正等處理 [40-49] ,解決“星數”的規範化問題；資訊提取則根據場景服務需要，開展特定目標的檢測、識別或變化分析等 [50-60] ,解決“星數”的智慧化處理問題；知識推理生成則是根據資訊提取結果和其他多源引數、專家知識庫等，為特定場景提供專題知識、分析報告和決策參考等 [37-39] ,解決“星數”的服務化問題。
固有處理流程包括：資料重構、相對輻射校正、幾何校正、絕對輻射校正、大氣校正、資料重採等遙感處理環節，提升影像質量，規範影像形態。
資訊提取流程依託包括深度學習、機器學習等在內的智慧處理方法，以預先構建或訓練的演算法，對經固有處理的一級資料按一定的規則實施資訊提取處理。由於遙感影像尺寸通常較大(如5 056×5 056),而目前典型AI演算法(如YOLO)對資料的處理受制於計算環境，會限定於一個相對較小的尺度(如640×640),因此需要對遙感影像先進行瓦片化，適配到相應的尺度後再依次實施處理。最後再拼接恢復到原有尺寸，並將解譯結果賦予地理資訊後輸出。
知識生成流程在資訊提取的基礎上，透過構建和更新專題知識庫和知識推理策略，對所獲目標資訊進行邏輯推理與分析，在軌生成專題知識。對資訊進行結構化的知識表達是進行知識推理的基礎。知識推理方法包括基於本體的推理、基於規則的知識推理及基於表示學習的推理等。知識生成所得到的新知識在遙感應用領域有廣闊的前景。
以固有處理、資訊提取和知識生成構建的在軌處理框架，可相容遙感應急情報分析、遙感解譯應用等平、急任務的計算需求，具有寬泛的包容性和擴充套件性，對更高層次的遙感知識生成也可以提供計算支撐，可形成多層次智慧化處理的方式，支撐“星數天算”的實施。
可複用、裝配式的
異構在軌處理計算體系
遙感影像處理面臨的任務複雜多變，與之相應的遙感衛星在軌智慧處理要能夠承擔多種環境的自感知處理能力，甚至能自主決策和自主執行，且資料處理流程更加靈活，資訊處理演算法更加強大，並能完成更為複雜的在軌處理任務。這就需要採用可複用裝配式的異構開放系統架構，旨在極大地提高衛星系統對有效載荷的適配能力和對演算法軟體的相容能力。無論是硬體部件，還是軟體元件，都可以實現因需裝配，有效支援各類資料/資訊的高速交換、高效儲存、智慧處理和靈活應用，逐步提升衛星的智慧化水平。3層空間計算架構如圖3所示。
1)基礎層。
異構計算(Heterogeneous Computing)是一個包含不同型別指令集和體系架構的計算單元(如CPU、GPU、FPGA、DSP等)進行聯合計算的組合系統。不同的計算單元適合處理不同的計算問題，合理地將不同型別的計算分配到不同硬體上運算可以獲得更優的計算效能和更低的功耗。
在AI領域，常見的異構計算平臺包括CPU+GPU、CPU+FPGA、CPU+NPU等，將序列計算或邏輯排程等計算任務分配給CPU運算，而將矩陣計算等平行計算任務分配給GPU、FPGA或NPU等特定最佳化的處理器。異構計算系統不僅僅是計算單元的不同，不同異構計算平臺採用的程式設計框架和指令集也存在很大的差異。在特定場景上，異構計算在效能、價效比、功耗、面積等指標上都有明顯優勢。在軌處理中，資料所需的潛在處理功能涵蓋固有處理、智慧處理、知識處理等多個層級，涉及的具體演算法囊括輻射校正、幾何校正、深度學習處理、知識推理等10多種。為了充分發揮異構硬體效能和遮蔽硬體差異，需要利用不同計算裝置構建異構計算平臺，實施在軌複雜計算需求的快速計算。
2)模組層。
模組層是透過基礎層來實現在軌處理關鍵計算模組的邏輯。對於具體功能，設計者可以依據本身任務特性來明確核心計算模組具體執行的基礎層裝置，如AI計算可依靠GPU、FPGA、DSP來實現。以上僅是AI演算法的不同底層實現方式，使應用層脫離底層視角，只需明確該模組就可實現對應功能。
3)應用層。
應用層以模組層中的不同功能組合的形態，支撐多類遙感應用場景的在軌處理。針對不同應用環節實施不同的組合方式，如固有處理，對於船舶檢測應用，全色影像資料輻射校正和幾何校正是必需環節；而林火識別中由於需要依賴多波段資料進行光譜分析，就必須配置輻射校正、幾何校正、波段配準、大氣校正4個環節。因此，知識推理在當前應用模式還未普及的情況下，可以作為一種選配。在軌處理配置示例如表1所示。表中：“√”表示需配置環節，“-”表示不用配置環節，“Δ”表示選配環節。
基於大資料、強算力的
地面智慧支撐系統
天地一體化的智慧星座系統應具有基於大資料、強算力的地面智慧系統支撐，由圖4所示的3個部分組成。地面智慧系統為“星數”和“天算”的實施提供規劃、引數、演算法等要素，同時也是“地算”的實施主體。
1)地面任務規劃。
星座智慧任務規劃系統針對使用者需求進行智慧融合，滾動生成衛星觀測任務，最佳化異構衛星協同配合，使體系化觀測任務效益最優，形成衛星群體智慧感知並獲取遙感資料。應用需求智慧融合是星座智慧任務規劃的前提，可以將使用者模糊的需求與行業應用智慧融合，動態生成衛星觀測任務。基於學習和推理技術，以語義理解分析為基礎，透過行業應用知識庫實現使用者需求應用分析推理、智慧感知決策，包括高解析度、高光譜、紅外、SAR等多模感測器學習推理，單點重複觀測、區域聯合觀測、動態跟蹤觀測等多業務模式學習推理等技術，形成面向業務需求的智慧融合能力。
2)地面固有處理輔助。
在軌衛星執行需要定期或不定期進行固有處理的引數修正，消除器件故障、零點漂移等帶來的不利影響。對於整個星座觀測體系，需要整體形成全球DEM、控制點資料庫等關鍵引數庫。對於每顆衛星需要建立各自的在軌定標引數庫，包括輻射定標引數、幾何定標引數等。這些引數透過定期校正實施修正，並同步到各衛星，提高固有處理效能。
3)地面AI訓練推理。
與人工智慧的資料、演算法及算力3要素相似，智慧遙感解譯也有3大核心要素，即遙感影像樣本庫、遙感智慧解譯演算法與模型、大規模計算的硬體平臺。目前算力基礎設施可以採用通用硬體平臺，但是由於遙感影像的特殊性和應用的多樣性，需要構建一個開放、統一基準的影像樣本庫，以及高效、可靠的遙感解譯演算法與模型庫。
遙感在軌處理星座載荷類別多、應用方向廣、處理要求高，模型演算法開發所需的算力、資料也呈現種類繁多、樣式複雜的特點，亟需配置基於衛星大資料、大算力的地面模型演算法開發系統，實施對資料、算力等資源的高效排程和統一管理。此外，系統還應具備模型演算法向嵌入式平臺移植和最佳化的介面，打通資料在軌處理模型演算法服務的最後“一公里”。
傳統的知識推理方法主要是基於本體的推理和基於規則的推理，其特點是思路直觀、計算簡單、結果具有可解釋性。近年來出現的知識圖譜方法能以結構化的形式描述客觀世界的概念、實體及其之間的關係，有望將現實世界中的遙感資訊表達為更接近人類認知的形式，更好地組織和管理專家先驗知識、遙感成像機理、遙感影像負載的地理學知識，但是需要較高的計算資源。鑑於地面平臺和在軌平臺在計算能力上存在較大的差距，單顆衛星實施星上知識推理使用基於規則的推理方法。在地面知識推理則可以綜合應用各類知識推理方法。
地面知識庫包含基礎知識庫和應用知識庫，如圖5所示。基礎知識庫包含對按不同屬性劃分的各類地理實體的系統性認知和定義，以及各類實體之間的關係。應用知識庫是基礎知識庫按領域劃分的子集，對應於不同應用領域知識生成模式下所需基礎知識子集KB i 。遙感資料在軌處理平臺，包含即時載入任務需要的各個應用知識集K i 與資料集D i (參見圖1)。知識集和資料集一方面隨任務的不同即時進行調整，另一方面也將即時任務所生成的知識匯入知識集，積累提升知識儲備。
地面知識推理使用基於知識圖譜的推理方法，設計互動式的遙感領域知識圖譜協同建模和迭代機制，包含自底向上的專家互動和自頂向下的運用反饋，以人機協作迭代的方式構建本體模型、標註領域知識庫；能夠自動進行知識抽取、知識表示、知識對齊。在此基礎上，一方面能根據應用需求生成面向應用的規則，分佈到各個衛星實施在軌推理計算；另一方面可以融合時空資料、多源資料在地面實施知識應用推理。
空地一體智慧星座的知識迭代模式為：任務輸入後，智慧任務規劃系統根據需求進行星座任務規劃，明確任務分配、執行時間、模型等約束條件配置，為任務配置相應的資料集知識集，完成指令生成和資料上注，具體步驟如下。
-
業務衛星自主進行資料獲取、固有處理、資訊提取、知識生成，透過積累知識實現星上知識集K i 迭代更新，下傳資料集DD和知識集KD,完成知識分享。
-
多星獲取的資訊和知識進行星座知識共享，形成星上知識集K i 的更新，實現星間資訊的交叉共享和星座協同知識生成。
-
透過地面演算法持續最佳化，定期上傳模型及資料集DU和知識集KU釋出更新，不斷增強空間智慧處理效能。
-
將智慧星座觀測的知識或資料下傳到地面後，在直接進行知識去重並歸類劃分到相對應資料庫、知識庫的同時，星座還應支援體系外知識的更新，接著將來自網際網路以及領域專家生成的知識，進行知識抽取、實體對齊、知識表達、知識去重等操作，加入到地面資料庫DB和知識庫KB完成迭代更新。
衛星遙感資料在軌處理需要解決3個關鍵問題，即固有處理、資訊處理和知識生成。這是智慧衛星在軌即時服務的前提和基礎。同時，面向應用又對在軌處理提出了觀測任務的邏輯判斷與決策、影像的高算力處理和深度學習模型的快速精準推理等需求。
主要包括快速相對輻射校正和幾何定位模型兩個方面。
1)輻射校正。
輻射校正是指建立不同探測元之間響應差異的相對關係，消除因探測元因素帶來的影像失真。
2)幾何校正。
幾何校正是指消除或改正遙感影像幾何誤差的過程。
固有處理的處理指標：能相容多波段光譜資料、高解析度資料、紅外資料等的固有處理特性，對典型影像輻射校正演算法精度優於P%,幾何校正定位優於M畫素，單波段5 056×5 056畫素影像處理時間少於T G秒，其中T G代表固有處理時間。在“珠海一號”高光譜衛星OHS(Orbita hyperspectral satellite)應用場景下，典型值為P=3,M=10,T G=8。
1)模型選擇。本文將資訊處理應用方向設定於遙感影像船舶檢測和林火火點檢測任務。這一領域是典型的深度學習檢測任務。目前卷積神經網路目標檢測演算法主要有典型的Two-stage網路RCNN系列演算法 [62-64] 和One-stage演算法SSD [65] 以及YOL系列 [66-67] 。Two-stage網路雖然在精度上有優勢，但存在計算量大的問題。而One-stage網路將預選框提取與目標識別融合在一個步驟裡面完成，彌補了這一缺陷。因此本文選用了YOLOv5s演算法 [68] ,針對應用場景進行最佳化。
2)船舶檢測演算法。本次試驗的遙感資料來源均來自“珠海一號”高光譜衛星影像資料集，船舶檢測資料集選取32張影像，每張大小均為5 056×5 056像元。試驗前需要對資料進行預處理，把資料裁剪為640×640像元大小的圖幅，並進行16位轉8位的操作，標籤為人工標註。透過樣本清洗，最終得到640×640像元大小的單通道483張標準8位影像，以及1 197個標籤。其中，訓練集和測試集的比例分別為80%和20%,即隨機分配訓練集圖幅有387張，測試集圖幅有96張。
船舶檢測演算法在YOLOv5s的基礎上進行了最佳化。經分析發現YOLOv5s中消耗大量算力的兩個部分，即歸一化函式Sigmoid和卷積層的計算。本文分別從最佳化啟用函式和對模型進行剪枝最佳化YOLOv5s網路。一是把計算量較大的SiLU啟用函式最佳化為計算量少且效率高的LeakyReLU啟用函式；二是對YOLOv5s進行精準的剪枝來達到提高速度和降低精度損失的效果。得到YOLOv5s-ship後，考慮到演算法的在軌處理，本文對其在軌晶片的處理進行特定的工程最佳化。
表2結果表明，本文提出的演算法在效率和精度方面達到了更優的平衡。改用LeakyReLU啟用函式的2號網路對比YOLOv5s(1號網路)在mAP (0.5)指標上，從0.972提高到0.974,並且在嵌入式裝置玉龍810上的執行速度快了5 ms。3號網路在2號網路的基礎上增加了剪枝10%,在mAP (0.5)指標上，與1、2號網路接近，在速度上卻有了7 ms(25.0%)的提升。4號網路在2號網路基礎上採用剪枝20%策略，mAP指標上都有明顯的下降。因此，本文采用了最優的3號網路來實施在軌資訊處理。
3)林火火點檢測模型最佳化。林火火點檢測資料集選取“珠海一號”L1B級標準的高光譜遙感衛星影像共22張，每張原始影像尺寸大小為5 056×5 056像元，通道數為32。L1B級標準產品已完成輻射校正、幾何校正、配準、重採等基礎處理流程。為了完成林火火點目標檢測任務，需要對L1B級高光譜衛星影像進行資料預處理操作，以匹配目標檢測網路模型輸入格式，降低計算儲存。首先將L1B級高光譜影像資料位深度(bit)從16位轉換為8位；然後選擇高光譜影像中的第1、5、15波段合成真彩色影像；最後將真彩色影像資料裁剪為640×640像元並進行樣本清洗，得到林火火點真彩色影像資料集。使用labelme工具對林火火點真彩色影像資料集進行手工標註，得到林火火點標籤。將林火火點真彩色影像資料集與林火火點標籤合併，製作符合YOLOv5s訓練格式的林火火點目標檢測資料集。林火火點目標檢測資料集共包含1 162張影像樣本，每張影像樣本尺寸大小為640×640,通道數為3。將林火火點目標檢測資料集按80%和20%的比例劃分訓練集和測試集，訓練集有901張影像，包含353張無火點目標影像；測試集有261張影像，包含156張無火點影像，用於驗證演算法模型在林火檢測方面的效果。在遙感影像資料集中進行火點目標檢測的難點主要有如下4點。
-
目標尺度多樣。火點資料集中存在不同尺寸的火點目標，不同火點目標之間尺寸大小差距較大。
-
背景易混淆為火點。衛星影像中複雜多樣的背景容易混淆為火點目標。
-
部分火點不易識別。部分火點在整幅衛星影像中佔比較小，人眼不易察覺。
-
火點菸霧通常具有形狀不規則、邊界不清等特點，給標註工作帶來困難。
本文根據林火火點目標檢測任務特點，在訓練林火火點目標檢測網路之前，對林火目標檢測資料集進行Mosaic資料增強以提高訓練效率，增強模型定位能力，更好地區分易混淆的火點目標。在訓練目標檢測網路時採用多尺度訓練策略，設定幾種不同的圖片輸入尺度，訓練時每隔一定迭代次數(iterations),隨機選取一種尺度訓練，增強模型對不同尺度火點目標的檢測能力。在網路訓練後，根據訓練結果對訓練集進行檢測，將檢測結果與手工標註對比，修改部分標註不清的火點目標。使用修改後的標籤重新訓練林火火點目標檢測模型，最終模型mAP (0.5)達到0.769,召回率(recall)達到0.74。
本文從林火形成的各要素出發建立推理邏輯，設計了一種融合多模態資料的林火預測方法，應用基於規則的模糊推理策略，實現了一種基於多模態資料的在軌火情預測模糊推理方法。
1)證據集。
林火的形成過程受客觀條件和主觀條件的影響。客觀條件包括可燃物含量、溫溼度、降水量等因素；主觀條件包括林區管理能力、防治力度等。設計林火預警演算法中，可監測資料包含可燃物載量、溫溼度、降水量。其中，可燃物載量是林火形成的物質載體，其特徵量可根據遙感資料進行評估；溫溼度、降水量是林火形成的孕災環境，可以經由氣象資料進行測算。
2)模糊隸屬函式設計。
綜合考慮任務目標區時空環境資料如溫度(T i )、溼度(H i )、降水量(P i )等關聯要素，以及基於遙感資料即時提取的可燃物載量(F)等多模態資料，各引數模糊隸屬度定義如下。
①可燃物載量定義如表3所示。
③序列溼度觀測模糊定義
進而，根據林火風險等級查詢表獲得該區域的林火預警風險等級，如表7所示。
3)模糊推理邏輯設計。
基於在軌智慧處理基礎，融入了絕對輻射校正模組、快速大氣校正模組和定量反演模組，實現可燃物載量的在軌即時處理，同時結合地面上注的關聯要素完成資料庫積累；基於多模態資料輸入及關聯要素在時間維度的模糊化規則設計完成模糊推理規則庫構建；再按照規則庫和所給的事實執行推理過程，實現基於多模態資料的在軌火情預測模糊推理設計，詳細流程如圖6所示。
遙感衛星資料
在軌處理工程設計及試驗
根據面向商業應用場景的衛星資料在軌處理系統架構，要求衛星在軌處理系統實現遙感資料在星上+地面傳統的全部處理流程，包括固有處理、資訊提取(AI處理)、知識生成。因此，對衛星在軌處理系統提出了高可靠處理器、高效能AI處理器、大容量儲存器、高頻寬通訊介面、算力靈活擴充套件等硬體平臺要求。在綜合考慮衛星空間、重量、能源等資源有限的情況下，衛星在軌處理系統還需採用高整合度、高能效比、高可靠性、高效能的一體化硬體平臺方案。由於傳統的FPGA+DSP、FPGA+GPU等COST器件方案難以滿足要求，本文提出一種基於宇航級嵌入式AI處理器晶片、多AI協同工作的一體化智慧處理平臺方案，如圖7所示。
在軌處理系統硬體平臺採用VPX架構、模組化設計，各模組透過VPX背板整合為一個緊湊型單機。在軌處理系統硬體平臺主要由單機機箱(整合VPX背板)、電源模組、資料固有處理及路由分發模組、大容量儲存模組、智慧處理模組、任務規劃與綜合管理模組、數傳通訊模組等組成。該方案在選用高整合度AI處理器的同時，採用一體化硬體平臺設計，最大限度減低系統電路的複雜度；智慧處理模組選用高可靠人工智慧處理器玉龍810 A,整合4核CPU + 8個GPU + 8個NN單元。透過軟硬體融合設計，即可完成固有處理、資訊提取、知識生成等遙感資料在軌處理流程，還可根據不同應用需要，擴充套件星上任務規劃功能。
根據硬體設計要求，其主要指標如表8所示。
為了驗證資料在軌處理工程設計樣機及提出方法的有效性和可用性，以“珠海一號”衛星星座的OHS高光譜影像為測試資料，以工程樣機為測試平臺，在地面開展衛星遙感資料在軌處理模擬試驗。綜合考慮資料流處理及並行加速策略，本文設計了一套從相機輸入資料開始到推理結果的在軌處理實施流程，如圖8所示。該實施流程包括了資料流格式轉換和切片處理、固有處理和資訊提取與生成等，從而進行知識推理與分析。
相機原始資料為TLK2711資料流，需要先實施資料格式轉換，轉化為遙感影像，並實施固有處理的輻射校正部分。切片處理是指繼續將固有處理結果瓦片轉化成為晶片和模型所支援尺度的一系列圖片集。這3類操作在流式計算平臺上處理具有較好的時效性，因此均在FPGA計算平臺上實現。AI演算法實施影像目標識別專用的AI晶片單元來實施計算，具有高效低耗的特點。最後對圖片集上得到的多個結果進行整體拼接，恢復至原來遙感影像的尺度，並進行固有處理的幾何校正部分。這部分計算資料輸入是AI演算法檢測到的目標位置，計算過程也涉及到大量的判斷操作，具有較強的隨機性，因此考慮用靈活性最強的CPU模組來處理。透過適配多種型別特點的計算群，最佳化硬體資源配置和任務排程執行，以期實現高效的在軌資料處理。
本文以“珠海一號”衛星星座的OHS高光譜影像為測試資料，以工程樣機為測試平臺，在固有處理的基礎上進行船舶檢測和林火檢測的資訊提取試驗，以及知識推理分析驗證。
船舶檢測測試選取6景影像，每景大小均為2 528×5 000像元，使用第5波段進行測試，模擬相機輸出的處理場景。林火檢測測試集選取6景影像，每景大小均為5 056×5 056像元，使用第1/5/15波段構成偽彩色影像進行測試，模擬相機兩路輸出時的處理能力。
使用船舶資料測試時，6景影像耗時如表9所示。
從表9可知，船舶檢測測試選取的6景影像資料平均每景用時7.178 s。其中固有處理1(輻射校正+切片)環節平均處理時間3.414 s; 資訊提取1(目標識別AI 計算)平均處理時間3.699 s; 資訊提取2(切片拼接、資訊生成)AI後處理CPU計算平均處理時間2 ms; 固有處理2幾何校正平均處理時間62.5 ms。在10 m解析度下，每景影像2 528×5 000畫素對應1 264 km2,對應處理時間5.68×10-3 s/km2。其中固有處理時間2.75×10-3 s/km2;資訊提取時間2.93 s。對應1 min地面成像2 528×45 816畫素，對應地面距離458.16 km, 處理時長65.77 s, 完成時間在min級，可以有效支援應急場景的遙感任務需求。船舶檢測處理效果如表10所示。
表10中第2列資料是相機成像後的原始資料，可見明顯的條帶效應；經過輻射校正，在第3列圖中可以觀察到資料質量得到了較大的提升；第4列展示了船舶檢測結果，並將方框區域進行區域性區域放大後在第5列顯示。測試資料覆蓋了近海、遠海、港口、運河、島礁等不同海域的情況，船舶分佈呈現密集、中等、稀疏等多種形態。演算法在多種情況下檢測表現出較強的魯棒性，能夠支援船舶檢測在軌處理的應用場景需求。
火點檢測使用火點資料測試時，6景影像耗時如表11所示。
從表11可知，每景影像平均處理用時13.037 s。其中固有處理輻射校正環節平均處理時間6.007 s; 資訊提取包括AI計算平均處理時間6.999 s; AI後處理CPU計算平均處理時間2.5 ms; 固有處理幾何校正平均處理時間28.5 ms。在10 m解析度下，每景5 056×5 056畫素對應50.56 km地面成像，面積2 556 km2,對應處理時間5.10×10-3 s/km2。其中固有處理時間2.36×10-3 s/km2,資訊提取時間2.74 s。1 min成像距離5 056×45 816畫素，對應地面距離458.16 km、處理時長118.13 s、完成時間在2 min級別，可以有效支援應急場景的遙感任務需求，處理效果如表12所示。由於林火演算法需要多個波段進行處理，同時影像尺度也相應加大，因此FPGA和AI計算時間相對於船舶檢測有較大變化。圖9給出了局部放大的林火火點檢測結果。
由於“珠海一號”星座建設於2018—2019年，近年來可以利用的林火資料來源較為集中在澳大利亞地區。演算法瓦片化處理機制對於擴散特別大的火點，只能透過多個瓦片檢測到，使得這些火點檢測效果呈現碎片化特點。但是對於較小火點捕獲機率較大，能夠一定程度上降低漏檢的可能。這種現象在表中第5個處理結果中表現較為明顯。透過結果觀測發現，對疑似火源火點的提取，在大尺度(約100 m以上)上定位較為準確，可滿足較大尺度下應急情報的應用監測需求。
以大理市鳳儀鎮林火目標點為例，資料來源為“珠海一號”高光譜影像。大理市夏季最高氣溫僅28℃左右，全年平均氣溫17℃,每年2—4月為林火高發時段。2022-02-14起近30天氣溫穩定，未出現突然升溫或降溫情況，且3月8號以來，氣溫連續高於25℃,溼度低、降水量少，詳細資料如圖10所示。按照本文提出的林火預警知識推理方法對該區域的林火風險等級進行評估預測，結果如圖11所示。
結果表明，試驗區的林火風險分佈範圍較廣，風險等級較高；監測結果與已發生火災區域吻合。本次試驗準確地預測到了著火區域，如圖11(b)黃框所示，有效驗證了知識生成模型在遙感林火檢測中的應用。
概述了遙感衛星資料在軌處理系統技術發展現狀，總結了行業所面臨的基本技術問題，介紹了整合固有處理、資訊提取和知識生成等功能的在軌處理系統框架，以及利用人工智慧AI模型演算法及星地一體化處理系統實施在軌資訊提取和知識生成的方法。利用人工智慧技術，達成了知識的積累和運用，並設計研製了資料在軌處理工程樣機和與其適配的核心演算法。該框架具有對多型別遙感任務的相容性和擴充套件性，可適配遙感資料生成、資訊生成、知識生成多層次計算需求，實現了“星數天算”的基本目標。同時，提出了星地智慧大系統，充分利用衛星地面資料中心，對演算法進行最佳化和知識迭代，是“星數地算”的具體實踐。在工程驗證方面，硬體平臺峰值算力可達72 TOPS,儲存容量最大支援16 Tb, 峰值功耗不大於100 W,重量不大於8 kg。固有處理階段，處理時間不超過2.8 ×10-3 s/km2;資訊提取階段測試了船舶檢測、林火火點檢測等目標檢測演算法處理時間不超過 3.1×10-3 s/km2;知識生成階段透過構建基於產生式規則的林火知識庫，可實施基於遙感資訊和時空資訊的林火預警知識生成。試驗結果表明，本文設計的衛星遙感資料在軌處理系統和相關技術方法能夠有效、快速執行復雜任務，為衛星遙感資料在軌智慧處理系統的研製和應用提供了一種有效的技術手段，具有良好的應用前景。
針對多源資料融合的在軌知識推理分析仍有待深入的探索和研究。
>End
>>>
本文轉載自“測繪科學技術學報”，原標題《王家耀院士等 | AI技術賦能遙感衛星資料在軌處理》。
為分享前沿資訊及有價值的觀點，太空與網路微信公眾號轉載此文，並經過編輯。
>>>
充滿激情的新時代，
充滿挑戰的新疆域，
與踔厲奮發的引領者，
卓爾不群的企業家，
一起開拓，
一起體驗，
一起感悟，
共同打造更真品質，
共同實現更高價值，
共同見證商業航天更大的跨越！
——《太空與網路》，觀察，記錄，傳播，引領。
>>>
·《衛星與網路》編輯委員會
高階顧問：王國玉、劉程、童旭東、相振華、王志義、楊烈
· 《衛星與網路》創始人：劉雨菲
·《衛星與網路》副社長：王俊峰
雜誌訂閱，請加微信：
wangxiaoyu9960