中國日報9月22日電(記者 閆東潔)9月21日,第一屆空天信息技術(shù)大會在山東濟南開幕。會議期間,中國科學(xué)院空天信息創(chuàng)新研究院(空天院)付琨研究員團隊聯(lián)合鵬城實驗室,正式發(fā)布自主研制的百億級遙感解譯基礎(chǔ)模型——"空天·靈眸"3.0版,這是迄今為止全球首個百億參數(shù)級空天一體遙感解譯基礎(chǔ)模型。
近年來,我國遙感數(shù)據(jù)獲取能力不斷增強,已進入遙感大數(shù)據(jù)時代,人工智能等技術(shù)也為數(shù)據(jù)服務(wù)模式的變革提供了可能。"空天·靈眸"是我國首個面向多模態(tài)遙感數(shù)據(jù)生成式基礎(chǔ)模型,也是首個專為遙感領(lǐng)域打造的行業(yè)基礎(chǔ)模型。自2022年首次推出后,空天院研究團隊在"基礎(chǔ)模型+下游任務(wù)"計算范式積累上持續(xù)探索。于今年3月起,研究團隊與鵬城實驗室深度合作,基于中國算力網(wǎng)"鵬城云腦II"樞紐節(jié)點,采用512張昇騰910顯卡,歷時數(shù)月攻關(guān)完成了在4億張國產(chǎn)化多模態(tài)空天遙感數(shù)據(jù)樣本上的預(yù)訓(xùn)練,基礎(chǔ)模型參數(shù)規(guī)模首次超過百億。
中國科學(xué)院空天信息創(chuàng)新研究院研究員孫顯介紹,我們?nèi)绻鸦A(chǔ)模型看作是一個機器人,那么,"參數(shù)"就相當(dāng)于它的"記憶細胞"和"知識細胞"。如果參數(shù)規(guī)模小,則它能記住和處理的信息就相對有限,只能做一些比較簡單的任務(wù)。參數(shù)規(guī)模越大,這兩種細胞就越多,它就能捕捉、記憶和處理更復(fù)雜的信息,從而更加準(zhǔn)確、精細地完成更困難、更復(fù)雜的任務(wù)。
"空天·靈眸"3.0版內(nèi)核工作架構(gòu)是基于熱傳導(dǎo),這是聯(lián)合團隊自主研發(fā)的一套小而精的原創(chuàng)性架構(gòu)。受傳熱學(xué)物理思想啟發(fā),聯(lián)合團隊將場景目標(biāo)間視覺語義傳播建模為熱能擴散過程,從而使該架構(gòu)有效突破了遙感模型推理的性能和速度瓶頸,計算速度較傳統(tǒng)模型提升2.4倍以上。
孫顯表示,"'熱傳導(dǎo)'的架構(gòu),是吸收了物理的傳熱學(xué)原理。聯(lián)合團隊將模型運行與熱傳導(dǎo)作類比,將圖像也看作一個溫度場,重要的圖像區(qū)域應(yīng)該保持較高的溫度,用熱傳導(dǎo)的計算公式來指導(dǎo)和推動模型進行學(xué)習(xí)。這一架構(gòu)實現(xiàn)了模型數(shù)據(jù)學(xué)習(xí)、推理等速度的大幅提升。"例如,原來訓(xùn)練1千萬張數(shù)據(jù)樣本,需要大約300多塊顯卡,現(xiàn)在不僅只需要三分之一的數(shù)量,處理速度還能提升約2.4倍。
"空天·靈眸"3.0版目前已表現(xiàn)出極為優(yōu)秀的泛化解譯性能,在可見光、合成孔徑雷達、熱紅外、多光譜等多傳感器衛(wèi)星數(shù)據(jù)基礎(chǔ)上,拓展至航空遙感飛機、無人機等不同航空平臺觀測數(shù)據(jù)的自動化、高精度解譯處理。尤其是航空大傾角成像過程中,極易出現(xiàn)畸變、遮擋、缺失等干擾,模型對此依然可以保持高精度的識別能力。
目前"空天·靈眸"3.0版在覆蓋場景分類、目標(biāo)檢測、語義分割、變化檢測等6大類任務(wù)的23個國際基準(zhǔn)數(shù)據(jù)集上測試,較比當(dāng)前的主流模型,精度平均提升4%至10%,指標(biāo)均達到領(lǐng)先水平,并已在應(yīng)急、國土、海洋、住建等多個行業(yè)部署試運行,特別是在最具挑戰(zhàn)性的復(fù)雜要素精細分類、運動小目標(biāo)連續(xù)跟蹤等任務(wù)上性能卓越,為天臨空地一體化應(yīng)用提供了一套行之有效的解決方案。未來,研究團隊將持續(xù)推動"空天·靈眸"3.0版在國民經(jīng)濟各個行業(yè)的落地應(yīng)用。