近日，由計算機學(xué)院明銳副教授指導(dǎo)，2023級計算機科學(xué)與技術(shù)專業(yè)本科生肖儀賢參與的研究取得了重要突破，在中國科學(xué)院SCI一區(qū)TOP期刊《Pattern Recognition》上發(fā)表了題為《SSDFusion: A scene-semantic decomposition approach for visible and infrared image fusion》的研究論文。
圖1 論文摘要
該論文圍繞可見光與紅外圖像融合這一研究領(lǐng)域展開，提出了一種基于場景語義分解的可見光和紅外圖像融合新方法SSDFusion。采用多級編碼器－融合網(wǎng)絡(luò)，通過創(chuàng)新的場景語義分解和融合策略，分別提取和融合場景相關(guān)和語義相關(guān)的組件，并將融合的語義注入場景特征中，既豐富了融合特征中的上下文信息，又保持了融合圖像的保真度。研究還引入元特征嵌入技術(shù)，將編碼器－融合網(wǎng)絡(luò)與下游應(yīng)用網(wǎng)絡(luò)連接起來，顯著提升了網(wǎng)絡(luò)在語義提取、融合效果優(yōu)化以及語義分割等任務(wù)上的性能。
圖2 研究方法詳細架構(gòu)圖
實驗結(jié)果表明，該方法在增強語義分割任務(wù)結(jié)果的同時，實現(xiàn)了先進的圖像融合性能，彌合了基于特征分解的圖像融合與高級視覺應(yīng)用之間的差距，為多模態(tài)圖像融合提供了更有效的范式。
圖3 與其他前沿方法在圖像融合與語義分割任務(wù)上對比
近年來，計算機與大數(shù)據(jù)學(xué)院始終遵循閩江學(xué)院“立足福州、面向市場、注重質(zhì)量、突出應(yīng)用”辦學(xué)宗旨，通過導(dǎo)師制構(gòu)建科研育人平臺，鼓勵本科生深入?yún)⑴c前沿課題研究，以期全面提升學(xué)生的其新與實踐能力。未來，學(xué)院將持續(xù)深化科教融合，通過高水平科研項目，進一步推動本科生成長為應(yīng)用型人才。
（計算機學(xué)院 黃靜雯 王美清 肖儀賢 通訊員 黃昆暢）
【責(zé)任編輯 羅曉華】