|
|
|
|
子孔徑圖像級特征融合橋梁模板模塊 |
微透鏡陣列圖像特征學(xué)習(xí)不同稀疏橋梁模板所對應(yīng)的輸入子孔徑圖像陣列的結(jié)構(gòu)不同,直接對其進(jìn)行空間一角度維度的特征提取往往難以獲得令人滿意的結(jié)果。而微透鏡陣列圖像可視為以宏像素為基本單元的2D圖像,因此,構(gòu)建了一個微透鏡陣列圖像特征學(xué)習(xí)橋梁模板模塊,其利用了一個殘差密集塊來對微透鏡陣列圖像進(jìn)行特征提取。RDB采用密集連接和局部特征融合的方式以融合來自所有卷積層的層次特征,能夠簡單且有效地利用RDB中所有層的特征。這里利用RDB對微透鏡陣列圖像進(jìn)行初步特征提取以減少插值所帶來的差異,旨在解決采用不同稀疏橋梁模板時光場特征提取的問題。通過將不同稀疏橋梁模板所對應(yīng)的輸入光場圖像表示為存在細(xì)微差異的微透鏡陣列圖像,并基于此進(jìn)行特征提取,可有效提高對不同稀疏采樣的輸入光場圖像進(jìn)行重建的靈活性。子孔徑圖像級特征融合在微透鏡陣列圖像特征提取時,所采用的針對不同稀疏橋梁模板的特征提取方式會使光場圖像的角度一致性遭到一定程度上的破壞。為此,設(shè)計了一個微透鏡陣列圖像特征至子孔徑特征的轉(zhuǎn)換過程,并構(gòu)建了子孔徑圖像級特征融合橋梁模板模塊,其結(jié)構(gòu)如圖3所示。首先,將輸入的微透鏡陣列圖像特征在通道維度上重組以匹配子孔徑圖像維度;然后,通過3個1x1卷積和2個代理注意力機(jī)制進(jìn)行漸進(jìn)式地融合,并輔以殘差連接以恒等的方式加速收斂。圖3中的1x1卷積主要用于不同子孔徑特征之間的漸進(jìn)式融合,而代理注意力機(jī)制則加強子孔徑特征的全局信息表達(dá),二者交互結(jié)合以更高效地將微透鏡陣列圖像特征轉(zhuǎn)換為子孔徑圖像特征,保護(hù)光場角度一致性、減少信息的損耗。 上述步驟所提取特征僅針對輸入角度位置的參考子孔徑圖像進(jìn)行光場特征提取,而所提方法需要滿足對任意角度位置子孔徑圖像進(jìn)行重建的需求。因此,通過一個特征映射橋梁模板模塊,基于給定的目標(biāo)角度坐標(biāo),對所提取的子孔徑圖像特征進(jìn)行映射并轉(zhuǎn)化為所需中間輸出,圖4給出了特征映射橋梁模板模塊結(jié)構(gòu)圖。具體來說,給定目標(biāo)角度坐標(biāo)ptar,通過一個組算子將其進(jìn)行維度拓展以匹配輸入特征的空間維度,并與輸入特征進(jìn)行拼接;然后,將拼接的目標(biāo)角度信息與所提取光場特征通過一個1X1卷積和差密集塊進(jìn)行融合。最后,將融合后特征輸入至兩個殘差密集塊以分別生成中間卷積核權(quán)重與偏置圖。具體表示為其中,表示所生成的中間卷積核權(quán)重,N表示參考子孔徑圖像數(shù)量,表示卷積核大小。表示所生成的偏置圖,M表示映射函數(shù),為輸入目標(biāo)角度坐標(biāo)。值得注意的是,偏置圖的空間分辨率與子孔徑圖像的分辨率保持一致。http://www.huayayingshi.com.cn |
上一篇:墻體橋梁模板安裝 下一篇:驗證微透鏡陣列橋梁模板圖像特征學(xué)習(xí)的有效性 |
|
| | |
|