Ünite 4: Görüntü Füzyonu

Giriş

Füzyon kelimesi literatürde farklı ilgi alanlarına göre; birleşme, sinerji, entegrasyon, kaynaştırma vb. gibi farklı terimler ile ifade edilmektedir. En genel anlamda veri füzyonu, farklı kaynaklardan alınan verilerin birleştirilmesi için gerekli yöntem ve araçlar olarak tanımlanır ve sonuçta daha kaliteli bir bilginin elde edilmesi hedeflenir. ‘Daha kaliteli’ bilgi, ilgilenilen uygulamaya göre farklı şekilde tanımlanır.

Temel Kavramlar

Literatürde füzyon, veri füzyonu ve görüntü füzyonu olarak ayrı ayrı tanımlanmış olsa da 1990’lı yılların başlarından itibaren “Veri füzyonu” daha genel bir terim olarak benimsenmiş ve yaygın bir şekilde kullanılmaya başlanmıştır. Görüntü füzyonu, kullanılan veri tipinin görüntü formatında olması durumunda veri füzyonunun bir alt bileşeni olarak düşünülebilir. Görüntü füzyonunda kullanılan görüntüler eğer uydu görüntü formatında ise benzer olarak görüntü füzyonunun alt bileşeni olarak konumlandırılabilirler.

Günümüzde uzaktan algılama teknolojisi, yüksek spektral, mekânsal ve zamansal çözünürlüklü veri elde etme yönünde gelişme göstermektedir. Ancak bir uydudan alınan görüntü verisini aynı anda yüksek mekânsal (0.5 – 4 m) ve yüksek spektral çözünürlüklü ( > 100 spektral bant) olarak elde etme olanağı çok zordur. Bu nedenle mevcut uydu sistemlerinin çoğunda hem yüksek mekânsal çözünürlüğe sahip bir pankromatik (PAN) algılayıcı hem de yüksek spektral çözünürlüğe sahip çok spektrumlu (MS) bir algılayıcı bulunmaktadır. PAN görüntü, geniş bir spektral bant aralığına sahip görünür veya görünür + kızılötesi bant aralığında algılama yapan bir algılayıcı ile kayıt edilir.

Görüntü füzyonunun temel hedefleri; (i) mekânsal çözünürlüğü arttırmak, (ii) sınıflandırma doğruluğunu iyileştirmek, (iii) geometrik hassasiyeti arttırmak, (iv) özellik çıkarım kapasitesini geliştirmek, (v) değişim saptama kapasitesini geliştirmek ve (vi) hatalı görüntü verisini onarmak veya değiştirmektir. Diğer bir ifade ile genel olarak, orijinal veri içeriğine (örneğin; daha gelişmiş bilgi çıkarma gücü, güvenilirliği arttırma ve veri belirsizliğini azaltma) veya kullanılabilirliğine (mekânsal ve zamansal çözünürlüğü arttırma) yönelik bazı iyileştirmeler hedeflenir (Khaleghi vd., 2013). Örneğin, havacılıkta düşük görüş mesafesi durumlarında, algılayıcıdaki görünür ve kızılötesi bantların füzyonundan yararlanılarak, pilotlara inişte kolaylık sağlanması hedeflenir.

Piksel seviyesinde füzyon, tek tek her bir piksele uygulanarak gerçekleştirilir. Piksel seviyesinde füzyonda amaç, orijinal girdi görüntülerini iyileştirerek çıktı görüntüsünün her iki girdi görüntüsünden daha yararlı bilgilere sahip olmasını sağlamaktır. Piksel seviyesinde füzyon, mekânsal alanda toplama ve çıkarma gibi aritmetik işlemlerle, frekans alanında ise dalgacık dönüşümü gibi farklı dönüşümler yardımıyla gerçekleştirilmektedir. Piksel seviyesinde görüntü füzyonu uygulamasında dikkat edilmesi gereken 3 temel husus vardır:

1. Füzyon işlemi sonrasında, orijinal (girdi) görüntülerde göze çarpan tüm bilgiler (mümkün olduğunca) korunmalıdır.
2. Füzyon işlemi sonrasında, görüntüde yapay bilgiler veya tutarsızlıklar oluşmamalıdır.
3. Füzyon algoritması görüntünün her pikseline uygulanmalıdır.

Yukarıda belirtilen tüm gereksinimler yerine getirilmiş olsa bile, dikkate alınması gereken diğer temel ve öncelikli bir husus da sürecin, gerçek zamanlı olup olmadığıdır. Diğer bir ifade ile farklı çoklu algılayıcılar tarafından elde edilen büyük hacimli görüntü verileri ile gerçek-zamanlı füzyon işlemini gerçekleştirmek zordur (Yang vd., 2010).

Özellik seviyesinde füzyon, birçok farklı görüntü analizi uygulamasında kullanılmaktadır. Piksel seviyesinde füzyondan farklı olarak özellik ve karar seviyesindeki füzyon süreçleri, daha yüksek bir işleme seviyesinde gerçekleştirilir. Özellik seviyesinde füzyonda öncelikle girdi görüntülerinden özellik vektörü elde etmek için bir özellik çıkarımı işlemi gerçekleştirilir. Özellik çıkarımında amaç, aynı coğrafi alana ait farklı görüntülerin füzyonunda kullanılan her bir görüntüde aynı parlaklık değerlerine sahip özellikler ile kenar, bölge, şekil, boyut, uzunluk veya görüntü segmentleri vb. gibi basit özelliklerin belirlenmesidir.

Karar füzyonu (veya yorum seviyesi) en yüksek işleme seviyesidir. Bu süreçte, önce her bir veri kaynağına ön bir sınıflandırma işlemi uygulandıktan sonra, elde edilen bilgiler birleştirilir. Karar seviyesi füzyonunda genelde iki farklı yöntem uygulanır. İlk yöntemde, aynı görüntü için farklı görüntü sınıflandırma yöntemleri kullanılarak elde edilen sınıflandırılmış görüntüler, daha iyi sınıflandırma doğruluğu elde etmek amacıyla birleştirilir. Diğer yöntem ise optik görüntü verileri ve radar görüntü verileri gibi birbirini tamamlayan iki farklı kaynaktan alınan görüntülerin ayrı ayrı sınıflandırılması ve daha sonra yüksek doğruluğa sahip bir tematik harita üretmek amacıyla birleştirilmesidir.

Piksel Seviyesinde Görüntü Füzyonu Yöntemleri ve Füzyon Görüntü Kalite Analizi

Füzyon işleminde seçilecek yöntemlerde aranması gereken en temel özellikler aşağıda belirtilmektedir:

1. Füzyon görüntüsü, girdi görüntülerindeki tamamlayıcı ve yararlı bilginin çoğunu koruyabilmelidir.
2. Füzyon sürecinde veya sonrasında uygulanacak görüntü işleme adımlarında analiste sıkıntı yaratabilecek herhangi bir yapay görsel bilgi üretilmemelidir.
3. Füzyon algoritması, yanlış geometrik kayıt ve gürültü gibi görüntüde oluşabilecek bazı olumsuz etkenleri telafi edebilecek yeterlilikte olmalıdır.

Mekânsal alanda kullanılan piksel seviyesindeki yöntemler, daha çok görüntü keskinleştirme (pansharpening olarak da bilinen) olarak adlandırılmakta ve literatürde çözünürlük kaynaştırma, görüntü entegrasyonu veya çok algılayıcılı veri füzyonu olarak da bilinmektedir.

Füzyon işleminde kullanılan farklı görüntülerde mevcut yararlı bilgiyi birleştirmek için orijinal girdi görüntülerine piksel bazında bazı matematiksel işlemler uygulanır.

1. Ağırlıklı Ortalama: En basit görüntü füzyon yöntemidir ve daha çok girdi görüntülerindeki gürültü etkisinin giderilmesinde etkilidir.
2. Çarpımsal (MLT) Yöntem: Bu yöntemde füzyon işlemi, MS verisinin her bandındaki her bir pikselin, PAN görüntüsünde karşılık geldiği piksel ile çarpılmasıyla gerçekleştirilir (Pohl, 1997). Çarpım nedeniyle oluşan yüksek parlaklık değerlerini dengelemek için füzyon edilmiş veri setinin karekökü alınır. Sonuç olarak her iki veri setinin karışık spektral özelliklerini yansıtan bir birleşim elde edilmektedir.
3. Brovey Dönüşümü: Brovey dönüşümünde temel olarak 3 bantlı bir MS görüntünün her bir bandının parlaklık değerleri, PAN görüntünün karşılık gelen parlaklık değerleri ile çarpılır ve elde edilen değerler, diğer tüm 3 bantın piksel değerleri toplamına bölünerek daha keskin bir renkli (RGB) görüntüsü elde edilir. Brovey dönüşümünde, füzyon görüntüsü G(x,y), MS veri setinde seçilen 3 spektral bant için elde edilir.
4. Düzleştirme Filtresi ile Yoğunluk Modülasyonu (SFIM): SFIM algoritmasında, yüksek mekânsal çözünürlüklü PAN görüntü, simüle edilmiş düşük çözünürlüklü ortalama görüntüsüne bölünür ve daha sonra düşük çözünürlüklü MS görüntü ile çarpılır.
5. Yüksek Geçirgenli Filtreleme (HPF): HPF yöntemi, ilk olarak Schowengerdt (1980) tarafından veri miktarını azaltmak ve LANDSAT MSS verileri için mekânsal çözünürlüğü artırmak için geliştirilmiş bir yöntemdir. Yöntemin ilk adımı olarak PAN verisine yüksek geçirgenli filtre (düşük frekanslı bilginin bastırılması ve yüksek frekanslı bilginin ön plana çıkartılması amacıyla) uygulanır ve daha sonra düşük çözünürlüklü MS verilerine eklenir ve en son adım olarak parlaklık değerlerindeki artışı dengelemek için sonuç değerleri ikiye bölünür.
6. Yüksek Frekanslı Modülasyon (HFM): Yukarıda açıklanan Yüksek Geçirgenli Filtreleme yönteminde toplama işlemi sonrasında, elde edilen yüksek frekanslı bilgi, MS verisindeki her bir spektral banda göre farklı olacağından, bir ölçeklendirme faktörüne ihtiyaç vardır. Bu amaçla geliştirilen yüksek frekanslı modülasyon yönteminde, öncelikle alçak geçirgenli filtre kullanılarak düşük frekanslı PAN verisi (LPAN) elde edilir.

Yer değiştirme yöntemlerinde yer alan yöntemlerde, mekânsal bilginin, farklı bileşenlere sahip spektral bilgiden ayrılması için, MS görüntüsü, bir dönüşüm yardımıyla farklı bir uzaya izdüşürülür ve ardından mekânsal bilgiyi içeren PAN bandı, bir MS bileşeni ile yer değiştirilir.

1. Ana Bileşen Analizi (PCA): Yaygın olarak kullanılan bu yöntemde, ilk olarak MS (örneğin LANDSAT TM) verilerine Ana bileşen analizi uygulanır.
2. Yoğunluk–Renk Tonu–Doygunluk (IHS) Renk Modeli: IHS yöntemi, en yaygın kullanılan füzyon yöntemlerinden biridir. Mekânsal detayı arttırmada oldukça başarılı olan bu yöntemde 2 farklı renk uzayı (RGB ve IHS) göz önüne alınır. RGB (Kırmızı-Yeşil-Mavi) renk uzayı, dijital görüntülerin temsil edildiği üç ana rengi içeren 3 boyutlu bir kartezyen koordinat sistemidir.
3. Gram-Schmidt (GS) Dönüşümü: GramSchmidt dönüşümü, çok spektrumlu görüntülerde korelasyonun giderilmesi amacıyla kullanılan diğer bir ortogonal dönüşümdür. GS dönüşümünden sonra, dönüştürülen bileşenler birbirine diktir ve yeni bileşen görüntülerinde bilginin birkaç ana bileşende yoğunlaştığı PCA dönüşümünün aksine, bilgi hacmi bakımından belirgin farklılıklar yoktur.

İstatistiksel yöntemler, renk bozulması ve kullanıcıdan (veya veri setinden) kaynaklı sorunların giderilmesinde kullanılır. Yukarıda bahsedilen füzyon tekniklerinden farklı olarak çeşitli istatistiksel değişkenler (örneğin; En Küçük Kareler, Ortalama lokal korelasyon) kullanılarak, füzyon edilecek görüntü bantlarının gri değerleri arasındaki en iyi uyumun sağlanması ve her bir bandın füzyon sonucuna etkisi dengelenerek renk bozulmasının minimuma indirgenmesi amaçlanır.

1. Lokal Ortalama Eşleştirme (LMM): Füzyon çıktı görüntüsü ile düşük mekânsal çözünürlüklü orijinal MS bantları arasındaki spektral bütünlük farkını en aza indirgemek için tasarlanan LMM yönteminde kullanılan istatistiksel parametre, belirli bir pencere boyutundaki lokal ortalama değerdir (De Bethune vd., 1997).
2. Lokal Ortalama ve Varyans Eşleştirme (LMVM): LMM yöntemine benzer şekilde, düşük mekânsal çözünürlüklü orijinal MS bantlarındaki mevcut spektral bilgiyi korumak için geliştirilen LMVM yönteminde kullanılan istatistiksel parametreler, belirli bir (w,h) pencere boyutundaki (örneğin 7 x 7) lokal ortalama ve standart sapma ? değerleridir (De Béthune vd., 1997).

Görüntü füzyonunda kullanılacak yöntemin seçiminin yanı sıra füzyon çıktı görüntüsü kalitesinin (veya füzyon yöntemi performansının) objektif olarak nasıl değerlendirileceği çok önemlidir. Füzyon görüntüsünde spektral ve mekânsal özelliklerin korunup korunmadığı farklı uygulamalar (örneğin; spektral özellikler, görsel yorumlama, sınıflandırma vb. süreçlerde) için önemli olduğundan, kalite analizinin uygulamalar öncesinde yapılması gerekir.

Nitel analiz: Nitel analiz (görsel analiz olarak da adlandırılan), görüntü füzyon kalitesinin ölçülmesinde kullanılan basit ve güvenilir bir yoldur. Ancak bu yöntemin güvenilirliği, bu analizi yapacak kişinin deneyimine ve gözleme koşullarına bağlıdır (Wald vd., 1997).

Nicel analiz: Füzyon görüntülerinin nicel analizi, çıktı görüntülerinin kalitesini değerlendirmede matematiksel modellerin kullanıldığı etkili bir yöntemdir. Bu amaca yönelik olarak uygulamada kullanılan birçok farklı objektif ve otomatik değerlendirmede kullanılabilecek etkin ölçütler vardır. Kullanılan bu ölçütlerde iki farklı yaklaşım geçerlidir: 1) Referans görüntüsü gerektirmeyen ölçütler ve 2) Referans görüntüsü gerektiren ölçütler.

Uygulama Alanları ve Yeni Eğilimler

Füzyon tekniğinin kullanıldığı en yaygın uygulama alanlarından birkaçı aşağıda kısaca verilmektedir;

• Fotoğrafçılık: Dijital kameralarda mevcut sınırlı derinlik gücü ve farklı pozlanma dereceleri nedeniyle piksel seviyesinde çoklu odaklanma ve çoklu pozlanma füzyon teknikleri kullanılarak daha iyi bir görüntü elde edilebilmektedir.
• Tıbbi tanı: Günümüzde klinik başvuru taleplerinin hızla artması, medikal görüntü füzyonunun ön plana çıkmasına neden olmuştur. Tıbbi tanı, genellikle farklı medikal görüntüleme cihazları (örneğin; Manyetik Rezonans Görüntüleme-MRI, Pozitron Emisyon Tomografisi-PET vb.) tarafından elde edilen görüntülerdeki tamamlayıcı bilgiye dayalı olarak yapılır.
• Çevresel izleme ve keşif: Günümüzde görüntü füzyon teknikleri, çevresel izleme ve keşif alanlarında giderek daha fazla kullanılmaya başlanmıştır. Bu amaca yönelik olarak gündüz/gece veya farklı dalga boylarında (örneğin, görünür ve kızılötesi) çekilmiş görüntüler kullanılır.

Gelecekteki yeni eğilimler de daha çok aşağıda belirtilen bu temel problemlerin çözümüne odaklı planlanmaktadır:

1. Kullanılan çok algılayıcılı (örneğin; çok spektrumlu, hiperspektral, pankromatik) görüntü verilerinin füzyonunda gözlenen spektral ve mekânsal bozulmalar ile geometrik kayıt hatalarının daha başarılı bir şekilde giderilmesi,
2. Son yıllarda geliştirilen farklı algılayıcı (örneğin; SAR, LiDAR vb.) sistemlerinden alınan verilerin füzyonu ile farklı bilgilerin (örneğin, spektral ve yükseklik bilgisi vb.) elde edilmesine yönelik yeni algoritmaların geliştirilmesi zorunluluğu,
3. Gerçek zamanlı çevre uygulamalarının ihtiyacına yönelik füzyon görüntüsü oluşturmak amacıyla kullanılan algoritmaların hesaplama gücünün arttırılarak hızlandırılması,
4. Görüntü elde etme koşulları, dış ortama bağlı olarak farklılık gösterebileceğinden, füzyon yöntemlerinin gürültü, düşük veya aşırı pozlanma vb. farklı koşullara cevap verecek nitelikte tasarlanabilmesi,
5. Objektif görüntü kalite analizi için önerilen yöntemlerin yetersizliği nedeniyle belirli bir füzyon algoritmasında seçilen parametrelerin optimal belirlenmesi ihtiyacı ve farklı algoritmalarla elde edilen sonuçların hızlı bir şekilde karşılaştırılması için yeni performans değerlendirme kriterlerine ve otomatik kalite değerlendirme yöntemlerine gereksinim duyulması,
6. Karar verme sürecinde daha gelişmiş bilgi edinmek için çok sayıda heterojen algılayıcıdan gelen verileri birleştiren çok kaynaklı (CBS verileri, arazi ölçmeleri, meteorolojik veriler, ekonomik sayım verileri vb. yardımcı veriler) veri füzyonu, gelişmekte olan ve doğası gereği istatistiksel tahmin, sinyal işleme, bilgisayarla görme ve makine öğrenme gibi farklı alanları içeren çok disiplinli bir konudur. Bu bağlamda, ana hedef olan otomatik izlemeye yönelik uygulamalar için çok kaynaklı veri füzyonuna yönelik yeni yaklaşımların geliştirilmesine gereksinim duyulması (Zhang, 2010; Xu vd., 2014).