Veri Sıkıştırma Algoritmaları Ders 5: Kayıplı Görüntü Sıkıştırma Yöntemleri Yrd. Doç. Dr. Altan MESUT

JPEG (Joint Photographic Experts Group) DCT (ayrık kosinüs dönüşümü) tabanlı bir standarttır. Sıkıştırmadaki kayıp oranı (sıkıştırma miktarı) kalite faktörünün (Q faktörü) değiştirilmesi ile ayarlanabilir. 24-bit renk derinliğine sahip fotoğraflarda çok iyi sonuçlar verdiği için sayısal fotoğrafçılıkta çok kullanılır. JPEG, tek bir algoritmadan ibaret olmayıp, birçok görüntü sıkıştırma yönteminin bir araya getirilmesi ile oluşturulmuş bir standart olduğu için, sıkıştırma ve açma süreleri tek algoritmaya sahip olan kayıpsız sıkıştırma yöntemlerine göre daha uzundur. 20.09.2018 Bölüm 5 - Görüntü Sıkıştırma

Bölüm 5 - Görüntü Sıkıştırma JPEG Mimarisi Temel olarak aşağıdaki işlemlerden oluşur: Eğer renk bilgisi RGB türünde ifade edilmişse, YUV’a çevirme. (isteğe bağlı) Örneklemeyi azaltma. (down-sampling) Görüntüyü 8×8 büyüklüğünde bloklara bölme. DCT kullanarak, piksel bilgisini uzamsal etki alanından frekans etki alanına çevirme. DCT dönüşümü sonuç değerlerini nicelendirme. Sonuç katsayılara köşegen tarama düzeninde RLE uygulama ve ardından QM kodlamasını kullanma. 20.09.2018 Bölüm 5 - Görüntü Sıkıştırma

Bölüm 5 - Görüntü Sıkıştırma JPEG Sıkıştırması DCT RGB → YUV Örneklemeyi Azaltma Y U V Bloklara bölme 8x8 f(i,j) Niceleme F(u,v) Fq(u,v) ZigZag Tarama RLE DPCM Tabloları Kodlama DC AC QM Kodlaması Veri Tablolar Başlık JPEG Dosyası Kaynak Dosya 20.09.2018 Bölüm 5 - Görüntü Sıkıştırma

Bölüm 5 - Görüntü Sıkıştırma Renk Dönüştürme RGB’den YUV’a dönüştürme JPEG sıkıştırması için gerekli değildir, ama bu dönüşüm sayesinde daha yüksek sıkıştırma oranlarına ulaşılır. YUV renk biçimi, renkleri, parlaklık (luminance) ve renklilik (chrominance) olarak ifade eder. Y parlaklığı, U ve V değerlerinin kombinasyonları da renkliliği ifade eder. RGBYUV dönüşümü bir lineer dönüşümdür ve bu dönüşüm için genellikle aşağıdaki denklem kullanılır: Y = 0.299R + 0.587G + 0.114B U = Cb = 0.564(B-Y) = -0.169R - 0.331G + 0.500B V = Cr = 0.713(R-Y) = 0.500R - 0.419G - 0.081B 20.09.2018 Bölüm 5 - Görüntü Sıkıştırma

Bölüm 5 - Görüntü Sıkıştırma Örneklemeyi Azaltma İnsan gözü parlaklığa daha çok, renkliliğe daha az hassastır. Bu demektir ki U ve V değerlerini bir miktar azaltmak, görüntüyü insan gözü için çok fazla farklılaştırmayacaktır. O halde 2×2 ebatlarında 4 piksellik bir blok için Y, U ve V değerlerinden 4’er adet (4:4:4) kullanmak yerine 4:2:2 ya da 4:1:1 kullanabiliriz. Bu işleme örneklemeyi azaltma (down-sampling) denir. 20.09.2018 Bölüm 5 - Görüntü Sıkıştırma

DCT (Discrete Cosine Transform) Görüntü 8×8 bloklara bölünür ve her blok diğerinden bağımsız olarak ayrık kosinüs dönüşümüne (DCT - Discrete Cosine Transform) tabi tutulur. Sonuçta ortaya yine 64 katsayı çıkacaktır. Bunlardan ilkine DC (ilk piksel - F(0,0)) ve diğerlerine de AC adı verilir. 20.09.2018 Bölüm 5 - Görüntü Sıkıştırma

Bölüm 5 - Görüntü Sıkıştırma DCT Katsayıları 20.09.2018 Bölüm 5 - Görüntü Sıkıştırma

Niceleme (Quantization) DCT dönüşümü sonrasında ortaya çıkan katsayılar genellikle ondalıklıdır. Bu değerler niceleme yöntemi ile tamsayılara dönüştürülür. Niceleme yönteminde öncelikle her katsayı 1 ile 255 arasında bir tamsayıya bölünür ve daha sonra en yakın tamsayıya yuvarlanır (bu esnada kayıp meydana gelir). Katsayıların hangi değere bölüneceği niceleme tabloları (8×8 büyüklüğünde bir niceleme matrisi) sayesinde belirlenir. Parlaklık ve renklilik için farklı tablolar kullanılır. 20.09.2018 Bölüm 5 - Görüntü Sıkıştırma

Kalite Faktörü (Çarpanı) Görüntüdeki kayıp miktarını belirlemek için bir kalite çarpanı (quality factor) kullanılır. Kullanılan kalite çarpanına göre tablolar değişiklik gösterir. Nicelemenin formülü ve 75 kalite çarpanı için parlaklık tablosu: 20.09.2018 Bölüm 5 - Görüntü Sıkıştırma

Bölüm 5 - Görüntü Sıkıştırma Örnek !!! İnsan gözü yüksek frekanslara karşı daha az hassas olduğu için, niceleme tablosunda da görülebileceği gibi, bloğun sağ alt yarısında (sağ alt eşkenar üçgende) yer alan yüksek frekans katsayıları daha büyük sayılara bölünerek sıfıra indirgenmeye çalışılır. Niceleme işlemi sonrasında yüksek frekans katsayıları ağırlıklı olarak sıfırlardan oluşacaktır. 20.09.2018 Bölüm 5 - Görüntü Sıkıştırma

Köşegen (ZigZag) Tarama Bu iki boyutlu yapı tek boyuta indirgenirken aşağıdaki şekilde görüldüğü gibi bir köşegen tarama işlemi uygulanır. 20.09.2018 Bölüm 5 - Görüntü Sıkıştırma

Köşegen (ZigZag) Tarama Bu şekilde bir tarama yapılmasının amacı, düşük frekans katsayılarından yüksek frekans katsayılarına doğru sıralı bir düzen yaratmaktır. Böylece, yüksek frekans katsayılarının çoğunluğu sıfır olabileceği için, tekrar eden çok sayıda ardışık sıfırdan oluşan ve RLE ile iyi sıkıştırılabilir bir yapının oluşması da sağlanmış olacaktır. 20.09.2018 Bölüm 5 - Görüntü Sıkıştırma

Bölüm 5 - Görüntü Sıkıştırma Kayıpsız Sıkıştırma RLE kullanılarak AC katsayıları sıkıştırıldıktan sonra, diğer AC katsayıları için ve her bloğun sol üst pikseli olan DC katsayıları için farklı QM tabloları kullanılarak, son aşama olan kayıpsız sıkıştırma gerçekleştirilecektir. DC katsayıları için, bir önceki DC değeri ile kodlanacak olan DC arasındaki farkın kodlandığı bir tablo tercih edilirken, AC katsayıları için RLE kodlaması ile uyumlu daha farklı bir tablo kullanılır. 20.09.2018 Bölüm 5 - Görüntü Sıkıştırma

Bölüm 5 - Görüntü Sıkıştırma JPEG2000 Standardı JPEG2000 standardı, JPEG standardının kısıtlamalarını gidermek ve düşük bit-oranlarında yüksek kalitede görüntüler elde etmek amacıyla tasarlanmıştır. Ayrık Dalgacık Dönüşümü (Discrete Wavelet Transform - DWT) teknolojisini temel alarak, bilinen en iyi sıkıştırma teknolojilerinin kullanılmasıyla oluşturulmuş bir kodlama sistemidir. 20.09.2018 Bölüm 5 - Görüntü Sıkıştırma

JPEG2000’in Üstünlükleri - 1 Renkli görüntülerde 48-bit, gri-tonlamalı görüntülerde de 16-bit renk derinliğine izin verir. Kaliteden ödün vermeden daha yüksek sıkıştırma oranı sağlar. JPEG’teki en büyük dezavantajlardan biri; görüntü önce 8×8’lik bloklara ayrılıp daha sonra DCT uygulandığı için, özellikle yüksek sıkıştırma oranlarında bloklar arası geçişin keskinleşmesi ve gözle fark edilir hale gelmesidir. Özellikle 1/30’dan yüksek oranlarda sıkıştırmış görüntülerde bloklar belli olur. JPEG2000’de böyle bir bloklama yapısı olmadığı için bu dezavantaj ortadan kalkmıştır. 20.09.2018 Bölüm 5 - Görüntü Sıkıştırma

JPEG2000’in Üstünlükleri - 2 Önemli bölgelerin belirlenerek daha yüksek kalitede, önemsiz bölgelerin daha düşük kalitede sıkıştırılmasına imkan verir. (ROI) Görüntüyü belirli bir büyüklüğe (piksel başına bit oranına) kadar sıkıştırmaya olanak sağlar. (JPEG’te sadece kalite oranı var, “sıkıştırılmış hali 100KB olsun” şeklinde bir seçim yapılamıyor.) Aynı mimari içinde kayıpsız sıkıştırmaya da imkan sağlar. Eğer görüntüyü istenilen büyüklüğün daha azına kayıpsız olarak sıkıştırabiliyorsa, otomatik olarak kayıpsız sıkıştırmayı kullanır. İstemci/sunucu görüntü uygulamaları için ve sınırlı kaynağa sahip olan kablosuz cihazlar için ilave fonksiyonel özelliklere sahiptir. Örneğin, belirli bir zaman aralığında aktarabileceği en kaliteli görüntüyü aktarır. JPEG2000 dosya formatı (.jp2) XML tabanlıdır. 20.09.2018 Bölüm 5 - Görüntü Sıkıştırma

Bölüm 5 - Görüntü Sıkıştırma JPEG2000 Mimarisi Temel olarak aşağıdaki işlemlerden oluşur: RGB’den YUV’a dönüşüm yada RCT. (isteğe bağlı) Görüntüyü bölümlendirme (Tiling). (isteğe bağlı) DWT kullanarak, piksel bilgisini uzamsal etki alanından frekans etki alanına çevirme. ROI (Region of Interest). DWT dönüşümü sonuç değerlerini nicelendirme. MQ-Kodlaması. 20.09.2018 Bölüm 5 - Görüntü Sıkıştırma

Bölüm 5 - Görüntü Sıkıştırma Renk Dönüştürme JPEG2000 standardının 2000 yılında yayınlanmış olan birinci bölümünde (Part I), iki dönüşüm tipi tanımlanmıştır. Bunlardan ilki, JPEG’te de kullanılan RGB  YUV dönüşümüdür. Diğeri ise her bileşenin kayıpsız olarak tekrar elde edilmesine olanak sağlayan RCT (Reversible Component Transform) dönüşümüdür. Bu dönüşümün formülü aşağıda verilmiştir: 20.09.2018 Bölüm 5 - Görüntü Sıkıştırma

Görüntüyü Bölümlendirme (Tiling) JPEG2000, bölümlendirme (tiling - kiremit kaplama) adı verilen bir işlem ile görüntüyü bloklara ayırır. Her bir bölüm sanki farklı bir görüntü imiş gibi birbirinden bağımsız olarak sıkıştırılır. Sınırlarda yer alanlar dışındaki bölümlerin boyutları ikinin katları kadardır. Bölümlendirme işlemi, hafıza gereksinimlerini azalttığı için ve eğer gerekli değilse görüntünün tamamı yerine sadece belirli kısımlarını açabildiği (decode) için kullanışlıdır. 20.09.2018 Bölüm 5 - Görüntü Sıkıştırma

DWT (Discrete Wavelet Transform) Dalgacıklar veriyi farklı frekans bileşenlerine ayıran matematiksel fonksiyonlardır. DWT, aşağıda görüldüğü gibi birçok alt-geçişli (LP, low-pass) ve üst-geçişli (HP, high-pass) sayısal filtre serisi ile gerçeklenebilir. JPEG2000’de temel olarak 5/3 ve 9/7 olmak üzere iki farklı filtre çifti kullanılır. i Hl(i) Hh(i) 0.6029490182 1.1150870524  1 0.2668641184 -0.5912717631  2 -0.0782232665 -0.0575435262  3 -0.0168641184 0.0912717631  4 0.02674875741   i Hl(i) Hh(i) 3/4 1  1 1/4 -1/2  2 -1/8   20.09.2018 Bölüm 5 - Görüntü Sıkıştırma

DWT (Discrete Wavelet Transform) Bir görüntünün dalgacık ayrıştırmasında, ayrışım önce satır satır, sonra sütün sütün gerçekleştirilir. Örneğin N×M boyutlarında bir görüntüde, önce her satır filtrelenir ve filtre çıkışı iki adet N×(M/2) boyutunda görüntü elde etmek için alt-örneklenir. Daha sonra her sütun filtrelenir ve dört adet (N/2)×(M/2) boyutunda görüntü elde etmek için alt-örneklenir. Her alt görüntü aranılan alt-bant yapısı sağlanana kadar bu şekilde dörde bölünmeye devam eder. 20.09.2018 Bölüm 5 - Görüntü Sıkıştırma

DWT (Discrete Wavelet Transform) 20.09.2018 Bölüm 5 - Görüntü Sıkıştırma

Bölüm 5 - Görüntü Sıkıştırma DCT ve DWT 20.09.2018 Bölüm 5 - Görüntü Sıkıştırma

DCT ve DWT karşılaştırması Görsel Karşılaştırma (a) (b) (c) Orjinal Resim 256x256 Piksel, 24-Bit, RGB JPEG (DCT) ile 43:1 oranında sıkıştırılmış JPEG2000 (DWT) ile 43:1 oranında sıkıştırılmış 20.09.2018 Bölüm 5 - Görüntü Sıkıştırma

ROI (Region of Interest) ROI kodlamasında, görüntünün belirli bölgeleri daha yüksek kalitede, kalan yerleri daha düşük kalitede kodlanır. Görüntünün belirli bir bölümü ile daha çok ilgili olduğumuz durumlarda bu işlem kullanışlıdır. İlgili olunan bölge (ROI maskesi) seçildikten sonra, dalgacık dönüşümünden elde ettiğimiz katsayılardan hangilerinin daha yüksek kalitede sıkıştırılması gerektiğini bulmak için, maskeye dönüşüm uygulayıp hangi katsayıların maskenin içine düştüğüne bakarız. Bu bilginin sıkıştırılan görüntüyü açma esnasında bilinmesine gerek yoktur. 20.09.2018 Bölüm 5 - Görüntü Sıkıştırma

Niceleme (Quantization) JPEG2000’de kullanılan niceleme işlemi kademeli olarak çalışan dalgacık dönüşümü yapısına uygun olacak şekilde tasarlanmıştır. JPEG’te kullanılan yapıdan farklı olsa da temelde yaptığı iş aynıdır; yüksek frekans katsayılarını sıfıra indirgemek. 20.09.2018 Bölüm 5 - Görüntü Sıkıştırma

Bölüm 5 - Görüntü Sıkıştırma MQ-Kodlaması JPEG2000’in son aşamasında MQ-Kodlaması kullanılır. Kullanışlı bit dizisi oluşturma özelliklerine sahip olan MQ-Kodlaması, JBIG ve JPEG standartlarında kullanılan QM-Kodlamasına işlevsel olarak benzerdir. JBIG-2 standardında da MQ-Kodlaması kullanılmıştır. 20.09.2018 Bölüm 5 - Görüntü Sıkıştırma

JPEG - JPEG2000 Karşılaştırması Kayıplı sıkıştırma algoritmaları söz konusu olduğunda, sıkıştırma oranından çok bozulma oranı (kayıp miktarı) önemlidir. Çünkü kayıplı sıkıştırma algoritmaları belirli bir kalite faktörünü parametre olarak aldıkları için, kaliteden feragat ederek sıkıştırma oranını arttırabilmektedirler. Bu nedenle, karşılaştırma yapılırken asıl test edilmesi gereken unsur ne kadar çok sıkıştırdığı değil, ne kadar kaliteli sıkıştırdığıdır. 20.09.2018 Bölüm 5 - Görüntü Sıkıştırma

Sıkıştırmada Kayıp Miktarı (a) ve (b) resimleri arasında fark yok gibi görünse de aslında (c) kadar fark vardır. (a) cizim.bmp (b) cizim.jpg (c) fark.bmp 20.09.2018 Bölüm 5 - Görüntü Sıkıştırma

Bozulma Oranını Ölçmek Kayıplı sıkıştırma sonucunda görüntüdeki bozulma oranını ölçmenin faklı yöntemleri vardır. Bunlar arasında en çok kullanılanlar; MSE (mean squared error) RMSE (root mean squared error) PSNR (peak signal-to-noise ratio) MAE (mean absolute error) PAE (peak absolute error) 20.09.2018 Bölüm 5 - Görüntü Sıkıştırma

MSE (mean squared error) Hataların kareleri toplamının ortalamasıdır. Genellikle 2 olarak gösterilir. RMSE (root mean squared error) ise MSE’nin kareköküdür. 20.09.2018 Bölüm 5 - Görüntü Sıkıştırma

PSNR (peak signal-to-noise ratio) Hatanın büyüklüğünün orijinal piksel değerinin en büyüğü (tepe noktası) ile olan orantısı Sinyaller çok geniş bir değer aralığında olabildikleri için PSNR logaritmik derecelendirme ile ifade edilir. 20.09.2018 Bölüm 5 - Görüntü Sıkıştırma

MAE (mean absolute error) Hataların mutlak değerinin ortalaması 20.09.2018 Bölüm 5 - Görüntü Sıkıştırma

PAE (peak absolute error) Mutlak hataların en büyüğü Bazı uygulamalar hataların belli bir eşik değerini aşmamasını isterler. Bu gibi durumlarda PAE önemlidir 20.09.2018 Bölüm 5 - Görüntü Sıkıştırma

Bölüm 5 - Görüntü Sıkıştırma Bozulma Oranları PSNR MSE RMSE MAE PAE cizim - Red 24.800623 215.287109 14.672665 5.121704 110 cizim - Green 30.424342 58.972046 7.679326 2.872192 79 cizim - Blue 21.734188 436.175781 20.884822 7.861328 148 cizim_8 21.283787 483.839844 21.996360 6.094360 248  0 20.09.2018 Bölüm 5 - Görüntü Sıkıştırma

Karşılaştırmanın Amacı JPEG2000 sıkıştırmasının yüksek oranlı sıkıştırmalarda üstünlüğü bilindiği için karşılaştırma yapılırken düşük oranlı (yüksek kaliteli) sıkıştırmaya odaklanıldı. Amaç, düşük oranlı sıkıştırmalarda da JPEG2000’in aynı performansı gösterip gösteremeyeceğini görmekti. 20.09.2018 Bölüm 5 - Görüntü Sıkıştırma

Karşılaştırma Yöntemi JPEG Mimarisinin görüntüyü önceden belirlenen bir büyüklüğe kadar sıkıştırma yeteneği olmadığı için, karşılaştırmayı yaparken önce JPEG ile 80 kalite faktörüne göre sıkıştırma yaptık. Ardından JPEG’in sıkıştırdığı büyüklükleri parametre olarak JPEG2000’e vererek, her bir dosyanın aynı büyüklüğe kadar JPEG2000 tarafından da sıkıştırılmasını sağladık. 20.09.2018 Bölüm 5 - Görüntü Sıkıştırma

Kullanılan Görüntü Dosyaları 20.09.2018 Bölüm 5 - Görüntü Sıkıştırma

Bölüm 5 - Görüntü Sıkıştırma Sıkıştırma Oranları 20.09.2018 Bölüm 5 - Görüntü Sıkıştırma

Bölüm 5 - Görüntü Sıkıştırma PSNR karşılaştırması 20.09.2018 Bölüm 5 - Görüntü Sıkıştırma

Bölüm 5 - Görüntü Sıkıştırma RMSE karşılaştırması 20.09.2018 Bölüm 5 - Görüntü Sıkıştırma

Bölüm 5 - Görüntü Sıkıştırma MAE karşılaştırması 20.09.2018 Bölüm 5 - Görüntü Sıkıştırma

Bölüm 5 - Görüntü Sıkıştırma PAE karşılaştırması 20.09.2018 Bölüm 5 - Görüntü Sıkıştırma

Karşılaştırma Sonuçları - 1 manzara resmi haricinde, JPEG2000 üstündür. Özellikle fotoğraf türünde olmayan cizim, karikatur, jpeg ve orb dosyalarında JPEG2000, JPEG’ten çok daha iyi performans göstermiştir. Sıkıştırma oranı arttıkça JPEG’in performansının düşmesi beklenirken, en yüksek sıkıştırma oranı ile sıkıştırdığı (yaklaşık 1/25) manzara görüntüsünde bu kadar başarılı olması, muhtemelen bu görüntüdeki karmaşıklığın az olması ile ilgilidir. 20.09.2018 Bölüm 5 - Görüntü Sıkıştırma

Karşılaştırma Sonuçları - 2 JPEG2000’in karmaşık bir yapıya sahip olması nedeniyle, yavaş sıkıştırdığı gözlenmiştir. Sayısal fotoğraf makinelerinde efektif olarak kullanılabilmesi için çok hızlı işlemcilere ihtiyaç duyulmaktadır. Her ne kadar bazı sayısal fotoğraf makinesi üreticileri JPEG2000 standardını destekleyen ürünleri geliştirdiklerini açıklamış olsalar da, günümüzde piyasada satılanlar içerisinde bu standardı destekleyen ürünlere pek rastlanmamaktadır. 20.09.2018 Bölüm 5 - Görüntü Sıkıştırma

Bölüm 5 - Görüntü Sıkıştırma Fractal Tekniği Fractal terimini bulan: Benoit Mandelbrot Mandelbrot fractal’ların matematiksel ifadeler şeklinde tanımlanabileceğini, ve çok küçük miktarda veri ve algoritma ile yaratılabileceğini keşfetmiştir. En önemli avantajı, açma (decode) işleminin basit ve hızlı olmasıdır. Bu sebeple, sıkıştırma işleminin bir defa, açma işleminin birçok defa yapıldığı uygulamalarda kullanışlıdır. 20.09.2018 Bölüm 5 - Görüntü Sıkıştırma