Autoencoder'lar
Derin Öğrenmenin Gizli Temsilleri

Veriyi verimli bir şekilde sıkıştırmak, latent temsiller öğrenmek ve yeniden yapılandırmak için tasarlanmış özel yapay sinir ağları

Denetimsiz Öğrenme
Boyut İndirgeme
Generatif Modeller

Temel Bileşenler

  • Encoder (Kodlayıcı)
  • Latent Space (Gizli Uzay)
  • Decoder (Kodçözücü)

Ana Uygulamalar

Gürültü Giderme Anomali Tespiti Sıkıştırma Öznitelik Çıkarımı

Autoencoder'lar: Temel Kavramlar

Autoencoder'lar, girdi verilerini çıktılarına kopyalamak üzere eğitilmiş, denetimsiz öğrenme yöntemleri kullanan özel bir yapay sinir ağı türüdür. Temel amaçları, veriyi verimli bir şekilde sıkıştırmak (encode), bu sıkıştırılmış temsilden orijinal girdiyi yeniden oluşturmak (decode) ve bu süreçte verinin latent (gizli) temsilini öğrenmektir.

Önemli Bilgi

Autoencoder'ların çalışma prensibi, bir veri kümesindeki en önemli özellikleri veya kalıpları tanımlayarak, bu özellikleri daha az boyutlu bir uzayda temsil etmeye dayanır. Bu latent temsil, boyut indirgeme, öznitelik çıkarımı, veri sıkıştırma, gürültü giderme ve anomali tepsiti gibi çeşitli görevlerde kullanılır.

İlk olarak 1980'lerde ortaya atılmış ve 2006 yılında Hinton ve Salakhutdinov tarafından yayınlanan bir makaleyle popülerlik kazanmıştır. Autoencoder'lar, görüntü, metin ve ses gibi çeşitli veri türlerinin işlenmesinde kullanılabilir.

Autoencoder'ların Temel Çalışma Prensibi ve Mimarisi

Encoder ve Decoder Yapısı

Autoencoder'lar, genellikle simetrik olan iki ana bileşenden oluşur: bir encoder (kodlayıcı) ve bir decoder (kodçözücü).

Encoder (Kodlayıcı)

Girdi verisini alır ve onu daha düşük boyutlu bir latent temsile (kod) dönüştürür. Encoder, genellikle bir dizi sinir ağı katmanından oluşur ve her katmanda nöron sayısı giderek azalır.

Örnek: Görüntüleri 64 boyutlu latent vektöre sıkıştıran iki Yoğun (Dense) katman

Decoder (Kodçözücü)

Encoder tarafından oluşturulan latent temsili alır ve onu orijinal girdi boyutuna geri dönüştürmeye çalışır. Decoder da genellikle bir dizi sinir ağı katmanından oluşur, ancak bu sefer nöron sayısı giderek artar.

Autoencoder mimari diyagramı

Latent Space ve Bottleneck Kavramları

Latent Space (Gizli Uzay)

Latent space, autoencoder'ın encoder'ı tarafından girdi verisinin sıkıştırıldığı düşük boyutlu temsil alanıdır. Bu uzay, orijinal verinin en önemli ve ayırt edici özelliklerini içerir.

Önemli: Daha küçük latent uzay = Daha fazla sıkıştırma + Daha fazla bilgi kaybı riski

Bottleneck (Darboğaz)

Bottleneck, autoencoder mimarisinin latent uzayı temsil eden kısmıdır. Bu, encoder'ın çıktı katmanı ve aynı zamanda decoder'ın giriş katmanıdır.

Kritik: Darboğaz kapasitesi, autoencoder'ın ne kadar bilgi sıkıştırabileceğini belirler

Farklı Autoencoder Türleri

Sparse Autoencoder'lar

Sparse autoencoder'lar, latent temsilde seyreklik (sparsity) kısıtlaması uygulayan bir autoencoder türüdür.

Temel Özellik:
Aynı anda aktif olabilen nöron sayısını sınırlayarak bir "darboğaz" etkisi yaratır
Kullanım Alanı:
Özellikle öznitelik çıkarımı ve verinin yorumlanabilir temsillerini öğrenme konusunda etkilidir

Denoising Autoencoder'lar

Denoising autoencoder'lar, gürültülü veya bozulmuş girdi verilerini alıp, orijinal, temiz versiyonunu yeniden oluşturmak üzere eğitilen autoencoder'lardır.

Çalışma Prensibi:
Girdi kasıtlı olarak bozulmuştur, model bu bozulmuş girdiden orijinal veriyi tahmin etmeye çalışır
Avantaj:
Verideki dayanıklı (robust) özellikleri öğrenirler ve aşırı öğrenmeyi önlemeye yardımcı olur

Variational Autoencoder'lar

Variational Autoencoder'lar (VAE'ler), autoencoder mimarisini olasılıksal bir çerçeveye taşıyan ve yeni veri örnekleri oluşturabilen (generative) modellerdir.

Temel Fark:
Temel autoencoder'lar deterministik noktaya eşlerken, VAE'ler olasılık dağılımı öğrenir
Özel Teknik:
"Reparameterization trick" eğitim sırasında rastgele örnekleme işleminin türevlenebilir olmasını sağlar

Autoencoder'ların Eğitim Süreci ve Kayıp Fonksiyonları

Eğitim Verisi ve Hazırlığı

Autoencoder'ları eğitmek için genellikle büyük miktarda etiketlenmemiş veri kullanılır. Veri hazırlığı, kullanılacak autoencoder türüne ve verinin doğasına bağlıdır.

Örnek: Fashion MNIST

TensorFlow Core'daki temel autoencoder örneklerinde, Fashion MNIST veri kümesi kullanılmıştır. 28x28 piksel boyutundaki görüntüler, `float32` tipine dönüştürülmüş ve piksel değerleri 255'e bölünerek [0, 1] aralığına ölçeklendirilmiştir.

Veri Hazırlama Adımları

  • • Piksel değerlerinin [0, 255] → [0, 1] normalize edilmesi
  • • Görüntülerin tek boyutlu vektöre düzleştirilmesi (flatten)
  • • Denoising için rastgele gürültü eklenmesi

Optimizasyon ve Kayıp Fonksiyonları

Temel Kayıp Fonksiyonları

Ortalama Kare Hata (MSE)

Sürekli değerli veriler için sıklıkla tercih edilir. MSE = (1/N) * Σ(x_i - x'_i)²

Binary Cross-Entropy (BCE)

Girdi verisinin elemanlarının 0-1 arasında olduğu durumlarda kullanılır. BCE = - (1/N) * Σ [x_i * log(x'_i) + (1 - x_i) * log(1 - x'_i)]

Özel Kayıp Fonksiyonları

KL Diverjansı (VAE'ler için)

Kodlayıcı tarafından öğrenilen latent dağılım ile önceden belirlenmiş öncül dağılım arasındaki farkı ölçer

Seyreklik Cezaları (Sparse AE'ler için)

Gizli katman aktivasyonlarının çoğunun sıfıra yakın olmasını teşvik eder

Autoencoder'ların Uygulama Alanları

Görüntü Sıkıştırma ve Geri Çatma

Autoencoder'ların temel işlevlerinden biri, veriyi daha düşük boyutlu bir latent temsile sıkıştırmak ve bu temsilden orijinal veriyi geri çatmaktır. Bu, özellikle görüntü verileri için yaygın bir uygulamadır.

Örnek: Yüksek çözünürlüklü görüntülerin daha küçük latent vektörlere kodlanarak verimli depolama ve iletim sağlanması

Öznitelik Çıkarımı ve Boyut İndirgeme

Autoencoder'lar, yüksek boyutlu verilerden anlamlı ve düşük boyutlu öznitelikler çıkarmak için güçlü araçlardır. Boyut indirgeme, model karmaşıklığını azaltır, eğitim süresini kısaltır.

Avantaj: PCA gibi doğrusal yöntemlere kıyasla doğrusal olmayan ilişkileri yakalayabilme yeteneği

Anomali Tespiti

Autoencoder'lar, anomali tespiti görevlerinde yaygın olarak kullanılmaktadır. Model yalnızca normal veriler üzerinde eğitilir ve bu verileri iyi bir şekilde yeniden oluşturmayı öğrenir.

IoT Anomali Tespiti: %98,76 ile %99,2697 arasında doğruluk elde edilmiştir

Gürültü Giderme

Denoising autoencoder'lar, özellikle görüntüler olmak üzere gürültülü verileri temizlemek için tasarlanmıştır. Kasıtlı olarak gürültü eklenmiş veriyi girdi olarak alır ve orijinal, gürültüsüz veriyi çıktı olarak üretmeyi öğrenir.

Uygulama: Görüntü ve ses gürültü giderme, veri temizleme, Stable Diffusion gibi modellerin temel eğitim paradigmaları

Gelişmiş Uygulamalar

Metin Sıkıştırma

SCAR (Sentence Compression using Autoencoders for Reconstruction) adlı sistem, etiketli veri bulunmaması kısıtlamasını aşmak için autoencoder'ları kullanmaktadır.

Gigaword ve DUC veri setlerinde diğer yöntemleri geride bırakmıştır

Bilimsel Veri Sıkıştırma

Autoencoder'lar, test edilen veri setlerinin çoğunda SZ'yi 4 kata, ZFP'yi ise 50 kata kadar daha yüksek sıkıştırma oranlarında geride bırakmıştır.

Yüksek Çözünürlüklü Difüzyon

Deep Compression Autoencoder (DC-AE), ImageNet 512x512 üzerinde SD-VAE-f8 autoencoder'ına kıyasla 19.1x çıkarım hızlanması sağlamıştır.

Autoencoder'ların Avantajları ve Sınırlamaları

Avantajları

Etiketlenmemiş Verilerle Çalışabilme

Autoencoder'ların en önemli avantajlarından biri, etiketlenmemiş verilerle çalışabilme yetenekleridir. Bu özellik, etiketlemenin pahalı veya zaman alıcı olduğu durumlarda son derece değerlidir.

Otomatik Öznitelik Çıkarımı

Autoencoder'lar, girdi verisinden doğrudan anlamlı ve soyut öznitelikler öğrenebilirler. Bu, manuel öznitelik mühendisliği sürecini büyük ölçüde azaltır.

Çok Yönlülük

Autoencoder'lar boyut indirgeme, gürültü giderme, anomali tespiti, veri oluşturma gibi çeşitli görevlerde kullanılabilir.

Karmaşık Veri İşleme

Yüksek boyutlu ve karmaşık verileri işleme yetenekleri öne çıkan bir avantajdır. Görüntüler, videolar, metin belgeleri gibi çok sayıda özelliğe sahip veri kümelerindeki karmaşık ilişkileri modelleyebilirler.

Sınırlamaları ve Zorluklar

Hiperparametre Duyarlılığı

Autoencoder'ların en belirgin sınırlamalarından biri, hiperparametre seçimine duyarlılıklarıdır. Performans, ağ mimarisi, öğrenme oranı, kayıp fonksiyonu gibi çeşitli hiperparametrelere büyük ölçüde bağlıdır.

Sağlamlık Eksikliği

Bazı autoencoder türleri, gürültülü verilere, aykırı değerlere ve girdideki küçük değişikliklere karşı hassas olabilir.

Aşırı Öğrenme Riski

Autoencoder'lar, özellikle sınırlı miktarda eğitim verisiyle eğitildiklerinde aşırı öğrenmeye eğilimli olabilirler.

Yerellik Koruma Zorluğu

Bazı autoencoder türleri, verinin uzamsal veya zamansal yerelliğini korumakta zorluk çekebilirler.

Autoencoder'lar ile Diğer Yapay Zeka Modellerinin Karşılaştırılması

Autoencoder'lar vs. PCA (Principal Component Analysis)

Özellik PCA (Principal Component Analysis) Autoencoder'lar
Temel Yaklaşım İstatistiksel, doğrusal dönüşüm Sinir ağı tabanlı, doğrusal veya doğrusal olmayan dönüşüm
Doğrusallık Doğrusal ilişkileri modeller Doğrusal olmayan ilişkileri modeller
Veri Türü Sayısal, doğrusal ilişkilerin baskın olduğu veriler Çeşitli veri türleri (görüntü, metin, zaman serisi)
Hesaplama Karmaşıklığı Nispeten düşük Yüksek, özellikle derin mimarilerde
Yorumlanabilirlik Temel bileşenler yorumlanabilir Gizli uzay temsilleri genellikle daha az yorumlanabilir
Aşırı Öğrenme Riski Düşük (doğrusal model) Yüksek, düzenlileştirme teknikleri gerekebilir

Sonuç

Eğer veri doğrusal ilişkiler sergiliyorsa ve hızlı, yorumlanabilir bir çözüm aranıyorsa, PCA genellikle tercih edilir. Ancak, veri karmaşık, doğrusal olmayan desenler içeriyorsa ve daha yüksek doğrulukta bir boyut indirgeme gerekiyorsa, autoencoder'lar daha güçlü bir seçenektir.

VAE'ler vs. GAN'lar (Generative Adversarial Networks)

Özellik VAE'ler (Variational Autoencoder'lar) GAN'lar (Generative Adversarial Networks)
Mimari Encoder-Decoder, olasılıksal latent uzay Generator-Discriminator, adversarial eğitim
Eğitim Hedefi Rekonstrüksiyon kaybı + KL diverjansı Generator: Discriminator'ı kandırma; Discriminator: Gerçek/sahte ayırt etme
Eğitim Kararlılığı Nispeten daha kararlı Daha zor, mode çökmesi riski yüksek
Örnek Kalitesi Genellikle iyi, ancak bazen bulanık olabilir Çok yüksek, keskin ve gerçekçi
Latent Uzay Kontrolü Daha iyi, düzenli ve sürekli Daha az kontrol, daha az düzenli
Mode Çökmesi Daha az yaygın Sık görülen bir sorun

Sonuç

VAE'ler, daha kararlı eğitimleri ve daha iyi kontrol edilebilen latent uzayları nedeniyle, anomali tepsiti veya latent değişkenlerin manipülasyonu gerektiren uygulamalarda tercih edilebilir. GAN'lar ise, özellikle görsel kalitenin çok önemli olduğu uygulamalarda daha uygundur.

Autoencoder'lar vs. Geleneksel Makine Öğrenmesi Modelleri

Anomali Tespiti Bağlamında

Bir çalışma, IoT ağlarında anomali tepsiti için Autoencoder'ları, Random Forest ve Isolation Forest gibi diğer popüler makine öğrenmesi algoritmalarıyla karşılaştırmıştır.

Deneysel Sonuçlar
  • • Autoencoder'lar: %98,76 - %99,2697 doğruluk
  • • Random Forest: Oldukça etkili
  • • Isolation Forest: Karşılaştırma altında

Avantajlar

  • • Denetimsiz Öğrenme: Etiketlenmemiş verilerden anlamlı özellikler çıkarabilme
  • • Normal Davranış Öğrenme: Normal kalıpları öğrenerek sapmaları tespit edebilme
  • • Karmaşık Örüntüler: Verilerin daha karmaşık örüntülerini yakalayabilme
  • • Yüksek Doğruluk: Uygun eğitimle daha yüksek doğruluk oranları

Not: Açıklanabilir yapay zeka (XAI) tekniklerinin kullanımı, Autoencoder'lar gibi karmaşık modellerin şeffaflığını ve güvenilirliğini artırmak için önemli bir araştırma yönüdür.