Kısa tanım
Pekiştirmeli öğrenme, bir yazılım etmeninin çevresiyle etkileşerek deneme-yanılma yoluyla ödül sinyalini en üst düzeye çıkaracak davranış politikasını öğrendiği makine öğrenmesi yaklaşımıdır.
Ayrıntılı açıklama
Pekiştirmeli öğrenmede öğrenen birim "etmen" (ajan), etkileştiği ortam ise "çevre" olarak adlandırılır. Etmen her adımda çevrenin durumunu gözlemler, bir eylem seçer ve karşılığında sayısal bir ödül ya da ceza sinyali alır. Amaç, uzun vadede birikimli ödülü en üst düzeye çıkaran bir karar politikası geliştirmektir. Gözetimli öğrenmeden farklı olarak etmene doğru cevaplar etiketli örneklerle verilmez; doğru davranış, deneyim üzerinden keşfedilir.
Yaklaşımın kuramsal temeli Markov karar süreçlerine dayanır. Etmen, "keşif" ile "sömürü" arasında denge kurmak zorundadır: Yeni eylemleri denemek daha iyi stratejiler keşfettirebilirken, bilinen iyi eylemlere yönelmek kısa vadeli getiriyi güvence altına alır. Değer fonksiyonu tabanlı yöntemler her durumun ya da durum-eylem çiftinin uzun vadeli getirisini kestirmeye çalışırken, politika tabanlı yöntemler doğrudan davranış kuralını eniyiler. Derin sinir ağlarının bu çerçeveye eklenmesiyle ortaya çıkan derin pekiştirmeli öğrenme, yüksek boyutlu algı verisinden doğrudan karar üretmeyi mümkün kılmıştır.
Mühendislik pratiğinde eğitim genellikle benzetim (simülasyon) ortamlarında yürütülür; çünkü gerçek sistem üzerinde deneme-yanılma maliyetli ve risklidir. Benzetimde öğrenilen politikanın gerçek dünyaya aktarılması "simülasyondan gerçeğe transfer" problemi olarak bilinir ve ortam modelinin gerçeğe yakınlığı bu aktarımın başarısını belirler.
Savunma sanayii bağlamı
Savunma uygulamalarında pekiştirmeli öğrenme; otonom platformların güdüm ve manevra davranışları, kaynak tahsisi, görev planlama ve karar destek benzetimleri gibi alanlarda araştırma konusudur. İnsansız sistemlerin karmaşık ve belirsiz ortamlarda uyarlanabilir davranış sergilemesi hedeflenirken, doğrulama, açıklanabilirlik ve insan denetiminin korunması temel tasarım gereklilikleri olarak öne çıkar. Türk savunma sanayiinde de yapay zekâ ve otonomi başlıkları altında bu alanda çalışmalar yürütülmektedir.
İlgili kavramlar
Makine öğrenmesi · Derin öğrenme · Otonom seyrüsefer · Karar destek sistemi · Sürü zekâsı