Makine Öğrenmesi, Karmaşık KDD'lerdeki Gizli Fonksiyonları Ortaya Çıkarıyor

Denklemlerin içindeki görünmeyen manzaraları öğrenen sinir ağları

Bu hafta bir grup matematikçi ve mühendis, makine öğrenmesinin; ısıyı, akışkanları, popülasyonları ve daha fazlasını tanımlamak için kullanılan matematiksel iş yükleri olan kısmi diferansiyel denklemlerin (PDE) içinde yer alan bilinmeyen fonksiyonları nasıl doğru bir şekilde geri kazandığını gösteren bir yöntem yayımladı. Oxford Üniversitesi'nden araştırmacıların öncü katkıları ve Kanada'daki iş birlikçileriyle birlikte çalışan ekip, bilinmeyen uzamsal fonksiyonun bir vekili olarak PDE'nin içine doğrudan bir sinir ağı yerleştiriyor ve tüm sistemi gözlemlenen kararlı durum verilerine karşı eğitiyor. Sonuç sadece uydurulmuş bir sayı veya parametre değil; modelin PDE'nin anlamlı olduğu her yerde değerlendirebileceği bir fonksiyondur ve eksik denklemleri işleyen tahmine dayalı modellere dönüştürür.

Bu ilerleme, uzun süredir devam eden bir ters problemi ele alıyor. Pek çok gerçek dünya PDE'si, doğrudan ölçemediğimiz terimler içerir — çevresel bir uyarıcı, bir popülasyon modelinde uzamsal olarak değişen bir etkileşim çekirdeği veya bir akış alanındaki heterojenlik — ve bu gözlemlenemeyen fonksiyonlar tahmini imkansız hale getirir. Araştırmacılar, eksik parçanın yerine bir sinir ağının geçmesine izin vererek ve ileri modelin çıktısının gözlemlenen durumlarla nasıl eşleştiğini optimize ederek, gürültülü ölçümlerin türevini almak gibi önceki yaklaşımlarda yaygın olan bazı hassas adımları devre dışı bırakıyor. Kayıp fonksiyonları bir sabit nokta kalıntısını en aza indiriyor — bu da ileri modelin sayısal olarak hesaplanan kararlı durumunu verilerle eşleşmeye zorlayarak eğitimi stabilize ediyor ve sert veri ön işleme ihtiyacını azaltıyor.

Makine öğrenmesi PDE'lere gömülü fonksiyonları nasıl doğru bir şekilde geri kazanıyor

Temel teknik hile fikir olarak basit, pratikte ise hassastır. Ekip, birkaç skaler katsayıyı ayarlamak yerine, bilinmeyen uzamsal terimi ayarlanabilir ağırlıklara sahip bir sinir ağı olarak temsil ediyor. PDE çözücü ve ağ birleştirilmiştir: çözücü, aday bir fonksiyonu kararlı durum çözümüne eşler ve eğitim döngüsü ağı, PDE çözümü ölçümlerle uyumlu olacak şekilde yönlendirir. Bu, fiziksel kısıtlamaların tamamen sıfırdan öğrenilmek yerine mimariye dahil edildiği, fizik destekli öğrenme (physics-informed learning) olarak bilinen daha geniş bir yöntem ailesinin bir örneğidir.

Pratikte kullandıkları optimizasyon hedefi — sabit nokta kalıntı normu — ileri modelin dengeleri için tam olarak sıfıra iner. Bu önemlidir çünkü ters problemlerde yaygın bir kararsızlık kaynağı olan gürültülü gözlem verilerinin sayısal türevlerini almaktan kaçınır. Ayrıca prosedürü seyrek, düzensiz örneklenmiş ölçümlerle uyumlu hale getirir: ekip, gözlemlerin altta yatan fonksiyonun çözüm üzerindeki etkisi hakkında yeterince bilgilendirici olması koşuluyla, geri kazanımın şaşırtıcı derecede az veriyle çalıştığını gösteriyor. Bu fikrin varyasyonları halihazırda diğer alanlarda da görülüyor: rezervuar akış simülasyonları için hibrit kuantum-klasik fizik destekli sinir ağları önerilirken, türevlenebilir algoritmik modeller kombinatoryal problemlere garanti ve ölçek getiriyor. Bu gelişmeler aynı temayı paylaşıyor — kara kutu modellerin serbestçe dolaşmasına izin vermek yerine öğrenmeye rehberlik etmek için fizikten veya algoritmadan gelen yapıyı kullanmak.

Makine öğrenmesi perspektifinden bakıldığında bu, tüm operatörlerin sembolik regresyonundan ziyade fonksiyonel düzeyde bir denklem keşfidir. Sinir ağları evrensel yaklaştırıcılar olarak işlev görür: yeterli kapasite ve doğru tümevarımsal yanlılık verildiğinde, aksi takdirde ısmarlama parametreleştirmeler gerektirecek pürüzsüz bilinmeyen fonksiyonları temsil edebilirler. Eğitim, şu soruyu sorarak bu fonksiyonları çıkarır: PDE'ye yerleştirildiğinde gözlemlediğimiz verileri hangi manzara üretir? Sembolik çıkarımın gerekli olduğu durumlarda araştırmacılar, insan tarafından okunabilir ifadeler üretmek için fonksiyonel geri kazanımı bir model sıkıştırma veya seyrek regresyon adımıyla takip edebilirler, ancak anlık çıktı — yeni noktalarda değerlendirebileceğiniz işleyen bir fonksiyon — zaten değerli bir bilimsel çıktıdır.

Makine öğrenmesinin doğru şekilde geri kazandığı sınırlar — tanımlanabilirlik, gürültü ve veri tasarımı

Vaatler bir yana, yöntemin net sınırları vardır. Ekip, kesin ve gürültüsüz simülasyonlarla başarıyı gösterdikten sonra, performansın gerçekçi kusurlarla nasıl düştüğünü araştırıyor. İki konu öne çıkıyor: yapısal tanımlanabilirlik ve ölçüm gürültüsü. Yapısal tanımlanabilirlik, PDE-veri çiftinin analitik bir özelliğidir: bazı fonksiyonlar, gözlemlenen çıktıları değiştirmediği için belirli bir gözlem kümesinden benzersiz bir şekilde belirlenemez. Araştırmacılar, tek bir kararlı durum anlık görüntüsünün genellikle yetersiz olduğunu vurguluyor; ters problemi kısıtlamak için normalde en az iki bağımsız çözüm veya farklı sistem tepkilerini inceleyen bozulmalar gerekiyor.

Gürültü ve seyrek örnekleme meseleyi daha da karmaşıklaştırıyor. Geri kazanım, sentetik testlerinin çoğunda seyrek örnekleme altında uygulanabilir olmaya devam ediyor, ancak gözlem gürültüsü arttıkça doğruluk düşüyor. Hassasiyet probleme göre değişir: bazı PDE'ler ölçüm hatalarını öngörülebilir şekillerde büyütürken, diğerleri bunları ortalar. Bu, pratik uygulamaların deneysel tasarıma çok dikkat etmesi gerektiği anlamına gelir: nerede ve ne zaman örnekleme yapılacağı, birden fazla bilgilendirici çözümün nasıl oluşturulacağı ve ağın sinyal yerine gürültüye uymasını önlemek için eğitime hangi düzenlileştirme terimlerinin dahil edileceği.

Güvenilirlik katmanlı bir sorudur. Makine öğrenmesi, üç bileşen birleştiğinde gizli fonksiyonları doğru bir şekilde geri kazanır: bilinmeyen fonksiyonun gözlemlenebilir çözüm üzerinde bir izi olduğunda, eğitim protokolü doğru fiziksel kısıtlamaları kodladığında ve veri örneği alternatif açıklamaları dışlamak için çözüm manifoldunun yeterli kısmını kapsadığında. Bu koşullar başarısız olduğunda, geri kazanılan fonksiyonlar yanıltıcı bir şekilde makul ama yanlış olabilir. Çalışmanın başarısızlık modlarını sistematik olarak incelemesi, belirsiz uyarıları uygulayıcılar için test edilebilir teşhislere dönüştürdüğü için tam olarak faydalıdır.

Teknikler, araçlar ve tamamlayıcı yaklaşımlar

Makale, büyüyen bir denklem keşfi yöntemleri araç kutusu içinde yer alıyor. Fizik destekli sinir ağları (PINN'ler) ve bunların kuantum-klasik hibritleri bir ailedir: diferansiyel operatörleri kayba dahil ederler ve özellikle yönetici PDE bilindiğinde ancak bazı terimler bilinmediğinde caziptirler. Mesaj ileten graf sinir ağları, örneğin malzemelerde veya ağa bağlı ekolojik sistemlerde kesikli yapılara sahip problemler için farklı bir bakış açısı sunar ve algoritmik garantileri devralacak şekilde tasarlanabilir. Sembolik regresyon teknikleri — seyrek regresyon, temel takibi ve diğer tutumlu model keşfi yöntemleri — hedef sayısal bir vekil yerine yorumlanabilir bir analitik ifade olduğunda değerli kalmaya devam eder.

Öğrenilen fonksiyondan sembolik ifadelerin çıkarılması aktif bir araştırma alanıdır. Uygulayıcılar genellikle iki aşamalı bir boru hattı kullanırlar: önce verilere uyan esnek bir sinirsel vekil öğrenilir, ardından kompakt bir analitik form elde etmek için bu vekil seyrek uydurma veya budama adımıyla işlenir. Bu hibrit iş akışı her iki dünyanın en iyilerini birleştirir — gürültü ve karmaşıklıkla başa çıkmak için sinir ağlarının esnekliği ve bilim insanlarının analiz edip doğrulayabileceği sembolik modellerin yorumlanabilirliği.

Ekoloji, malzeme ve akışkanlar mekaniği alanındaki uygulamalar

Bunun önemi şudur: Eğer makine öğrenmesi bir modelin görünmeyen parçalarını doğru bir şekilde geri kazanırsa, tanımlayıcı anlık görüntüleri tahmine dayalı araçlara dönüştürebilirsiniz. Ekolojide, bilinmeyen fonksiyon çevresel bir alan veya popülasyon kümelenmesini şekillendiren bir etkileşim çekirdeği olabilir; bunu geri kazanmak, yöneticilerin tür dağılımlarını yeni koşullar altında tahmin etmelerini sağlar. Malzemelerde ve yoğun madde modellerinde, değişken iletkenlik gibi uzamsal heterojenlikler sıklıkla makroskobik davranışı belirleyen bilinmeyenlerdir ve geri kazanılan bir fonksiyon tasarım ve kontrol için doğrudan bir girdi sağlar. Bu yaklaşım ayrıca, akış PDE'lerini çözerken fiziksel sadakati korurken hesaplama maliyetini düşürmek için hibrit kuantum-klasik PINN'lerin önerildiği rezervuar mühendisliğindeki çalışmaları da tamamlamaktadır.

Bu alanlar genelinde yöntem, veri toplama ile model dağıtımı arasındaki sürtünmeyi azaltır. Bilim insanları, fiziği sıfırdan yeniden inşa etmek veya fenomenolojik terimlere aşırı uyum sağlamak yerine, yapının öğrenmeye rehberlik etmesine izin verebilir ve yine de kullanılabilir, değerlendirilebilir modeller elde edebilirler. Pratik kazanımlar, deneycilerin yöntemin ihtiyaç duyduğu çoklu, bilgilendirici sistem tepkilerini ne kadar iyi oluşturabileceğine ve eğitimi gerçekçi gürültü ile modelleme hatasına karşı sağlam hale getirmek için devam eden çalışmalara bağlı olacaktır.

Kaynaklar

• ArXiv (ön baskı: Learning functional components of PDEs from data using neural networks)
• Matematik Enstitüsü, Oxford Üniversitesi (Torkel E. Loman, Jose A. Carrillo, Ruth E. Baker)
• Matematik, Fizik ve Jeoloji Bölümü, Cape Breton Üniversitesi
• Mühendislik Bölümü, Oxford Üniversitesi
• Yangtze Üniversitesi; Kral Abdullah Bilim ve Teknoloji Üniversitesi (Kuantum-Klasik PINN rezervuar simülasyon çalışması)
• RWTH Aachen Üniversitesi; TU Münih; MIT; Köln Üniversitesi (algoritmik problemlere graf sinir ağı yaklaşımları)