Karmaşıklık (Bölüm 5) (Ateşan Aybars, 21 Mart 2021)

 

Karmaşık sistemler ve enformasyon 

Enformasyon. Karmaşık sistemler kendiliğinden örgütlenen yapılardır. karıncaların örgütlenerek önlerine çıkan engelleri aşması, beyinde tek tek nöronların elektro-kimyasal etkileşimi ile ortaya çıkan beyin mucizesi, bağışıklık sisteminin düşman hücrelere karşı askeri ordudan daha etkili, amansız savaşı, düzensizlikten düzene geçiştir. Düzen sağlandığında sistemin entropisi azalır. Oysaki açık sistem olarak evrende kozmik kumarhane gibi entropi her zaman kazanır. Karmaşık sistemler üzerine kafa yoran bilim insanları düzen ve düzensizliği ifade etmek için entropinin dikotomik karşıtı olan enformasyon deyimini kullanırlar. Enformasyon ne demektir? Günümüzde enformasyon sözcüğü ile sık sık karşılaşıyoruz. Enformasyon çağı, enformasyon teknolojisi (IT), enformasyon otoyolu vs. Halk arasında televizyon, gazete, internet ya da karşılıklı konuşmaları bilgi (enformasyon) olarak adlandırır ve anlamlandırırız. Teknik olarak enformasyon kablolu yayın, fiber optik, bilgisayardan diğer bilgisayara sinyal iletişimi ile çeşitli konuların ifade edilmesidir. Bilgisayarların hayatımıza girdiği günden bu yana bilgisayar mühendisleri, enformasyon ve veri işlemenin (data processing) sadece elektronik devrelerde yapılmadığını ama canlı sistemlerde de gerçekleştiğini düşünüyorlardı. Bu sistemlerde bilgi işlem ve data processing konularının anlaşılması için önce bir kaç ilgili tanım anlaşılmalı

Enerji, İş ve Entropi. Enformasyon üzerine çalışmalar termodinamik kavramı ile başladı. 19. yüzyıl fizikçileri tüm evrenin enerji ve maddeden oluştuğunu düşünüyorlardı. Enerji tanım olarak bir sistemin iş yapabilme yetisini gösterir. Zemine paralel bir F kuvveti cisme yol aldırabiliyorsa iş yapıyor demektir. Yapılan iş, kuvvet ile yolun çarpımına eşittir. İş W sembolü ile gösterilirse, W = F. x (Newton metre = joule) olur. Örnek olarak, düz bir yolda bozulan otomobilin itilmesine bakalım. Vücudun potansiyel enerjisi otomobilin kinetik enerjisine (hareket) dönüşür ve enerjinin sakınımı yasasına göre dönüşen enerji yapılan iş ve ısı kaybının toplamına eşit olmalıdır. Burada ısı kaybı tekerleklerin sürtünmesi, vücut terlemesi gibi kayıpların toplamıdır. Tekrar işe dönüştürülemeyen ısı kaybının ölçüsü termodinamiğin ikinci yasası olarak bilinen entropidir. Zaman oku olarak da bilinen entropi yasası tüm fizik yasaları arasında tek yönlüdür, tersinir değildir. Dışarıdan enerji alamayan kapalı sistemlerde her zaman düzensizlik artar, entropi kazanır. Enerji yitirgen (dissipative) açık sistemlerin, düzensizliğe karşı dışarıdan enerji alarak denge sağlamaya çalışması entropiye karşı sadece direniştir. 

Maxwell’in şeytan paradoksu. Elektrik ve manyetizmayı mükemmel denklemler ile birleştiren teorisi ile bilinen James Clerk Maxwell, 1871 yılında yayınlanan “Theory of Heat” isimli kitabının “Limitation of the Second Law of Thermodynamics” kısmında bir paradokstan bahseder ve bu paradoksu düşünce deneyi ile açıklar. Şekil 1.1.1. 

Deneye göre, çevresi ile enerji alış verişi olmayan ve eşit sıcaklıkta iki bölümü olan bir kutu ele alınır. Kutunun hayali bir şeytan tarafından kontrol edilen menteşeli (sürtünmesiz açılıp kapanabilen) bir kapağı vardır ve şeytan bu kapağı açıp kapayarak enerjisi yüksek, hızlı hareket eden molekülleri sol bölümde yavaş hareket eden molekülleri sağ bölümde toplayacak şekilde kapıyı gerektiği gibi açıp kapatarak tüm hızlı moleküller sol bölümde tüm yavaş olanlar ise sağ bölümde toplanırlar. Başlangıçta entropisi yüksek olan dağınık durum, şeytanın düzenleyici çabasıyla değişmiş ve sistemin entropisi azalmıştır.

 

Şekil 1.1.1 Maxwell’in şeytan paradoksu düşünsel deney kutusu.

Termodinamiğin ikinci yasasına göre bir sistemin entropisinin azalması için sisteme enerji vermek, iş yapmak gerekir. Şeytan tarafından nasıl bir iş yapıldı? Maxwell şeytanın kontrol ettiği kapağın kütlesiz ve sürtünmesiz olduğunu, şeytanın başka bir iş yapmadığını varsaydığına göre entropi nasıl azaldı? Termodinamiğin ikinci yasası ihlal edilmiş olmuyor mu? Maxwell’in şeytanı 19. yüzyıl hatta 20. yüzyılda önde gelen bilim adamlarının kafasını karıştırmıştı. Maxwell’in bu paradoksa kendi cevabı ise entropi yasasının yasa olmaktan çok istatistiksel bir olgu olduğu şeklindeydi. Ancak, fizikçilerden öfkeli tepkiler geldi. Termodinamiğin ikinci yasasının ihlal edilemeyeceği, sorunun şeytan ile ilgili olduğu düşünülüyordu. 

Birçokları bu paradoksu çözmek için 60 yıl boyunca uğraştılar ama 1929 yılına kadar çözüm öneremediler. Hamle, 1929 yılında Macar asıllı fizikçi Leo Szilard’dan geldi. Çözüm, şeytanın zekâsı. Şeytan kapağı rastgele açıp kapayamaz, her bir molekülü doğru yönlendirmek için tek tek hız ve pozisyonlarını bilmek zorundadır ve bunun için hafızasında enformasyonu (bilgi) artırmak durumundadır, yani şeytanın hafızasındaki enformasyonun artan entropisi, moleküllerin tasnif edilmesi nedeniyle kutunun azalan entropisini karşılamaktadır. Ancak, şeytanın hafızası (kapasitesi) sınırlıdır, tamamen dolduğunda bilginin bir kısmını silmek zorundadır (Rolf Randauer’in önermesi) ve bunu yaparken harcadığı enerji çevrenin (evrenin) entropisini azaltır. 

Enformasyonun silinmesi canlı cansız (nöron, yarı iletken lojik devreler, elektron kuvantum durumları vs.) her şey için geçerlidir. Böylece tüm sistem (kutu, moleküller ve şeytan) ikinci termodinamik yasaya göre uygun davranmış olacaktır. Termodinamiğin ikinci yasasının geçerliliğini korumaya devam etmesi tüm bilim insanlarının rahat bir nefes almasını sağlamıştır. Maxwell’in şeytanı ve moleküller ile ilişkisi 20. yüzyıl başında kuvantum fiziğinin gelişmesine (gözlemcinin deneyin parçası olması) yol açmıştır.

Şeytan paradoksu zaman içinde çeşitli yorumlardan sonra geçerliliğini korudu ama Szilard, ilk defa entropi ile enformasyon arasında bağlantıyı kurarak enformasyon teorisinin temelini atan ilk bilim insanı oldu. 

İstatistiksel Mekanik. Ludwig Boltzman, bu konuda çalışmaları ile istatistiksel mekaniğin kurucusu olarak bilinir. Klasik mekanik disiplinine göre bütün sistemlerin hareketi (molekül, ısı vs.) Newton yasalarına göre teorik olarak hesaplanabilir ama trilyonlarca molekülün tek tek davranışlarını hesaplamak çok zordur ya da mümkün değildir. İstatistiksel termodinamik ve mekanik tek tek moleküllerin davranışını hesaplamak yerine “mikro durum” denilen molekül kümelerinin ortalama davranışlarını hesaplamaya çalışır. Ancak, istatistik yaklaşımın bir problemi var. Nitekim dönemin önde gelen bilim insanları tarafından S. Boltzman’ın çalışmalarının kabul görmemesi 1906 yılında Boltzman’ı intihara kadar sürüklemişti. 

İstatistiksel yaklaşım makro sistemin olası davranışlarını açıklar ama mikro sistemlerin olasılık olarak sağduyuya karşı gelen konfigürasyonları olabilir. Örneğin, bir oda içinde hava molekülleri rastgele hareket ederler (maksimum entropi) ve oda içinde herkes rahatlıkla nefes alabilir. Ancak, istatistiksel mekaniğe göre hava moleküllerinin tümü çok ama çok düşük bir olasılıkla da olsa odanın bir köşesinde toplanabilirler. Böyle bir köşede bulunan bir insan hava basıncından ölebilir, odanın diğer bölgesinde olan bir insan ise havasızlıktan ölür. Gerçekte böyle bir olasılık hiç yaşanmadı ama Newton yasasına göre böyle bir olasılığın olamayacağından söz edilemez. L. Boltzman, yeterli ölçüde mikro sistemlerin (molekül kümeleri) ortalamasının her zaman doğru sonuç vereceğini iddia etmesine rağmen önceleri fazla ilgi görmedi ama kısa süre sonra kuvantum fiziğinin öncülerinden M. Plank, “mor ötesi felaketi” çaresizliğinden L. Boltzman’ın entropi ve olasılık fikirlerine başvurarak kurtulabildi. Sistemin bütününün “makro durum” davranışı S. Boltzman denklemi (S = k . Log W) ile ifade edilir.

Özetle, klasik mekanikte Newton hareket denklemleri ile sistemin davranışı hesaplanır. Termodinamik ise ısı, enerji, entropi gibi makro durum yasalarını belirler. İstatistiksel mekanik her ikisi arasında köprüdür, mikro durumlardan kaynaklanan makro durumların davranışlarını inceler.

Shannon enformasyonu. 1940’lı yıllarda telefon ve telgrafın keşfi ardından Claude Shannon, S. Boltzman’ın istatistiksel dinamik fikrini iletişim alanına uygulamak istedi. AT&T şirketinde çalışırken telefon ve telgraf hatları üzerinden data iletim problemini hızlı ve güvenli şekilde çözmek için kolları sıvadı. 

Bilgi teorisinin temel fikri, bir iletinin bilgi değeri o iletinin içeriğinin ne kadar şaşırtıcı olduğuna bağlıdır. Beklentiler çerçevesinde açıklanan bir veri, rapor vs. fazla ilgi çekmez, şaşırtıcı değildir, enteresan da değildir, sıkıcıdır, sürpriz yoktur. Dolayısıyla, böyle bir ileti çok az yeni bilgi taşır. Oysa bir olayın gerçekleşme olasılığı sürpriz bir şekilde düşükse, çok daha bilgilendiricidir. Örneğin, herhangi bir sayının piyangoda kazanma şansı düşüktür, bilgi içeriği çok azdır, ama belirli bir sayının piyango kazanacağı (her nasılsa) bilgisi değerlidir, çünkü çok düşük bir olasılık konusunda bilgi verir, şaşırtır. 

Entropi-enformasyon (negentropi) ilişkisini vurgulamak için tekrar madeni parayı ele alalım. Termodinamik entropi herhangi bir durumun düzensizliğinin ölçüsü olarak tanımlanmıştı. Madeni paranın (hilesiz) yazı ya da tura gelme olasılığının aynı olması madeni paranın entropisinin maksimum olması demektir. Yazı ya da tura geleceğini önceden bilemeyiz. Seçim yapılmasının da ortalama bir avantajı yoktur, her seferinde bir öncekinden bağımsız sonuç olduğundan her iki olasılık da aynıdır. Shannon, yazı-tura atmanın bir bit entropisi olduğu varsayarak başlar (sonucu önceden kestirmek için bir bit enformasyon yeterli). Ama madeni paranın iki yüzü tura olarak tasarlanırsa hep tura geleceğinden entropisi sıfır olur ve sonuç kesin olarak bilinir (sürpriz yok). Shannon’un enformasyon içeriğinin Boltzman’ın entropi tanımıyla aynı olduğu görülüyor. Shannon 1948 yılında yazdığı makalede enformasyon içeriğinin ileti gönderenin entropisi olarak tanımlamıştı (Shannon entropisi). İçerik bir harf, kelime veya cümle olabilir. 

Boltzman Entropi	Shannon Entropi (Information)
Mikro durumlar: Makro durumların alt kümesi	Mesaj: Sembol, numara veya kelime
Makro durumlar: Mikro durumların toplamı	Mesaj kaynağı: Bir dizi olası mesaj içinde her bir mesajın olasılığı
Entropi S: Tüm alt kümelerin herhangi bir konumda bulunma olasılığı eşit. S (macro durumlar) = k log W  Joules per Kelvin (J/K).	Informasyon içeriği H: Olası mesaj sayısı M ise (tüm mesajların olasılığı aynı)  H (mesaj kaynağı) = log2 M H, mesaj başına bits olarak ölçülür.

Tablo 1.1 Termodinamik entropi ile enformasyon entropisinin karşılaştırılması.

Bilgi işlem (Computation). Bilgisayarın icadından bu yana bilginin işlenmesinde bir hayli yol alındı. Günümüz bilgisayar mimarisinde bilgi işlenmesi genel olarak CPU etrafında hafıza elemanları kullanılarak yapılır ve sonuç çıktı olarak elde edilir. Son yıllarda evrensel (universal) bilgi işlenmesi konusunda daha karmaşık sistemlerin çözümüne yönelik çalışmalar hızla ilerliyor. Evrensel bilgi işlenmesinde (programlanabilir bilgisayar), girdi olarak bilgi yerine karmaşık sistemlerin çözümüne ilişkin yazılımın bütününün kullanılması amaçlanıyor. Ancak, bu tür bilgisayarlar bile her şeyi çözebilirler mi, sınırları var mı?  Bu sorular henüz matematiksel cevap bekliyor.

Ateşan Aybars (21 Mart 2021)

__________________________________

¹ Complexity A Guided Tour, Kindle edition s.43. Melanie Mitchell.  

https://en.wikipedia.org/wiki/Maxwell%27s_demon

² Complexity A Guided Tour, Kindle edition s.47. Melanie Mitchell.  

https://en.wikipedia.org/wiki/Ludwig_Boltzmann 

³ Complexity A Guided Tour, Kindle edition s.51. Melanie Mitchell.  

https://en.wikipedia.org/wiki/Claude_Shannon  (1916-2001)