Merhaba, iyi günler.
Bugün; insan dilini bilgisayarların anlayıp işleyebileceği bir forma dönüştürerek metin analizi, dil modelleme ve duygu analizi gibi alanlarda hem karmaşık dil yapılarını çözümleyen; hem de kullanıcı deneyimini iyileştiren Doğal Dil İşleme (NLP – Natural Language Processing) teknolojisinin temel prensip ve uygulamalarına yönelik notlarımı paylaşacağım.
Şimdiden iyi okumalar.
NLP – DDİ Nedir?
Öncelikle; Doğal Dil nedir?
Doğal Dil; veya Tabii Dil, kullanıcılar tarafından bilinçli bir plânlama olmaksızın tekrar edilerek evrilmiş dildir.
Bu diller; bilinçli bir planlama olmaksızın, toplumlar tarafından zamanla şekillenmiş ve kültürel etkileşimlerle zenginleşmiştir.
Örneğin; Türkçe, İngilizce, Fransızca gibi diller, doğal dillere örnek olarak verilebilir.
Hedefimizdeki kavram ise;
NLP – DDİ (Natural Language Processing – Doğal Dil İşleme); bilgisayarların insan dilini algılamasını, anlamlandırmasını ve anlamlı sonuçlar üretebilmesini sağlayan bir makine öğrenimi teknolojisidir.
İlgili terminolojik kavram; literatüre ilk olarak [1950]’lerde yapay zeka araştırmalarının başlangıcıyla birlikte, bilgisayarların doğal dili işleyebilme potansiyelini inceleyen çalışmalarla girmiştir.
Ve sonrasında; çığ gibi büyüyen teknolojik devrimler, bir biri ardına gelmiştir.
Bu teknolojinin tam olarak; anlamlı halde ifade edilebilmesi için; gelişimlere ve araştırma nedenlerine göz atmak gerekmektedir.
Öyleyse; başlayalım…
*Görsel ve özgeçmiş kaynağı Wikipedia.
Bu çalışmaların temellerini, bilgisayar biliminin kurucusu kabul edilen; İngiliz matematikçi, bilgisayar bilimcisi ve kriptolog olan Alan Mathison Turing atmıştır.
[1950] yılında Alan Turing, Computing Machinery and Intelligence (Hesaplama Makineleri ve Zeka) başlıklı makalesinde, makinelerin düşünebilme yetisini sorgulayarak Turing Testi‘ni tanıtmıştır.
Imitation Game – İmitasyon Oyunu
Bu test; bir makinenin insan dilini ne ölçüde anlayıp, anlam üretebildiğini değerlendirmeyi amaçlar.
Ve; Doğal Dil İşlemenin temelleri atılır.
İmitasyon Oyunu; bir insan sorgulayıcı ve iki oyuncu (Bir insan ve bir makine.) arasında oynanır.Sorgulayıcı yalnızca, yazılı sorular ve cevaplar yoluyla; hangisinin insan olduğunu tahmin etmeye çalışır.Makinenin amacı ise; sorgulayıcıyı yanıltmaktır.
Oyunu, alt kısımdaki görselleştirme ile de somutlaştırabiliriz;
Bu; Standart (Temel) Turing Testi olarak ifade edilmektedir.
Temel Turing testinin yanı sıra; Meta Turing Testi, Adaptif Turing Testi, Evrimsel Turing Testi vb. farklı amaç ve hedef problemli varyasyonlarıda bulunmaktadır.
Temel teste yönelik ise, makinelerin düşünme yetisi ile ilgili sıkça öne sürülen dokuz ana itiraz tartışılmaktadır;
- Teolojik İtirazlar: Düşünmenin ruhla sınırlı olduğu iddiası.
- “Kafamızı Kuma Gömmek” İtirazı: Makinelerin düşünebilmesi korkutucu sonuçlar doğurabilir.
- Matematiksel İtirazlar: Gödel’in teoremi gibi matematiksel sınırlar*, makinelerin sınırlamalarını gösterir.
- Bilinç Argümanı: Makinelerin insan benzeri duygusal ve bilinçli hisler yaşaması gerektiği savunulur.
- Belirli Yeteneksizlikler: Makinelerin espri yapamama, hata yapamama gibi belirli eksiklikleri olduğu iddia edilir.
- Lady Lovelace İtirazı: Makinelerin yeni bir şey yaratamayacağı* iddiası.
- Sinir Sistemi Sürekliliği Argümanı: İnsan sinir sisteminin sürekli doğası, ayrık durum makinelerinden farklıdır.
- Davranışın Biçimsizliği Argümanı: İnsan davranışlarının kurallarla tamamen açıklanamayacağı öne sürülür.
- Ekstra Duyusal Algı (ESP): Paranormal yeteneklerin makinelerde taklit edilemeyeceği savunulur.
Bazı itirazlar üzerinde yoğunlaşacak olur ve öncelikli olarak;
“Gödel’in teoremi gibi; matematiksel sınırlar…”
ifadesini, irdelersek;
*Görsel ve özgeçmiş kaynağı Wikipedia.
Kurt Gödel; Avusturyalı-Amerikalı mantıkçı, matematikçi ve matematik felsefecisidir.
Kendi ismiyle anılan; Gödel’in Eksiklik Teoremi ile tanınmaktadır.
Aristoteles’ten bu yana en büyük mantıkçılardan biri olarakta kabul edilmektedir.
- Makinelerin Sınırlılıkları:
Gödel’in teoremi, dijital bilgisayarların belirli problemleri çözme kapasitesinin sınırlı olduğunu gösterir.
Örneğin; bir makine, bir matematiksel sistem içindeki tüm doğruları keşfedemez.Ancak insanlar; bazen sistemin dışına çıkarak, bu eksiklikleri algılayabilir. - İnsan Zekasının Farkı:
Gödel’in teoremi; insan zihninin makinelerden farklı ve daha güçlü bir yapıya sahip olduğu argümanında kullanılır.İnsanların; Gödel’in eksikliklerini “görebildiği” ve bu eksiklikleri çözmek için sistemin dışına çıkabildiği öne sürülür. - Turing Testi Üzerindeki Etki:
Gödel’in teoremi, makinelerin “düşünme” kapasitesinin sınırlarını anlamada kritik bir rol oynar.Bir makinenin Turing Testi’ni geçmesi; matematiksel olarak eksiksiz bir sistem yaratabileceği anlamına gelmez.
Aşırı soyut; felsefi kavramlar.
Bu kavram yanılsamalarını, bir örnek ile örneklendirecek olursak;
Gödel’in teoreminin bir sonucu olarak, bir makineye şu soruyu sormak mümkün:
“Bu sistemin içindeki bir cümle olarak, ‘Bu cümle kanıtlanamaz’ ifadesi doğru mudur?”
- Eğer makine, “Doğru” derse; bu, cümlenin sistem içinde kanıtlanabileceği anlamına gelir ve teoreme aykırıdır.
- Eğer “Yanlış” derse; cümlenin kanıtlanamaz olduğu anlamına gelir ve bu da sistemin eksik olduğunu doğrular.
Gödel’in teoremi; makinelerin düşünme ve problem çözme kapasitesine dair önemli sınırlar çizer ve bu nedenle hem felsefi, hem de teknik tartışmaların merkezinde bir rol oynar.
Ek kaynak için; marcosmucheroni.pro.br bloğu yazısını inceleyebilirsiniz.
***
Farklı bir bakış açısındaki itiraz ile devam edecek olur ve;
“Makinelerin yeni bir şey yaratamayacağı…”
ifadesini, irdelersek;
*Görsel kaynağı Eveprogramme, özgeçmiş kaynağı Wikipedia.
Augusta Ada King, Lovelace Kontesi Augusta Ada Byron adıyla doğan ve günümüzde yaygın olarak Ada Lovelace adıyla bilinen; İngiliz matematikçi ve yazardır.Makine hakkındaki notları; bir bilgisayar tarafından işlenmek üzere yazılan, ilk algoritmayı içermektedir*. (Note G) Bundan dolayı genel kanı; dünyanın ilk bilgisayar programcısı olduğudur.
Note G; varsayımsal analitik motoru kullanarak, Bernoulli sayılarını hesaplamak için tasarlanmış bir bilgisayar algoritmasıdır.
Not G; aslen, Charles Babbage‘ın İcat Edilen Analitik Motor Taslağı‘nda yayınlanmıştır.
Lady Lovelace İtirazı; yapay zeka felsefesinde sıkça tartışılan bir argümandır ve temeli Ada Lovelace’ın, Charles Babbage’ın tasarladığı Analitik Motor hakkında yazdığı yorumlardan kaynaklanır.
Analitik Makine, Charles Babbage‘ın tasarladığı mekanik bilgisayar;
Lovelace; bilgisayarların yalnızca kendilerine verilen talimatları yerine getirebileceğini ve bu talimatların ötesinde herhangi bir şey yaratamayacağını öne sürmüştür.
Analitik Motor hakkında ise;
Analitik Motor; ona nasıl emir verilirse onu yapabilir.
Kendi başına hiçbir şey yaratma yetisi yoktur.
ifadesini kullanmıştır.
Bu ifade, modern terimlerle ifade edilecek olursa; makinelerin veya bilgisayarların yaratıcı bir zeka sergileyemeyeceği, yalnızca insanlar tarafından önceden tanımlanmış kurallar ve programlar çerçevesinde çalışabileceği anlamına gelir.
Kronolojik olarak, bilimsel gelişmelerin değerlendirilmesi ile; zamanının bakış açısı içerisinde sergilenmiş ifadeler.Belki de kasıt yakın tarihlerdi…
***
Söz konusu; makinenin, insanın yaptığını yapabilecek olması.
İddialar; sadece Turing makinesi testleri/deneyleri ile sınırlı kalmadı.
Aslında, gözden kaçan ya da göz ardı edilen şey; makinelerin çıktılarının her zaman insan müdahalesiyle şekillendiği, dolayısıyla hiçbir zaman “Bağımsız” bir yaratıcı eylem sergileyemeyeceğidir.
***
Zaman makinamızda yolculuğa devam ediyoruz.
[1954] Georgetown Üniversitesi ve IBM şirketi; makine çevirisinin erken dönem potansiyelini göstermek ve bilgisayarların dil işleme kapasitelerini test etmek amacıyla; diller arası çeviri sistemleri üzerine çalışmalara başladı.
Hedef işlem ise; “Rusça cümlelerin, İngilizceye otomatik çevirmek.“
Yatırımlar ve çalışmalara hızla başlandı;
İlk test çıktısı alınmıştı bile;
Deney sırasında; 250 kelimelik sınırlı bir kelime dağarcığıyla, belirli cümleler başarıyla çevrildi.Bu; tam anlamıyla kapsamlı bir makine çevirisi olmasa da, makine çevirisi teknolojisinin mümkün olabileceğini gösterildi.
Testin;
- Olumlu Etkisi: Deney; makine çevirisi araştırmalarına olan ilgiyi artırdı ve bu alana yapılan yatırımları tetikledi.
- Sınırlamaları: Dilin karmaşıklığı ve anlamı; doğru bir şekilde modelleme zorlukları nedeniyle gerçek anlamda, yüksek kaliteli makine çevirisi teknolojisine ulaşmak onlarca yıl aldı.
Göz önünde olmayan ve kaynaklara doğrudan girmemiş; “Soğuk Savaş bağlamında stratejik bir araç geliştirme.” amacıda, sözlü olarak beklentiler arasında ifade edilmekteydi.
[1960] Joseph Weizenbaum; belirli kalıplara dayalı olarak, insanlarla sohbet edebilen ilk program Eliza‘yı tanıtır.
ELIZA’nın en bilinen uygulaması, Doktor Modu senaryosudur.
Program; bir Rogerian psikoterapisti gibi davranarak, kullanıcıların söylediklerini yeniden ifade eder ve sohbet/diyalog devamı için kullanıcıyı teşvik ederdi.
Örneğin:
- Kullanıcı: “Kendimi mutsuz hissediyorum.”
- ELIZA: “Neden mutsuz hissediyorsunuz?”
temel ifadeleri ile sohbet etmekteydi.
Günümüzün; temel, kural tabanlı yaklaşımları…
[1970] doğal dil işlemede; Anlamsal Yorumlama (Semantic Interpretation) ve doğal dil sorgularını işleyebilen sistemler geliştirme konusundaki çalışmalarıyla tanınan William A. Woods…
Woods;
Anlamsal Ağlar (Semantic Networks)
Konsept: Woods; anlamsal ağlar fikrini geliştiren önemli bilim insanlarından biridir. Anlamsal Ağlar; bilgi temsilinde kullanılan grafik yapılarıdır ve düğümler ile kenarlar arasındaki ilişkileri göstermektedir.
Örneğin:
- Düğüm: “Kedi” ve “Hayvan”
- Bağlantı: “Kedi bir hayvandır.”
Doğal Dil Sorguları ve Sistemleri
Woods; kullanıcıların doğal dilde sordukları soruları anlamsal olarak analiz edebilen sistemler geliştirdi.Bu tür sistemler; girdiyi dilbilgisel olarak işledikten sonra, sorgunun anlamsal bir temsiline dönüştürür ve bu temsili kullanarak veritabanlarından bilgi alır.
Örneğin:
Kullanıcı sorusu: “Boston’dan New York’a uçuşlar ne zaman?”
Sistem bu sorguyu “uçuşlar”, “Boston”, “New York” ve “zaman” gibi bileşenlere ayırır ve ilişkileri belirler.
Yordamlı Anlambilim (Procedural Semantics)
Woods, Procedural Semantics kavramını tanıttı.
Bu yaklaşımda;
- Doğal dildeki anlam; bir işlemi (procedure) veya hesaplamayı temsil eder.
- Sistem; dilde belirtilen anlamı gerçekleştirebilecek bir işlem tanımlar ve yürütür.
Örneğin: “Bir hayvanın kilosunu hesapla” sorgusu, bir işlem olarak matematiksel bir hesaplamayı temsil eder.
LUNAR Projesi
LUNAR; Woods’un en bilinen projelerinden biri, LUNAR adlı bilgi erişim sistemidir.
LUNAR; kullanıcıların doğal dilde sorgular sormasını ve bir veritabanından bilgi almasını sağlıyordu.
Bu sistem; dilbilgisel analiz, anlamsal yorumlama ve bilgi çıkarımı süreçlerini birleştiren ilk sistemlerden biri olarak büyük bir başarı elde etti.
Örneğin: “Ay taşlarında bulunan silisyum oranı nedir?” sorusuna doğru yanıtlar verebiliyordu.
Doğal Dil İşlemede Mantıksal Temsiller
Woods; doğal dil ifadelerinin mantıksal temsillerini oluşturma konusunda da, önemli çalışmalar yaptı.
Amaç ise; insan dilini matematiksel ve mantıksal bir yapı içinde ifade ederek, bilgisayarların daha derin bir anlam çıkarma süreci gerçekleştirmesini sağlamak.
Örneğin: “Her kedi bir hayvandır” ifadesi, mantıksal bir formda şu şekilde temsil edilir:
∀x (Kedi(x)→Hayvan(x))\forall x \ (Kedi(x) \rightarrow Hayvan(x))∀x (Kedi(x)→Hayvan(x))
ve dahası…
Tam anlamı ile bir üretim makinası olarak; ilgili teknolojiye yönelik, kuralları yeniden belirleyen yakşımlar sundu…
[1986] yolculuğa; konumuza, felsefi yaklaşımda bulunan John Searle ile devam ediyoruz.
Searle; Chinese Room (Çince Oda) argümanını ortaya atarak, makinelerin gerçekten “Anlayıp, anlamadığı.” konusundaki felsefi tartışmaları derinleştirmiştir.
Chinese Room (Çince Oda) argümanı; yapay zekanın zihin ve bilinçle ilişkisini tartışmak için, ortaya atılmış ünlü bir düşünce deneyidir.Bu argüman; özellikle Güçlü Yapay Zeka (Strong AI) kavramına karşı, eleştirel bir duruş sergilemektedir.
Deney senaryosu ise;
- Çince bilmeyen bir kişi; bir odada oturmaktadır.
- Odada; deneye yönelik bir dizi kural kitabı, Çince karakterlerden oluşan bir veri seti ve bir dizi boş kağıt bulunmaktadır.
- Dışarıdan; odadaki kişiye, Çince bir soru gönderilir. (Bir dizi Çince karakter.)
- Kural kitabında; hangi Çince karakter dizisinin, hangi karakter dizisiyle eşleştirileceği detaylıca açıklanmıştır.
- Kişi; bu kuralları izleyerek, uygun bir yanıt oluşturur ve dışarıya gönderir.
Çıkarım/Sonuç ise; dışarıdan bakan biri (Gözlemci), odadaki kişinin Çince bildiğini düşünebilir.
Ancak; odadaki kişi Çinceyi bilmemektedir; sadece, kuralları izleyerek eylemde bulunmaktadır.
Deneyin/Argümanın temel iddiası ise (Searle’ın Savı); bir bilgisayar, karmaşık algoritmalar ve kurallar yardımıyla dil işleme ve problem çözme yeteneği gösterebilir.
Ancak; bu işlemler, bilgisayarın anlama kapasitesine sahip olduğu anlamına gelmez.
***
[1990]‘lar; Büyük Veri kümeleri ve istatistiksel yöntemler kullanılarak, dil modelleri oluşturulması; [1996] ise IBM’in Watson Araştırma Merkezi istatistiksel makine çevirisi ve konuşma tanıma sistemleri üzerinde önemli ilerlemeleri ile devam etti.
***
[2001] yılında, David M. Blei, Andrew Y. Ng ve Michael I. Jordan; metinlerin gizli konularını keşfetmek için Latent Dirichlet Allocation başlıklı bir çalışma/makale ile gelişim sürecine farklı bi boyut getirdi.
LDA; metin madenciliği ve doğal dil işleme gibi alanlarda sıkça kullanılan modelleme yaklaşımlarına dayanmaktadır.
Ancak, bu yöntemler; belirli varsayımlara veya sınırlamalara sahipti.
Bu sınırlamalar;
Latent Semantic Indexing (LSI): Matris ayrıştırma tekniklerini kullanarak; belgeler ve terimler arasındaki gizli anlam ilişkilerini keşfetmeye çalışıyordu, ancak doğrusal bir model olması nedeniyle karmaşık yapıları iyi ifade edemiyordu.
Bu görsel; bir Matris Ayrıştırma (Matrix Decomposition) işlemini ve özellikle metin tabanlı analizlerde kullanılan Latent Semantic Analysis (LSA) tekniğini görselleştirmektedir.İşlem; terim-belge matrisinin (Kelimeler ve belgeler arasındaki ilişkiyi gösteren matris.) farklı bileşenlere ayrılmasını temsil eder.
Örneklendirme için lütfen tıklayınız…
Probabilistic Latent Semantic Indexing (pLSI): Olasılıksal bir çerçeve sunarak; LSI’nin eksikliklerini gidermeye çalıştı.Ancak; pLSI’nin en büyük dezavantajı, her yeni belge için ayrı bir model eğitimi gerektirmesi ve aşırı öğrenmeye eğilimli olmasıydı.
Bu görsel; Probabilistic Latent Semantic Indexing (pLSI) yönteminin grafiksel modelini ve metin tabanlı analizlerde kullanılan gizli konu keşfi sürecini görselleştirmektedir.İşlem; belgelerdeki kelimelerin olasılıksal olarak gizli konular üzerinden nasıl modellendiğini temsil eder.
LDA; temel hedefte, bu eksiklikleri giderme amacıyla geliştirilmişti.Blei ve ekibi, pLSI’nin üzerine bir adım daha ekleyerek, Bayesçi İstatistik* temelli bir model ortaya koydu.
Yanı sıra; her belge için bir olasılıksal konu karışımı tanımlar ve bu konuların her biri, belgelerde geçen kelimelerin olasılık dağılımlarını ifade eder.Böylece; hem belgeler hem de konular için ortak bir yapı oluşturulur.
*Bayesci istatistik, Bayesyen istatistik veya Bayesgil istatistik; olasılığın bir olaya olan inancın bir derecesini ifade ettiği Bayesci Olasılık Yorumuna dayanan istatistik alanındaki bir teoridir.İnanç derecesi; önceki deneylerin sonuçları gibi, olay hakkında önceki bilgilere veya olayla ilgili kişisel inançlara dayanabilir.
***
[2013] serüvenimiz devam ediyor…
Google Research Lab‘da; kelimelerin anlamsal ve bağlamsal ilişkilerini yakalayabilme adına, derin çalışmalar başlatıldı. (İleri Matematik prensipleri ile.)
Yapay zeka alanında önde gelen Tomáš Mikolov yönetimi; Ilya Sutskever, Kai Chen, Greg Corrado gibi alan öncüler ile kurulan ekip çalışmaları sonucunda, devrimsel bir çalışma ortaya çıktı.
Word2Vec (Temel amaç olarak.); kelimelerin anlamsal ve bağlamsal ilişkilerini yakalamak ve bu ilişkileri matematiksel olarak işlenebilir yoğun ve düşük boyutlu sürekli vektör temsilleri (Dense Vector Representations) şeklinde ifade etmek için geliştirilmiş bir modeldir.Bu model; kelimelerin bir vektör uzayında konumlandırılması sayesinde, anlam ve bağlam ilişkilerini niceliksel olarak analiz etmeye olanak tanımaktadır.
Modern derin öğrenme tabanlı NLP modellerinin (BERT, GPT vb.) temel taşı niteliğinde bir yaklaşım sunan Word2Vec; kelime temsillerini daha önceki statik ve anlamsız vektörlerden, bağlamdan öğrenilen ve anlam taşıyan temsillere dönüştürerek literatürde önemli bir paradigma değişikliği yaratmıştır.
*Bu proje, modern NLP tekniklerinin temel yapı taşlarından biri olmuştur ve GPT, BERT gibi gelişmiş modellerin öncülü olarak kabul edilir.
Geliştirilem bu model;
- Kelimeleri; dilin anlamsal özelliklerini koruyarak yoğun vektörler olarak temsil eder.
- Anlamsal benzerlikleri ve ilişkileri yakalamak için; kelimelerin çevresel bağlamından faydalanır.
- Büyük veri setlerinden elde edilen istatistiksel ilişkilerle; kelimeleri sürekli bir vektör uzayında, anlamlı şekilde kümeler.
Word2Vec, bu amaçları gerçekleştirmek için iki temel mimariye sahiptir;
- Continuous Bag of Words (CBOW): Bağlam kelimelerinden; hedef kelimeyi tahmin ederek, kelimelerin anlamını ve bağlam ilişkilerini öğrenir.
- Skip-gram: Hedef kelimeden bağlam kelimelerini tahmin etmeye çalışarak; özellikle nadir kelimeler için, daha güçlü vektör temsilleri üretir.
Çok basit seviyede, bağlamsal ilişiki yaklaşımlarını örneklendirecek olursak;
şeklinde ifade edilebilir.
Makinelerin duygu ve anlam bağlamındaki yolculuğunda; zamanına yönelik, çığır açan bir yaklaşım.
Günümüz modern NLP tekniklerinin adeta mihenk taşı…
Çalışmalar sonucunda ortaya çıkan akademik eşsiz yayınlar ise;
[2018 ve Günümüz] serüvenimizin son evresi.
Google’ın devrim niteliğindeki çalışmaları ve birbirinden özel ekip üyeleri; farklı firma ve disiplinlerde bu yeniliklere devam ettiler.
[2018] emekleme evresindeki teknolojik yaklaşımlar ile OpenAI; Chat GPT (Generative Pre-trained Transformer) modelini tanıtmış; bu model, metin üretimi ve anlama konularında önemli başarılar elde etmiştir.
*Günümüzde de yeni başarılara imza atmaya devam etmekteler.
[2019] Google BERT (Bidirectional Encoder Representations from Transformers) modelini sunarak; doğal dil işleme çalışmalarında, çift yönlü bağlamı farklı bir seviyeye taşıdı.
2020 ve günümüzde ise; GPT-3 ve benzeri büyük dil modelleri milyarlarca parametreyle eğitilerek, insan benzeri metin üretimi ve anlama yetenekleri sergiledi.
Ve; bu gelişim serüveni hız kesmeden devam etmektedir…
***
Buraya kadar; NLP teknolojisinin kronolojik olarak doğuşu ve geçirdiği evrimleri incelemeye çalıştık.
Bir sonraki yazılarımızda;
- Mimari Yaklaşımlar (RAG ve Transformerlar),
- Kelime Gömme Yöntemleri (Word2Vec, GloVe ve BERT vb.),
- Makine Öğrenimi Algoritmaları ile Duygu Analizi (Model Seçimi, Performans Metrikleri İncelenmesi vb.)
- NLP Teknolojisindeki Zorluklar ve Çözümler
gibi konular üzerinde durmaya çalışacağız.
Umarım faydalı olur.
İyi çalışmalar.
