‘Çilek’ sorunu: Yapay zekanın sınırlamalarının üstesinden nasıl gelinir?

Şimdiye kadar büyük dil modelleri (Yüksek Lisans’lar) ChatGPT ve Claude gibi dünya çapında gündelik bir kelime haline geldi. Birçok insan bundan endişelenmeye başladı Yapay zeka işleri için geliyorBu nedenle hemen hemen tüm Yüksek Lisans tabanlı sistemlerin basit bir görevde bocaladığını görmek ironiktir: “Çilek” kelimesindeki “r” sayısını saymak. Yalnızca “r” alfabesinde başarısız olmuyorlar; diğer örnekler arasında “memeli”deki “m”lerin ve “su aygırı”ndaki “p”lerin sayılması yer alır. Bu makalede bu başarısızlıkların nedenini açıklayacağım ve basit bir geçici çözüm sunacağım.

Yüksek Lisanslar, insan benzeri bir dili anlamak ve oluşturmak için çok miktarda metin üzerinde eğitilmiş güçlü yapay zeka sistemleridir. Soruları yanıtlamak, dilleri tercüme etmek, içeriği özetlemek ve hatta aldıkları girdilere göre tutarlı yanıtları tahmin edip oluşturarak yaratıcı yazılar üretmek gibi görevlerde çok başarılılar. Yüksek Lisans’lar metindeki kalıpları tanıyacak şekilde tasarlanmıştır; bu da onların dille ilgili çok çeşitli görevleri etkileyici bir doğrulukla yerine getirmelerine olanak tanır.

Tüm hünerlerine rağmen “çilek” kelimesindeki “r” sayısını sayamamak, yüksek lisans öğrencilerinin insanlar gibi “düşünme” yeteneğine sahip olmadıklarını hatırlatıyor. Onlara beslediğimiz bilgileri bir insan gibi işlemezler.

Mevcut yüksek performanslı LLM’lerin neredeyse tamamı temel alınarak oluşturulmuştur. transformatörler. Bu derin öğrenme mimarisi, metni girdi olarak doğrudan almaz. Adı verilen bir işlemi kullanıyorlar tokenleştirmeMetni sayısal temsillere veya belirteçlere dönüştüren. Bazı belirteçler tam kelimeler olabilir (“maymun” gibi), bazıları ise bir kelimenin parçaları olabilir (“mon” ve “anahtar” gibi). Her jeton, modelin anladığı bir kod gibidir. Her şeyi jetonlara bölerek mannequin, bir cümledeki sonraki jetonu daha iyi tahmin edebilir.

Yüksek Lisans’lar kelimeleri ezberlemez; bu jetonların farklı şekillerde nasıl bir araya geldiğini anlamaya çalışıyorlar, bu da onları daha sonra ne olacağını tahmin etmede başarılı kılıyor. “Su aygırı” kelimesi durumunda, mannequin “hip”, “pop”, “o” ve “tamus” harflerinin simgelerini görebilir ve “su aygırı” kelimesinin şu harflerden oluştuğunu bilmeyebilir: ” h”, “i”, “p”, “p”, “o”, “p”, “o”, “t”, “a”, “m”, “u”, “s”.

Bireysel harflere onları simgeleştirmeden doğrudan bakabilen bir mannequin mimarisi potansiyel olarak bu sorunu yaşamayabilir, ancak günümüzün transformatör mimarileri için bu, hesaplama açısından mümkün değildir.

Ayrıca, Yüksek Lisans’ların çıktı metnini nasıl oluşturduğuna baktığımızda: tahmin etmek önceki giriş ve çıkış belirteçlerine göre bir sonraki kelimenin ne olacağı. Bu, bağlamsal olarak bilinçli insan benzeri metinler oluşturmak için işe yarasa da, harfleri sayma gibi basit görevler için uygun değildir. “Çilek” kelimesindeki “r” sayısını yanıtlamaları istendiğinde, LLM’ler yalnızca giriş cümlesinin yapısına dayalı olarak cevabı tahmin ediyor.

İşte bir geçici çözüm

Yüksek Lisans öğrencileri “düşünme” veya mantıksal olarak akıl yürütme becerisine sahip olmasa da, yapılandırılmış metni anlama konusunda ustadırlar. Yapılandırılmış metnin muhteşem bir örneği, birçok programlama dilinin bilgisayar kodudur. ChatGPT’den Python’u kullanarak “çilek” sözcüğündeki “r” sayısını saymasını istersek büyük olasılıkla doğru cevabı alacaktır. LLM’lerin sayma veya mantıksal akıl yürütme veya aritmetik hesaplama gerektirebilecek başka bir görev yapmasına ihtiyaç duyulduğunda, daha geniş yazılım, istemlerin LLM’den giriş sorgusunu işlemek için bir programlama dili kullanmasını istemeyi içerecek şekilde tasarlanabilir.

Çözüm

Basit bir harf sayma deneyi, ChatGPT ve Claude gibi Yüksek Lisans’ların temel sınırlamalarını ortaya koyuyor. İnsan benzeri metinler oluşturma, kod yazma ve kendilerine sorulan her soruyu yanıtlama konusundaki etkileyici yeteneklerine rağmen, bu yapay zeka modelleri henüz bir insan gibi “düşünemiyor”. Deney, modellerin ne olduklarını, kalıp eşleştirme tahmin algoritmalarını ve anlama veya akıl yürütme yeteneğine sahip “zeka”yı değil, ne olduklarını gösteriyor. Ancak hangi tür yönlendirmelerin işe yaradığına dair önceden bilgi sahibi olmak, sorunu bir dereceye kadar hafifletebilir. Yapay zekanın hayatımıza entegrasyonu arttıkça, sınırlılıklarının farkına varılması, bu modellerin sorumlu kullanımı ve gerçekçi beklentiler açısından hayati önem taşıyor.

Chinmay Jog, kıdemli bir makine öğrenimi mühendisidir. Pangiam.