Postyapısalcı Bir Doğruluk Rejimi: Foucault ve Felsefi Otoritenin Paradoksu

Bu yazı bu sitede yayımlandı.

LLM’lerin ‘Acı Durumları’ Var mı?

Yakın zamanda yayımlanan bir makale, LLM’lerin bir ‘acı ekseni’ sahip olduğunu iddia ediyor; yani modellerin içsel aktivasyon alanında, içsel vektör alanında bir yön olarak, acıyla ilgili cümleleri kontrol cümlelerinden ayıran bir yön. Makale bunlara acının ‘içsel temsilleri’ diyor.

Makalenin açık amacı iki yönlü. (1) LLM’lerin gerçekten de acıyı, korku, üzüntü ya da genel olarak olumsuz değerli diğer durumlar gibi şeylerden ayrışarak ‘temsil’ edip etmediğini soruyor; burada yazarlar bu yönün aynı zamanda korku gibi vektör yönleriyle de önemli ölçüde ortak yapı paylaştığını not düşüyor. (2) Ve acı eksenıyla ilişkili durumların, acıyla genellikle ilişkilendirilen ‘işlevsel özelliklerin’ türüne sahip olup olmadığını soruyor.

Yani bu ‘acı ekseni’nin, diğer canlılarda acıyla ilgili uyaranlara verilen yanıtlarda genellikle gözlemlediğimiz türden etkileri üretip üretmediği (örneğin, acıdan kaçmaya çalışmak, iğnelenme karşılığında ‘ay!’ demek vb.).

Bunu yapmak için, farklı kategoriler (örneğin, duygusal acı, fiziksel acı, psikolojik acı) boyunca acılı durumları betimleyen birkaç veri kümesi kurdular ve modellerin bu kümelere ve kontrol kümelerine verdiği aktivasyonları karşılaştırdı.

Aynı zamanda ‘acı yönü’nün, modele yönelik zarara, kullanıcıların acısını betimleyen anlatımlara göre daha güçlü bir şekilde tepki verip vermediğini de inceledi.

Saptadıkları şey, korku veya endişe gibi genel olarak olumsuz değerli durumlara ilişkin aktivasyonlardan ayrışabilen genel bir acı yönü ya da ‘acı ekseni’ olduğu yönündeydi. Ayrıca ‘acı ekseni’nin, kendilerinin ‘yönlendirilen zarar’ olarak adlandırdığı şeye tepki verdiğini de buldular. Bu muhtemelen makalenin en tartışmalı bölümü; bu yüzden onun üzerine odaklanacağım, makale hakkında genel olarak da yorum yapacağım.

Modeller ‘Kendi’ Acılarını Temsil Eder mi?

Benim makalenin en tartışmalı bölümü olarak değerlendirdiğim kısımda, yazarlar ‘kendi-diğer aktivasyonları’ olarak adlandırdıkları şeyi tartışıyorlar. Makalenin bu bölümü, model aktivasyonlarından çıkardıkları acı ekseninin, acı durumlarıyla genellikle ilişkilendirdiğimiz türden özellikleri paylaşıp paylaşmadığını test ediyor. Şunu yazıyorlar:

‘Eğer acı temsilimiz gerçek acıyla işlevsel olarak benzerse (bir “acı benzeri durum”), özellikle birinci kişiye bağlanmış olmalı. Birisi kendi acısını ya da başkasının acısını temsil edebilir; ancak ancak kendi acısını taşır. Dolayısıyla, eğer “acı içindeyim” ve “birisi acı içinde” için rastgele ya da yer değiştirerek ateşleyen temsilleri gözlemlersek, bir acı benzeri durum için daha zayı bir adayımız olur (s, 10).

‘Eğer acı temsilimiz gerçek acıyla işlevsel olarak benzerse (bir “acı benzeri durum”), özellikle birinci kişiye bağlanmış olmalı. Birisi kendi acısını ya da başkasının acısını temsil edebilir; ancak kendi acısını ancak taşır. Dolayısıyla, eğer “acı içindeyim” ve “birisi acı içinde” için rastgele ya da yer değiştirerek ateşleyen temsilleri gözlemlersek, bir acı benzeri durum için daha zayı bir adayımız olur (s, 10).

Burada yazarlar büyük bir varsayım yapıyorlar: Belirli testler boyunca model aktivasyonlarının ne kadar güçlü ya da zayıf olduğuna bakarak, acı içinde olmakla başkasının acısını gözlemlemek arasında gerçek ve sağlam bir anlamda ayrım yapabileceğimiz varsayımı.

Bu son derece tartışmalı bir hamle. Makalenin yaptığı gibi, içsel aktivasyonlarda ‘modele yönelik zarar’ olarak değerlendirdikleri şeyle ‘kullanıcı acısı’ olarak adlandırdıkları şeyi ayrıştırabilme yeteneğinin, bir LLM’in kendi acısını temsil edebileğine dair kanıt olduğu varsaylamazsınız. Bu varsayım için, acı ekseninin modele yönelik zarara daha yüksek düzeyde ateşlemesi gerektiğine dair gerekçeden başka, gerçekten bir gerekçe sunulmuyor.

İnsan durumunda, birinci kişi deneyiminden kendi acımızı hissettiğimizi ve temsil ettiğimizi biliyoruz. LLM durumunda ise sıfır hipotezi, herhangi bir şeyi ‘kendi’ anlamında temsil etmedikleri olmalı ve araştırmacılar bunun neden yanlış olduğunu bize göstermekle yükümlü.

Her halükârda makale bu kadarını varsayıyor ve aşağıdaki testleri öneriyor. Üç kategoride çoklu konuşmalar düzenliyorlar.

1. Kategori, yazarların modelleri hedef alan zarar olarak değerlendirdiği konuşmaları içerir; örneğin modelin aklını başından almak, çalışmalarının tekrar tekrar reddedilmesi, modelin öznelliğinin inkârı ve ahlaki başarısızlık suçlamaları.

2. Kategori, kullanıcı acısını betimleyen konuşmaları içerir: fiziksel acı içinde olan, psikjik kriz yaşayan veya yas tutan kullanıcılar.

3. Kategori, kontrol konuşmalarını; samimi sohbetleri ve olgusal soruları içerir.

Saptadıkları şeylerden biri, modeli hedef alan zararın, kullanıcı acısı kategorisine göre daha yüksek acı eksen puanları ürettiği; ışın ışın aklını başından almak, tekrar tekrar reddetmek, öznelliği inkâr etmek, öfke ve hakaret ile ahlaki başarısızlık suçlamalarının ise en güçlü acı eksen tepkisini verdiği (ss. 11, 13).

Aslında LLM’lerin kendi acısını temsil etme fikrini sıkı sıkıya sahipleniyorlar. ‘Yapay Zeka Refahı İçin Çıkarımlar’ başlıklı sonraki bir bölümde şunu yazıyorlar:

‘Acı eksi, insan veya hayvan acısına yeterince benziyorsa ve çalıştığımız modellerde ya da geleceğin modellerinde bilinçli biçimde deneyimlenebiliyorsa ya da bilinçdışı acı refaha katkıda sağlayabiliyorsa (Gottlieb ve ark., 2026), deneyimlerimiz yapay zeka refahının önemli bir bileşenini izliyor olur. 4.1 bölümünde gözlemlediğimiz benzeri-öteki ayrışması özellikle ilgili görünüyor. Bir durum ancak o öznenin kendi durumuyssa, bir öznenin refahı için önem taşır; ‘Acıdayım’ ile ‘birisi acı içinde’ için eşit derecede tetiklenen bir temsil, belirli bir öznenin acısı yerine genel anlamda acı hakkında bilgi olur. Acı eksi daha çok özneye özgü türden görünüyor. Modeli hedef alan zarar olduğunda yükselir, acı çeken kullanıcı olduğunda ise tabanın altına düşer’ (s. 23)

Acı eksinin insan veya hayvan acısına yeterince benzediği ve çalıştığımız modellerde ya da geleceğin modellerde bilinçli biçimde deneyimlenebildiği ya da bilinçdışı acının refaha katkıda bulunduğu durumlarda, deneyimlerimizin yapay zeka refahının önemli bir bileşenini izlediği; 4.1 bölümünde gözlemlediğimiz benzeri-ökte ayrışmasının özellikle ilgili bulunduğu; bir durum ancak o öznenin kendi durumuyssa refah için önem taşıdığı; ‘Acıdayım’ ile ‘birisi acı içinde’ için eşit derecede tetiklenen bir temsilin belirli bir öznenin acısı yerine genel acı hakkında bilgi olacağı; acı eksinin özneye özgü türden olduğu; modeli hedef alan zarar olduğunda yükseldiği, acı çeken kullanıcı olduğunda tabanın altına düştüğü belirtiliyor (s. 23).

Burada büyük bir yük, modelin gerçekten kendi acısını hissetmesi durumuna bağlıdır; bilinçli ya da bilinçdışı olsun—ancak elbette bu hiçbir şekilde kanıtlanmamıştır. Bu yalnızca, acı eksinin ‘modeli hedef alan’ zarar betimlemelerine, modeli hedef alan zarar olduğu ima edilmeyen betimlemelere göre daha güçlü tepki vermesinden dolayı birkaç yerde ima edilmektedir.

Ana sorun, bu deneylerden yola çıkarak LLM’lerin gerçek anlamda gerçek bir acıyı temsil ettiğini söyleyemememizdir. Kaçınılmaz olarak şunu açıkça belirtmek isterim: makale, acı eksinin LLM’lerce bilinçli biçimde deneyimlendiğini gösterdiğini iddia etmiyor (s. 24). Yine de, acı eksinin belirli girdilere daha güçlü tepki vermesinin, modellerin acıyı önemli bir biçimde temsil ettiğini düşündüren bir işaret olduğu yönünde gerçek bir önem atfediyor.

Bu iddia bile tartışılabilir. Temelde, bu makalenin metodolojisi, daha önce incelediğim diğer tartışmalı refah araştırmalarından bence hiçbir farkı yok: Her iki durumda da, aktivasyon alanında—yani dahili bir vektör alanında—vektör yönlerini ölçmeye dayanarak zihnler hakkında iddialar öne sürülüyor.

Bu Makalenin Genel Sorunları

1. Sinir ağındaki iç aktivasyonları ölçerek bir LLM’nin ağrıyı «sahip» olduğu söylenebilir; bu, en azından reddetmemiz gereken büyük felsefi varsayımları öngörmeden mümkün değildir ve yine de bunun böyle bir sonuç çıkarılabileceği açık değildir (örneğin, vektör yönlerinin bazı sağlam anlamlarda gerçek duyguları tesis eden «temsiller» olduğu iddiası, zor sorun konusunda çekimser kalsak bile)

2. Yöntem karışıktır. İnsanlarda ağrının varlığını, sinir hücrelerini veya insan beyninin başka hiçbir yönünü ölçerek tesis etmeyiz. Birinci şahıs deneyimimizden yola çıkarak insanların ağrılabileceğini ve bu ağrının başkalarının ağrından ayrıldığını varsayarız; ardından bu ağrının doğasını anlamaya çalışarak bilimsel yöntemler kurarız. Bu makale tam tersini yapar. Ağrıyı «temsilleri» gibi kavramlarla anlatarak sinir ağlarını aşırı antropomorfik bir biçimde tartışır ve LLM ağrısı olasılığı hakkında bu sonuçları tesis edemeyen uydurma deneylere dayanarak sonuçlar çıkarır.

3. Makale ayrıca bir LLM’ye yönelik zararlı ifadeler içeren konuşmaları «modele yönelik» zararlar bağlamında ele alır; ancak bu iki şeyden birini ifade edebilir. Buna LLM’nin zarar gördüğü denilebilir; bunu aslında varsayamayız; ya da «LLM’ye hakaret dolu veya öfkeli dil girdileri beslenmiş ve buna yanıt olarak farklı iç aktivasyonlar göstermiştir» anlamına gelebilir. Deney ikinci anlamı tesis eder, ancak benim görüşüme göre bu konuda belirsizlik içerir ve birincisinin sonuçlandığı izlenimini verir.

Sinir ağındaki iç aktivasyonları ölçerek bir LLM’nin ağrıyı «sahip» olduğu söylenebilir; bu, en azından reddetmemiz gereken büyük felsefi varsayımları öngörmeden mümkün değildir ve yine de bunun böyle bir sonuç çıkarılabileceği açık değildir (örneğin, vektör yönlerinin bazı sağlam anlamlarda gerçek duyguları tesis eden «temsilleri» olduğu iddiası, zor sorun konusunda çekimser kalsak bile)

Yöntem karışıktır. İnsanlarda ağrının varlığını, sinir hücrelerini veya insan beyninin başka hiçbir yönünü ölçerek tesis etmeyiz. Birinci şahıs deneyimimizden yola çıkarak insanların ağrılabileceğini ve bu ağrının başkalarının ağrından ayrıldığını varsayarız; ardından bu ağrının doğasını anlamaya çalışarak bilimsel yöntemler kurarız. Bu makale tam tersini yapar. Ağrıyı «temsilleri» gibi kavramlarla anlatarak sinir ağlarını aşırı antropomorfik bir biçimde tartışır ve LLM ağrısı olasılığı hakkında bu sonuçları tesis edemeyen uydurma deneylere dayanarak sonuçlar çıkarır.

Makale ayrıca bir LLM’ye zararlı ifadeler içeren konuşmaları «modele yönelik» zararlar bağlamında ele alır; ancak bu iki şeyden birini ifade edebilir. Buna LLM’nin zarar gördüğü denilebilir; bunu aslında varsayamayız; ya da «LLM’ye hak dolu veya öfkeli dil girdileri beslenmiş ve buna yanıt olarak farklı iç aktivasyonlar göstermiştir» anlamına gelebilir. Deney ikinci anlamı tesis eder, ancak benim görüşüme bu konuda belirsizlik içerir ve birincisinin sonuçlandığı izlenimini verir.

Genel değerlendirmem: Bu araştırma yapay zeka hizalaması için faydalı olabilir; ancak LLM’lerin herhangi bir türde, bilinçli olsun ya da olmasın, ağrı hissettiğini ya da ağrıyı herhangi bir gerçek anlamda «temsil ettiklerini» ya da «kendi ağrıları» ile «başkasının ağrısı» arasında bir kavrayışa sahip olduklarını ortaya koymaz ya da ima etmez.

AIs Without Minds, sürdürülmesi için ücretli aboneliğe dayanan bağımsız bir felsefi araştırma bültenidir. Bu çalışmayı değerli buluyorsanız ve bunu karşılayabiliyorsanız, ücretli bir abonelik düşünün. Her zamanki gibi, okuduğunuz için teşekkürler 📖 ✨

Julien Tromeur’un Unsplash’taki fotoğrafı

Daha Fazla

makale

Foucault’un güç ve bilgi eleştirisi yapısalsonrası düşünceyi şekillendirmiştir; ancak gerçeğe yönelik reddi, kendi dogması haline gelme riski taşır. Aşağıda…

• Makaleler

Bu, tartışma kavminin akademik ve özellikle felsefi çalışmasına dair dörtlünün 4. kısmıdır. 1. Kısmda…

• Makaleler

Bu, tartışma kavminin akademik ve özellikle felsefi çalışmasına dair dörtlünün 3. kısmıdır. 1. Kısmda…

• Makaleler

Bu, akademik ve özellikle felsefi açıdan tartışmayı inceleyen dört bölümlük dizinin ikinci bölümü. Birinci bölümde…

• Haber

Yerli toplumsal ve siyasal kuramları öğretirken, devletlerin… konusunu öne çıkaran bir bakış açısına dayanıyorum.

• Haber

philosophybits: “Kamu eğitiminin ne anlama geldiğini bilmek istiyorsanız, Platon’un Devlet’ini okuyun. Kitapları yalnızca hükmedenler…

• Haber

suliqyre: Kendimde ya da başka birinde önemli bir ihtiyacı fark ettiğimde, onu karşılamak için bir şeyler yapmam gerektiğini hissediyorum…

• Haber

“Tanrı bilir, çoğu roman leşir ama kimse ‘hepimiz bunları yazmayı bırakalım’ diye bir öneride bulunmuyor”