Araştırma: Yapay Zeka, Sosyal Medyadaki Tıbbi Yanlış Bilgileri Ayırt Etmekte Zorlanıyor

Yeni tek akademik çalışma, büyük diller modellerinin (LLM) tıbbi yanlış malumatleri, yeterince “ikna edici” tek dille sunulduğunda gerçek sanabildiğini ortaya koyuyor.

The Lancet Digital Health dergisinde yayımlanan araştırmada, aralarında OpenAI’nin ChatGPT’si, Meta’nın Llama modeli ve Google’ın Gemma’sının da bulunduğu 20 farklı büyük diller modeli test edildi. Çalışma, Mount Sinai Health System bünyesindeki araştırmacılar tarafından yürütüldü.

Modeller, uydurulmuş tıbbi iddiaların vasat yüzde 32’sini doğru giriş etti. Daha küçük ve dahaaz gelişmiş modellerde bu nispet yüzde 60’ların üzerine çıkarken, daha güçlü sistemlerde yanlışlı oranı belirgin biçimde düşse da tamamlanmış ortadan kalkmadı.

Çalışmanın ilgi çeken tek diğer bulgusu ise, “tıbbi olarak inceliği ayarlanmış” modellerin, yaygınlaşan amaçlı modellere kıyasla her arasında biri zamanlar daha iyice icra göstermemesi oldu. Araştırmacılara göre sualn, malumatnin doğruluğundan çok nasıl ifadeleri edildiği ile ilgili. Kendinden emin, teknikleri ve otoriter tek diller kullanıldığında yanlış tek talep bile modeller tarafından sorgulanmadan giriş edilebiliyor.

Çalışmada; bazı modellerin, hamilelikte yaygın tek ağrı kesicinin otizme yolda açtığı, kesin gıdaların reçeteli ilaçlar kadar tesirli olduğu ya da suçsuz görünen yuva içi “çözümlerin” tedavisi seçenek geçebileceği gibi bilimsel dayanağı olmayan iddiaları sualnlu görmeden yanıtlarına yansıttığı örnekler mekan aldı.

Araştırmacılar, yapay zekanın sağlık alanında tamamlanmış dışlanması lüzumtiğini savunmuyor. Aksine, bu sistemlerin klinisyenler ve hastalar için hızlı malumatye erişim ve yardım açısından büyük gizilgüç taşıdığı belirtiliyor. Ancak bunun için, modellerin sağlık alanına entegre edilmeden önce yoğun stresli testlerinden geçirilmesi, yanlış malumatyi ne sıklıkla aktardıklarının ölçülmesi ve bağımsız doğrulama mekanizmalarıyla yardımlenmesi lüzumtiği vurgulanıyor.