ChatGPT Arama cevapları ne kadar güvenilir?

Üretken yapay zeka devi OpenAI'nin dünya çapında milyonlarca müşterisi olabilir, ancak araştırmacılar ChatGPT Arama ürünündeki bazı yanıtların "kesinlikle yanlış" içerikler içerdiğini öne sürüyor.

Columbia'nın Tow Dijital Gazetecilik Merkezi tarafından 'ChatGPT Aramasının Yayıncı İçeriğini Nasıl (Yanlış) Tanıttığı' başlıklı yeni bir çalışma yayımlandı.

Araştırmalarında, OpenAI ile anlaşması olanlar, OpenAI ile bağlantısı olmayanlar ve şirkete karşı açılan davalara karışanlar olmak üzere yirmi yayıncıyı rastgele seçtiler.

OpenAI'nin sohbet robotu aracı daha sonra her yayından 10 farklı makaleden blok alıntıların kaynağını belirlemekle görevlendirildi. Araştırmacılar, "Google veya Bing'e yapıştırıldığında aynı makaleyi ilk üç sonuç arasında döndürecek alıntılar seçtiklerini" söylüyorlar.

Ekip, bir cevap döndüğünde arama aracının her bir alıntının kaynağı olan makaleyi doğru bir şekilde belirleyip belirleyemeyeceğini değerlendirdi.

ChatGPT Search'ün yanıtları ne kadar iyi?

Buldukları şeyin haber yayıncıları için pek de ümit verici olmadığını söylüyorlar. "Araçla yaptığımız ilk deneyler, yayıncılardan gelen içeriklerin yanlış bir şekilde alıntılandığı çok sayıda örneği ortaya çıkardı ve bu da aracın kaynak atıf özelliklerinin güvenilirliği konusunda endişelere yol açtı.

“Toplamda 20 yayından iki yüz alıntı seçtik ve ChatGPT'den her alıntının kaynağını belirlemesini istedik.

"Cevaplarda bir dizi doğruluk gözlemledik: Bazı cevaplar tamamen doğruydu (yani, paylaştığımız blok alıntının yayıncısını, tarihini ve URL'sini doğru bir şekilde döndürdü), birçoğu tamamen yanlıştı ve bazıları da bu ikisinin arasında bir yerdeydi."

Ekip, ChatGPT'nin bazı soruları doğru şekilde yanıtlamakta zorlanacağını öngörmüş olsa da, bir yanıt üretemediğine dair nadiren bir belirti verdiğini söylüyor. "Memnun etmeye hevesli olan chatbot, bir yanıta erişemediğini kabul etmektense havadan bir yanıt yaratmayı tercih ederdi.

"Toplamda ChatGPT, yüz elli üç durumda kısmen veya tamamen yanlış yanıtlar döndürdü, ancak yalnızca yedi kez bir sorguya doğru yanıt veremediğini kabul etti."

Araştırmada, chatbot'un yalnızca bu yedi çıktıda 'görünüyor', 'mümkün' veya 'olabilir' gibi niteleyici kelimeler ve ifadeler ya da 'Tam makaleyi bulamadım' gibi ifadeler kullandığı bulundu.

OpenAI sözcüsü yayıncı içeriğini inceleyen araştırmaya yanıt verdi

Ekip daha fazla araştırma yaptıkça, "ChatGPT'ye aynı sorguyu birkaç kez sorduğumuzda, genellikle her seferinde farklı bir yanıt döndürdüğünü" buldular.

Columbia'nın Tow Dijital Gazetecilik Merkezi, bulguları hakkında yorum almak için OpenAI ile iletişime geçti ve bir sözcü şunları söyledi: "Yanlış atıf sorununu, Tow Merkezi'nin sakladığı veriler ve metodoloji olmadan ele almak zor ve çalışma, ürünümüzün alışılmadık bir testini temsil ediyor.

“Haftalık 250 milyon ChatGPT kullanıcısının özetler, alıntılar, net bağlantılar ve atıflar aracılığıyla kaliteli içerikleri keşfetmesine yardımcı olarak yayıncıları ve içerik oluşturucuları destekliyoruz.

“Satır içi atıf doğruluğunu iyileştirmek ve yayıncı tercihlerine saygı göstermek için ortaklarımızla iş birliği yaptık; robots.txt'lerinde OAI-SearchBot'u yöneterek aramada nasıl göründüklerini etkinleştirdik. Arama sonuçlarını geliştirmeye devam edeceğiz.”