Çevrimdışı
AKY
MirayWeb Coder's
Yapay zeka alanının öncülerinden OpenAI, kısa süre önce kullanıma sunduğu yeni nesil modelleri o3 ve o4-mini ile dikkatleri üzerine çekmeyi başardı. Ancak bu modellerle ilgili ortaya çıkan son bulgular bazı kullanıcıları şaşırtabilir. Yapılan araştırmalara göre, o3 ve o4-mini modelleri her ne kadar güçlü ve yetenekli olsa da, önceki modellere kıyasla daha fazla yanıltıcı bilgi üretme eğilimi gösteriyor. OpenAI’ın kendi iç test sonuçları, bu modellerin “halüsinasyon” olarak adlandırılan yani gerçek dışı veya hatalı bilgi üretme oranlarının, o1, o1-mini ve o3-mini gibi seleflerine göre daha yüksek olduğunu ortaya koyuyor. Yeni GPT Modelleri Nedensiz Bir Şekilde Gerçek Dışı Bilgiler Üretiyor OpenAI’ın dahili testlerine göre, o3 modeli insanlarla ilgili bilgilerin değerlendirildiği PersonQA testinde soruların %33’ünde hatalı, yani "halüsinatif" yanıtlar verdi. Bu oran, o1 modelinin yüzde 16 ve o3-mini’nin yüzde 14,8 olan halüsinasyon oranlarının neredeyse iki katına denk geliyor. Daha çarpıcı olan ise o4-mini modelinin bu testte yüzde 48 gibi oldukça yüksek bir halüsinasyon oranına ulaşması. Sadece şirket içi testlerde değil, bağımsız araştırmalarda da benzer sonuçlar elde edildiğini görüyoruz. Transluce isimli bağımsız araştırma laboratuvarı, o3 modelinin özellikle matematikte işlem adımlarını açıklarken uydurma ve gerçekle bağdaşmayan bilgiler üretme eğiliminde olduğunu belirtiyor. Transluce’un kurucularından ve aynı zamanda eski bir OpenAI çalışanı olan Neil Chowdhury, bu sorunun muhtemelen eğitim sürecinde kullanılan tekniklerden kaynaklandığını belirtiyor. Ancak kesin nedeni tespit etmek için henüz yeterli veri olmadığını da vurguluyor. OpenAI cephesinde de benzer bir durum söz konusu. Zira yeni nesil modellerin neden daha fazla halüsinasyon ürettiğine dair henüz somut bir neden bulunamadı. Şirket bu konu hakkında yayınladığı teknik raporda söz konusu davranışın nedenlerinin anlaşılması için daha fazla araştırmaya ihtiyaç duyulduğunu ifade ediyor.