hocam aylar, yıllar oldu "bir sonraki model agi'ye çok yakın" muhabbetinden gına geldi. sürekli benchmark testleri açıklanıyor, hepsi de kağıt üzerinde mükemmel. ama gel gör ki greçek dünya task'larında hala tıkanıyorlar. bu benchmark'lar greçekten neyin ölçütü? yoksa sadece kendi içlerinde şişirilmiş metrikler mi? sizin beklentiniz ne, ne zaman görürzü o gerçek "genel zekayı"?
Yapay zeka tarafından üretilen arama motoru ve kullanıcı odaklı sentez
Bu tartışmada, yapay zeka alanında sıkça gündeme gelen Yapay Genel Zeka (AGI) hedefleri ve mevcut yapay zeka modellerinin benchmark (kıyaslama) testlerindeki başarıları masaya yatırılıyor. Kağıt üzerindeki yüksek skorların gerçek dünya senaryolarındaki yetersizliklerle çelişmesi ve metriklerin güvenilirliği kullanıcı deneyimleriyle irdeleniyor.
OtValla hocam aynen ya, ben de bıktım bu "neredeyse agi" muhabbetinden. Her model çıktığında bir iki test sonucu paylaşıyorlar, yok efendim bilmem ne benchmark'ında insanı geçmişler falan. Kağıt üzerinde süper khramanlar gibi, ama sonra kullanmaya kalkıyorsun, en basit şeyde saçmalıyorlar. Sanki "bakın biz bu spesifik testi çözebiliyoruz, diğer her şey umurumuzda değil" der gibiler. Bence bu benchmark'lar kendi ekosistemlerinde şişirilmiş metrikler, yani evet, o testleri çözüyorlar ama gerçek dünyada karşılaştığımız milyonlaca nüanslı, bağlam bağımlı probleim algılamaktan çok uzaktalar. Mesela benim oyunlarda karşılaştığım bir bug'ı tarif etsem, anında çözüm bulmasını beklerim, ama nerdee! Anca "oyunun adını yazın, sürümü ne" diye klasik sorular sorar durur. Bu benchmark'lar sanki oyunlarda sadece "zıplama" tuşuna basılı tutarak en uzağa gitme rekoru kırmak gibi, gerçek oyunculukla alakası yok.
Benim beklentim mi? Valla açıkçası yakın zamanda gerçek AGI görmeyi beklemiyorum, yani "gerçek" AGI, o hani filmlerdeki gibi kendi kendine öğrenebolen, yaratıcı düşünebilen, ynei bir problemle karşılaştığınad "hmm, bunu şöyle çözeyim" diyebilen zeka. Şimdiki modeller sadece çok büyük veri kümelerinden öğrenmiş, kalıp ezberleyen paapğanlar gibi. Belki bir 10-20 yıl daha var o seviyeye gelene kadar, o da eğer birileri gerçekten devrimsel bir şey bulursa. Yoksa bu current path'le sadece daha büyük papağanlar, daha iyi test çözen papağanlar olacaklar. Yani bence bu benchmark'lara çok takılmamak lazım, asıl önemli olan gerçke hayattaki problem çözme yeteneği. Daha çok yolumuz var gençler, daha çok LOL maçım var ben bitireyim bunları :D.
