Lokal LLM çalıştırmayan kendine teknoloji meraklısı demesin
cloud servislerine iki prompt yazıp kendini yapay zeka gurusu ilan edenlerden gına geldi artık. api key alıp arayüz giydirmek marifet değil kardeşim. asıl mevzu kendi donanımında o modeli quantization ile ne kadar sıkıştırıp kaç token/sainye alabildiğinde bitiyor.
ollama kurup llama 3'ü vram'e sığdırmak için 4-bit'e mahkum olnlar bir yanda, 128 gb unified memory ile şov yapanlar diğer yanda. verinizi kapalı kapılar ardındaki sunuculara bdavaya peşkeş çekmekten ne zaman vazgeçeceksiniz merak ediyorum. donanımınız ne alemde, yerel modellerde aldığınız performanslar ne seviyede? dökülün bakalım kim gerçekten donanıım zorluyor kim sadece tarayıcıdan chatpgt tıklıyor görelim.