Kaliforniya Teknoloji Enstitüsü (Caltech) araştırmacıları tarafından kurulan PrismML, devasa yapay zeka modellerinin yalnızca dev veri merkezlerinde çalışabileceği algısını yıkmaya hazırlanıyor. Şirketin yeni duyurduğu Bonsai 2 27B adlı modeli, Alibaba’nın popüler Qwen modelini performansından neredeyse hiç ödün vermeden akıllı telefonlara ve bilgisayarlara sığacak kadar küçültmeyi başardı. Bu gelişme, yapay zekanın buluta ihtiyaç duymadan, tamamen gizli ve ücretsiz bir şekilde son kullanıcı cihazlarında çalışmasının önünü açıyor.
PrismML’den Bonsai 2 27B Hamlesi
Yapay zeka dünyasında PrismML ismi henüz çok büyük yatırımlarla anılmasa da, şirketin arkasındaki teknik kadro ve geliştirdiği teknoloji endüstride dengeleri değiştirebilecek potansiyele sahip. Şimdiye kadar 22,25 milyon dolarlık bir tohum yatırım alan girişim, yüksek performanslı ve akıl yürütme yeteneğine sahip dil modellerinin mutlaka devasa boyutlarda olması gerekmediğini savunuyor. PrismML, bu modelleri kişisel bilgisayarlara ve hatta akıllı telefonlara sığacak kadar küçülterek yapay zekayı herkes için erişilebilir kılmayı hedefliyor.
Şirketin son hamlesi olan Bonsai 2 27B, Alibaba’nın açık kaynaklı Qwen3.8 27B modelini temel alıyor. PrismML, bu devasa modeli 5,9 GB boyutuna kadar sıkıştırmayı başardı. Bu, orijinal modelin bellek kullanımında yaklaşık 10 katlık bir azalma anlamına geliyor. 5,9 GB’lık bir boyut, standart bir kişisel bilgisayarda ve üst segment akıllı telefonlarda rahatlıkla çalıştırılabiliyor. Şirketin CEO’su ve Caltech profesörü olan Babak Hassibi, bu teknolojinin cihaz içi yapay zeka kullanımında bir devrim yaratacağını belirtirken, Apple ile görüşmeler yapıldığına dair iddialar hakkında yorum yapmaktan kaçındı.
PrismML’in sıkıştırma teknolojisini rakiplerinden ayıran en önemli özellik, performans kaybının minimumda tutulması. Hassibi’nin paylaştığı verilere göre Bonsai 2, orijinal Qwen modelinin toplam kıyaslama (benchmark) skorlarının yüzde 98’ini yakalamayı başarıyor. Mart ayında yayınlanan ilk Bonsai modelinde bu oran yüzde 95 seviyesindeydi. İlk modelin 11 milyondan fazla, şirketin daha küçük modellerinin ise toplamda 2,6 milyon kez indirilmiş olması, bu teknolojiye olan ilginin ne kadar büyük olduğunu gösteriyor. Hassibi, sıkıştırmanın her zaman küçük de olsa bir etkisi olacağını kabul etse de, yüzde 2’lik bir farkın gerçek dünya kullanımında kullanıcı deneyimini anlamlı bir şekilde etkilemeyeceğini vurguluyor.
Bu devasa sıkıştırma başarısının arkasında ternary weights adı verilen özel bir yöntem yatıyor. Geleneksel yapay zeka modellerinde her bir ağırlık verisi 16 bitlik alan kaplarken, PrismML bu verileri +1, -1 ve 0 olmak üzere sadece üçlü bir değer sistemine indirgiyor. Bu basitleştirme, modelin öğrendiği bilgileri depolamak için ihtiyaç duyduğu alanı dramatik bir şekilde azaltıyor. Girişimin bir sonraki hedefi ise bu yöntemi yüz milyarlarca parametreye sahip daha büyük modellere uygulamak. Hassibi’ye göre modeller büyüdükçe, zekayı kaybetmeden onları sıkıştırmak çok daha kolay hale geliyor.
PrismML’in danışman kadrosunda Databricks’in kurucu ortağı Ion Stoica gibi önemli isimler yer alırken, şirket Khosla Ventures ve Cerberus Capital gibi devler tarafından destekleniyor. Ion Stoica, bu teknolojinin heyecan verici olduğunu çünkü gelişmiş zekayı doğrudan kullanıcıların parmak uçlarına taşıdığını belirtiyor. Cihaz üzerinde çalışan yapay zeka, verilerin buluta gönderilmesine gerek kalmadığı için tam gizlilik sağlarken, aynı zamanda hali hazırda satın alınmış donanımlar üzerinde çalıştığı için kullanıcılara maliyetsiz bir deneyim sunuyor. PrismML, önümüzdeki aylarda çok daha büyük modelleri benzer verimlilikle sunmayı planlıyor.
