Ollaya: Karar modellerini yerel donanımınızda çalıştırın

Yapay zeka uygulamalarında veri gizliliği ve düşük gecikme süresi kritik öneme sahiptir. Ollaya, metin veya JSON verileri üzerinde tiplemeli sorular sorarak milisaniyeler içinde kalibre edilmiş yanıtlar sunan, açık kaynaklı bir çözüm olarak öne çıkıyor. Sistem, verilerinizin kendi donanımınızda işlem görmesini sağlayarak dış sunuculara bağımlılığı ortadan kaldırıyor.

Milisaniyede Yanıt Süreleri

Geleneksel dil modellerinin token-by-token üretimi yerine, Ollaya'daki karar modelleri tek bir ileri geçiş (forward pass) ile çalışır. NVIDIA RTX 4090 gibi bir GPU üzerinde, beş soruluk bir istek sonundan sonuna kadar yaklaşık 8-10 ms içinde yanıtlanır. Bu hız, TypeSafe'in barındırılan API'sinin ortalama 236-276 ms'lik gecikme süresine kıyasla önemli bir avantaj sağlar. Ollaya, Laya, Decider ve GLIClass gibi farklı ölçeklerdeki modelleri destekleyerek kullanıcıların ihtiyacına göre seçim yapmasına olanak tanır.

TypeSafe API Uyumluluğu

Ollaya, mevcut altyapıyı değiştirmeden geçiş yapabilmek için TypeSafe'in API'siyle tam uyumludur. /v1/systemone ve /v1/models uç noktalarını sunan Ollaya'ya, resmi TypeSafe Python SDK'sı doğrudan bağlanabilir. Geliştiriciler, TYPESAFE_BASE_URL değişkenini yerel sunucuya yönlendirerek mevcut kodlarını değiştirmeden yerel karar modellerini kullanabilir. Bu sayede 'drop-in' uyumluluk, geçiş maliyetini minimize eder.

Gizlilik ve Açık Ağırlıklar

Veri mahremiyeti, Ollaya'nın temel taşlarından biridir. Sistem varsayılan olarak 127.0.0.1 adresine dinler ve verilerin dışarı çıkmamasını sağlar. Model ağırlıkları, Hugging Face repository'lerinden belirli commit'ler üzerinden indirilir ve SHA256 ile doğrulanır; Ollaya bu ağırlıkları yeniden barındırmaz. Çalışma zamanı Apache-2.0 lisansı altında sunulur ve token başına ücretlendirme yapılmaz. macOS, Windows, Linux ve Docker platformlarında desteklenen Ollaya, CPU üzerinde çalışırken NVIDIA GPU'larla milisaniyelik performanslar sunar.

Önemli noktalar

• Ollaya, karar modellerini yerel donanım üzerinde milisaniyeler içinde çalıştırır.
• Sistem, TypeSafe API'siyle tam uyumlu olup mevcut Python SDK'larıyla sorunsuz entegre edilebilir.
• Veriler yerel ağda kalır, token başına ücretlendirme yoktur ve ağırlıklar açık kaynaklıdır.
• RTX 4090 üzerinde 5 soruluk istekler yaklaşık 10 ms'de yanıtlanır.
• macOS, Windows, Linux ve Docker için destek sağlanır; GPU hızlandırma NVIDIA kartlarla mümkündür.