Cihazda çalışan yapay zekâ
Kabinde aç →Sample note, replace me.
Yapay zekâ denince çoğumuzun aklına uzaktaki dev bir veri merkezi geliyor. Oysa bugün cebimizdeki telefon ya da masamızdaki dizüstü bilgisayar, pek çok iş için yeterince güçlü. Modeli kullanıcının kendi cihazında çalıştırmak, üç sorunu birden çözer.
Gizlilik
Yazdığınız metin, söylediğiniz söz ya da çektiğiniz fotoğraf cihazdan hiç çıkmaz. Söz vermeye gerek yoktur, çünkü sızacak bir şey yoktur.
Maliyet
Sunucu yoksa istek başına ücret de yoktur. Küçük bir hobi projesi, kullanıcı sayısı artsa bile ücretsiz kalabilir.
Çevrimdışı çalışma
Uçakta, trende ya da dağ başında da çalışır. İlk ziyarette model indirilir, sonrasında bağlantıya ihtiyaç kalmaz.
Peki bedeli ne?
Küçük modeller her şeyi bilmez. Geniş bilgi ya da uzun akıl yürütme isteyen işlerde zorlanırlar. Bu yüzden onlara dar ve iyi tanımlanmış görevler vermek gerekir: konuşmayı yazıya dökmek, metni özetlemek, benzer içerikleri bulmak gibi.
Konunun ayrıntılarını İngilizce üç bölümlük bir seride yazdım; ilk bölüm: Why run the model on the device.