Yapay zeka ile geliştirme yapmadan önce yapay zekanın üzerinde barındırıldığı platformu seçmeniz gerekir. Seçiminiz, yapay zeka sisteminizin hızını, maliyetini, ölçeklenebilirliğini ve güvenilirliğini etkiler. Aşağıdakilerden birini seçebilirsiniz:
- İstemci taraflı yapay zeka: Doğrudan tarayıcıda çalışır. Bu sayede veriler kullanıcının cihazında gizli kalabilir ve ağ gecikmesi olmaz. Ancak istemci tarafı yapay zekanın iyi performans göstermesi için son derece spesifik ve iyi tanımlanmış kullanım alanları gerekir.
- Sunucu tarafı yapay zeka: Bulutta çalışır. Son derece yetenekli ve ölçeklenebilir olsa da gecikme ve maliyet açısından daha pahalıdır.
Her seçeneğin avantajları ve dezavantajları vardır. Doğru kurulum, kullanım alanınıza, ekibinizin becerilerine ve kaynaklarınıza bağlıdır. Örneğin, kullanıcıların kimliği tanımlayabilecek bilgileri (PII) yönetmesi gerekmeden kişisel sorular sorabilmesi için yerel olarak çalışan bir özetleme aracı sunabilirsiniz. Ancak müşteri desteği temsilcisi, büyük bir kaynak veritabanına erişimi olan bulut tabanlı bir model kullanarak daha faydalı yanıtlar verebilir.
Bu modülde şunları öğreneceksiniz:
- İstemci tarafı ve sunucu tarafı yapay zeka arasındaki avantaj ve dezavantajları karşılaştırın.
- Platformunuzu kullanım alanınıza ve ekibinizin özelliklerine göre eşleştirin.
- Ürününüzle birlikte büyümenizi sağlayacak, istemci ve sunucuda yapay zeka sunan hibrit sistemler tasarlayın.
Seçenekleri inceleme
Dağıtım için yapay zeka platformlarını iki temel eksen üzerinde düşünebilirsiniz. Aşağıdakilerden birini seçebilirsiniz:
- Modelin çalıştığı yer: İstemci tarafında mı yoksa sunucu tarafında mı çalışıyor?
- Özelleştirilebilirlik: Modelin bilgisi ve yetenekleri üzerinde ne kadar kontrol sahibisiniz? Modeli kontrol edebiliyorsanız (yani model ağırlıklarını değiştirebiliyorsanız) davranışını belirli gereksinimlerinizi karşılayacak şekilde özelleştirebilirsiniz.
İstemci tarafı yapay zeka
İstemci tarafı yapay zeka tarayıcıda çalışır ve hesaplama kullanıcının cihazında yerel olarak yapılır. Çıkarım zamanı hesaplama için kaynak sağlamanız gerekmez ve veriler kullanıcının makinesinde kalır. Bu sayede hızlı, gizli ve hafif, etkileşimli deneyimler için uygun hale gelir.
Ancak istemci tarafı modelleri genellikle oldukça küçüktür. Bu durum, yeteneklerini ve performanslarını kısıtlayabilir. Bu modeller, toksisite algılama veya duygu analizi gibi son derece uzmanlık gerektiren görevler için en uygundur. Bunlar genellikle sınırlı çıkış alanına sahip tahmini yapay zeka görevleridir.
İki temel seçenek vardır:
- Yerleşik yapay zeka: Google Chrome ve Microsoft Edge gibi tarayıcılara yapay zeka modelleri entegre ediliyor. Bunlara JavaScript çağrıları üzerinden erişilebilir. Kurulum veya barındırma gerekmez. Model indirildikten sonra, bunu kullanan tüm web siteleri tarafından çağrılabilir.
- Özel modeller: Modelleri uygulamanıza entegre etmek için Transformers.js ve MediaPipe gibi istemci tarafı kitaplıklarını kullanabilirsiniz. Bu, model ağırlıklarını kontrol edebileceğiniz anlamına gelir. Ancak bu, web sitenizin her kullanıcısının özel modelinizi indirmesi gerektiği anlamına da gelir. En küçük yapay zeka modelleri bile bir web sitesi bağlamında büyüktür.
Sunucu tarafı yapay zeka
Sunucu tarafı yapay zeka ile web uygulamanız, girişleri yapay zeka modeline göndermek ve çıkışlarını almak için bir API çağırır. Bu kurulum, daha büyük ve daha karmaşık modelleri destekler ve kullanıcı donanımından bağımsızdır.
Sunucu tarafı yapay zeka için iki kategori vardır:
- Yönetilen hizmetler: Bunlar, Gemini 3 ve GPT-5 gibi üçüncü taraflarca veri merkezlerinde barındırılan modellerdir. Model sahibi, modele erişmek için bir API sağlar. Bu sayede, en yeni modelleri minimum kurulumla kullanabilirsiniz. Bu modeller; hızlı prototip oluşturma, açık uçlu sohbet ve genel amaçlı akıl yürütme için idealdir. Ancak, yönetilen bir hizmette ölçeklendirme yapmak pahalı olabilir.
- Kendi bünyesinde barındırılan modeller: Gemma veya Llama gibi açık ağırlıklı modelleri kendi altyapınızda ya da Vertex AI veya Hugging Face Inference gibi yönetilen bir kapsayıcıda dağıtabilirsiniz. Bu yaklaşım, model oluşturucunun yaptığı ön eğitimden yararlanabileceğiniz ancak model, ince ayar verileri ve performans üzerinde kontrolü elinizde tutabileceğiniz anlamına gelir.
Başlangıç platformu seçme
Yapay zeka platformlarının mimari özelliklerini inceleyin ve ilk kurulumunuza karar vermek için ödünleri analiz edin.
Mimari gereksinimlerinizi tanımlayın
Her kararda taviz vermeniz gerekir. Yapay zeka platformunuzun maliyetini ve değerini belirleyen temel özelliklere göz atın:
- Model gücü: Modelin, ince ayar yapılmadan çok çeşitli kullanıcı ve görevlerde ne kadar iyi performans gösterdiği. Bu durum genellikle model boyutuyla ilişkilidir.
- Özelleştirilebilirlik: Model davranışını ve mimarisini ne ölçüde hassaslaştırabileceğiniz, değiştirebileceğiniz veya kontrol edebileceğiniz.
- Doğruluk: Modelin tahminlerinin veya oluşturma işlemlerinin genel kalitesi ve güvenilirliği.
- Gizlilik: Kullanıcı verilerinin yerel olarak kalma ve kullanıcı kontrolünde olma derecesi.
- Sabit maliyet: Altyapı sağlama ve bakım dahil olmak üzere, kullanımdan bağımsız olarak yapay zeka sisteminin çalıştırılması için gereken yinelenen gider.
- İstek başına maliyet: Her gelen isteğin ek maliyeti.
- Uyumluluk: Yaklaşımın, geri dönüş mantığı olmadan tarayıcılarda, cihazlarda ve ortamlarda ne kadar yaygın olarak çalıştığı.
- Kullanıcı kolaylığı: Kullanıcıların yapay zeka sistemini kullanmak için ek adımlar atması gerekip gerekmediği (ör. model indirme).
- Geliştirici kolaylığı: Çoğu geliştiricinin, özel yapay zeka uzmanlığına ihtiyaç duymadan modeli dağıtması, entegre etmesi ve bakımını yapması ne kadar hızlı ve kolaydır?
Aşağıdaki tabloda, her bir platformun her ölçüt için ne kadar iyi performans gösterdiğine dair tahminlere örnek verilmiştir. Burada 1 en düşük, 5 ise en yüksek değerdir.
| Ölçütler | İstemci | Sunucu | ||
| Yerleşik yapay zeka veya cihaz üzerinde | Özel model | Yönetilen hizmet | Kendinden barındırılan model | |
| Model gücü |
Model gücü için neden 2 yıldız?Yerleşik ve cihaz üzerinde yapay zeka, açık uçlu sohbet veya akıl yürütme yerine dar, göreve özgü özellikler için optimize edilmiş küçük, önceden yüklenmiş tarayıcı modellerini kullanır. |
Model gücü için neden 3 yıldız?Özel istemci tarafı kitaplıklar, yerleşik yapay zekaya kıyasla daha fazla esneklik sunar ancak yine de indirme boyutu, bellek sınırları ve kullanıcı donanımıyla sınırlısınızdır. |
Model gücü için neden 4 yıldız?Yönetilen hizmetler ve kendi kendine barındırma ile karmaşık akıl yürütme, uzun bağlam işleme ve geniş görev kapsamı özelliklerine sahip büyük ve son teknoloji modellere erişebilirsiniz. |
|
| Özelleştirilebilirlik |
Özelleştirilebilirlik için neden 1 yıldız?Yerleşik modeller, model ağırlıklarına veya eğitim verilerine erişime izin vermez. Davranışlarını özelleştirmenin temel yolu istem mühendisliğidir. |
Özelleştirilebilirlik için neden 5 yıldız?Bu seçenek, model seçimi ve ağırlıkları üzerinde kontrol sahibi olmanızı sağlar. Birçok istemci tarafı kitaplık, modelin ince ayarını yapmaya ve eğitilmesine de olanak tanır. |
Özelleştirilebilirlik için neden 1 yıldız?Yönetilen hizmetler, güçlü modelleri kullanıma sunar ancak bu modellerin dahili davranışları üzerinde minimum kontrol sağlar. Özelleştirme genellikle istem ve giriş bağlamıyla sınırlıdır. |
Özelleştirilebilirlik için neden 5 yıldız?Kendi kendine barındırılan modeller, model ağırlıkları, eğitim verileri, ince ayar ve dağıtım yapılandırması üzerinde tam kontrol sağlar. |
| Doğruluk |
Doğruluk için neden 2 yıldız?Yerleşik modellerin doğruluğu, kapsamı iyi belirlenmiş görevler için yeterlidir ancak sınırlı model boyutu ve genelleme, karmaşık veya ayrıntılı girişlerde güvenilirliği azaltır. |
Doğruluk için neden 3 yıldız?Model seçme sürecinde özel istemci tarafı model doğruluğu iyileştirilebilir. Ancak model boyutu, nicemleme ve istemci donanımındaki değişkenlik nedeniyle sınırlı kalır. |
Doğruluk için neden 5 yıldız?Yönetilen hizmetler genellikle nispeten yüksek doğruluk sunar. Büyük modellerden, kapsamlı eğitim verilerinden ve sağlayıcının sürekli iyileştirmelerinden yararlanır. |
Doğruluk için neden 4 yıldız?Doğruluk yüksek olabilir ancak seçilen modele ve ayarlama çabasına bağlıdır. Performans, yönetilen hizmetlerin gerisinde kalabilir. |
| Ağ gecikmesi |
Ağ gecikmesi için neden 5 yıldız?İşleme doğrudan kullanıcının cihazında gerçekleşir. |
Ağ gecikmesi için neden 2 yıldız?Sunucuya gidiş-dönüş yolculuk vardır. |
||
| Gizlilik |
Gizlilik için neden 5 yıldız?Kullanıcı verileri varsayılan olarak cihazda kalmalı, veri teşhirini en aza indirmeli ve gizlilikle ilgili uyumluluğu basitleştirmelidir. |
Gizlilik için neden 2 yıldız?Kullanıcı girişleri harici sunuculara gönderilmelidir. Bu durum, veri maruziyetini ve uyumluluk şartlarını artırır. Ancak Private AI Compute gibi gizlilik sorunlarını azaltmaya yönelik belirli çözümler vardır. |
Gizlilik için neden 3 yıldız?Veriler kuruluşunuzun kontrolünde kalmaya devam eder ancak kullanıcının cihazından ayrılır ve güvenli işlem ile uygunluk önlemleri gerektirir. |
|
| Sabit maliyet |
Sabit maliyet için neden 5 yıldız?Modeller, kullanıcıların mevcut cihazlarında çalıştığı için ek bir altyapı maliyeti yoktur. |
Sabit maliyet için neden 5 yıldız?Çoğu API, kullanıma göre ücretlendirildiğinden sabit bir maliyet yoktur. |
Sabit maliyet için neden 2 yıldız?Sabit maliyetler arasında altyapı, bakım ve işletme giderleri yer alır. |
|
| İstek başına maliyet |
Neden istek başına maliyet için 5 yıldız?Çıkarım kullanıcının cihazında çalıştığı için istek başına maliyet yoktur. |
Neden istek başına maliyet için 2 yıldız?Yönetilen hizmetler genellikle istek başına fiyatlandırmaya sahiptir. Özellikle yüksek trafik hacimlerinde ölçeklendirme maliyetleri önemli ölçüde artabilir. |
İstek başına maliyet için neden 3 yıldız veriliyor?İstek başına doğrudan maliyet yoktur. İstek başına etkili maliyet, altyapı kullanımına bağlıdır. |
|
| Uyumluluk |
Neden uyumluluk için 2 yıldız?Kullanılabilirlik tarayıcıya ve cihaza göre değişir. Desteklenmeyen ortamlarda yedek çözümler gerekir. |
Neden uyumluluk için 1 yıldız?Uyumluluk, donanım özelliklerine ve çalışma zamanı desteğine bağlıdır. Bu durum, cihazlar arasında erişimi sınırlar. |
Neden uyumluluk için 5 yıldız?Çıkarım sunucu tarafında gerçekleştiği ve istemciler yalnızca bir API kullandığı için sunucu tarafı platformlar tüm kullanıcılarla geniş ölçüde uyumludur. |
|
| Kullanıcı kolaylığı |
Kullanıcı kolaylığı için neden 3 yıldız?Kullanıma sunulduktan sonra genellikle sorunsuz bir şekilde çalışır ancak yerleşik yapay zeka için ilk modelin indirilmesi ve tarayıcı desteği gerekir. |
Kullanım kolaylığı için neden 2 yıldız veriliyor?Kullanıcılar, indirmeler veya desteklenmeyen donanımlar nedeniyle gecikmelerle karşılaşabilir. |
Kullanıcı kolaylığı için neden 4 yıldız?İndirme veya cihaz gereksinimi olmadan anında çalışır ve sorunsuz bir kullanıcı deneyimi sunar. Ancak ağ bağlantısı zayıfsa gecikme olabilir. |
|
| Geliştiricilere kolaylık |
Geliştirici kolaylığı için neden 5 yıldız?Yerleşik yapay zeka için minimum kurulum, altyapı ve yapay zeka uzmanlığı gerekir. Bu sayede entegrasyon ve bakım kolaylaşır. |
Geliştirici kolaylığı için neden 2 yıldız?Modellerin, çalışma zamanlarının, performans optimizasyonunun ve cihazlar arası uyumluluğun yönetilmesi gerekir. |
Geliştirici kolaylığı için neden 4 yıldız?Yönetilen hizmetler, dağıtımı ve ölçeklendirmeyi basitleştirir. Ancak yine de API entegrasyonu, maliyet yönetimi ve istem mühendisliği gerektirirler. |
Geliştirici kolaylığı için neden 1 yıldız?Özel bir sunucu tarafı dağıtımı için altyapı, model yönetimi, izleme ve optimizasyon konusunda önemli uzmanlık gerekir. |
| Bakım çabası |
Bakım çabası için neden 4 yıldız?Tarayıcılar model güncellemelerini ve optimizasyonu yönetir ancak geliştiricilerin değişen kullanılabilirliğe uyum sağlaması gerekir. |
Bakım çabası için neden 2 yıldız?Tarayıcılar ve cihazlar geliştikçe modeller, performans ayarlama ve uyumluluk için sürekli güncellemeler gerekir. |
Bakım çabası için neden 5 yıldız veriliyor?Bakım, sağlayıcı tarafından yapılır. |
Bakım çabası için neden 2 yıldız?Model güncellemeleri, altyapı yönetimi, ölçeklendirme ve güvenlik gibi sürekli bakım gerektirir. |
Avantajları ve dezavantajları analiz etme
Karar verme sürecini göstermek için orta ölçekli bir e-ticaret platformu olan Example Shoppe'a başka bir özellik ekleyeceğiz. Müşteri hizmetlerinin mesai saatleri dışında maliyetleri düşürmek istiyorsunuz. Bu nedenle, kullanıcıların siparişler, iadeler ve ürünlerle ilgili sorularını yanıtlamak için yapay zeka destekli bir asistan oluşturmaya karar veriyorsunuz.
Fırsat ve çözümü içeren tam yapay zeka sistemi planını inceleyebilirsiniz.
Senaryoyu iki açıdan analiz edin: kullanım alanı gereksinimleri ve işletme ya da ekip kısıtlamaları.
| Koşul | Analiz | Ölçütler | İmplikasyon (Implication) |
| Yüksek doğruluk ve çok yönlülük | Kullanıcılar siparişler, ürünler ve iadelerle ilgili çeşitli karmaşık sorular soruyor. | Model gücü, doğruluğu | Büyük dil modeli (LLM) gerektirir. |
| Veri özgüllüğü | Şirket verileri, ürünler ve politikalarla ilgili soruları yanıtlaması gerekir. | Özelleştirilebilirlik | RAG gibi veri alımı gerektirir ancak model ince ayarı gerektirmez. |
| Koşul | Analiz | Ölçütler | İmplikasyon (Implication) |
| Kullanıcı tabanı | Yüz binlerce kullanıcı | Ölçeklenebilirlik, uyumluluk | Yüksek ve güvenilir trafiği işleyebilen bir mimari gerektirir. |
| Lansman sonrası odak noktası | Ekip, 1. sürüm yayınlandıktan sonra diğer projelere geçer. | Bakım çalışması | Sürekli yapılması gereken bakım işlemlerini minimum düzeyde tutan bir çözüme ihtiyacım var. |
| Ekip uzmanlığı | Güçlü web geliştiriciler, sınırlı yapay zeka/makine öğrenimi uzmanlığı | Geliştirici kolaylığı | Çözüm, özel yapay zeka becerileri gerektirmeden kolayca dağıtılıp entegre edilebilmelidir. |
Ölçütlerinize öncelik verdiğinize göre, hangi platformun en yüksek öncelikli ölçütlerinize uygun olduğunu belirlemek için değişim tahmini tablosuna bakabilirsiniz:
Bu dökümden, sunucu tarafı yapay zeka ve muhtemelen yönetilen bir hizmet kullanmanız gerektiği açıkça anlaşılıyor. Bu, karmaşık müşteri soruları için çok yönlü bir model sunar. Altyapı, model kalitesi ve çalışma süresini sağlayıcıya devrederek bakım ve geliştirme çabasını en aza indirir.
Özelleştirme sınırlı olsa da bu, sınırlı model mühendisliği deneyimine sahip bir web geliştirme ekibi için değerli bir avantajdır.
Almayla artırılmış üretim (RAG) kurulumu, çıkarım sırasında modele alakalı bağlam sağlamanıza yardımcı olabilir.
Karma Yapay Zeka
Gelişmiş yapay zeka sistemleri nadiren tek bir platformda veya tek bir modelle çalışır. Bunun yerine, ödünleri optimize etmek için yapay zeka iş yüklerini dağıtırlar.
Hibrit yapay zeka fırsatlarını belirleme
Lansmanı yaptıktan sonra, gerçek hayattaki verilere ve geri bildirimlere göre gereksinimlerinizi iyileştirmeniz gerekir. Örneğimizde, Example Shoppe adlı işletme sonuçları analiz etmek için birkaç ay bekliyor ve şunları buluyor:
- İsteklerin yaklaşık% 80'i tekrarlanan isteklerdir ("Siparişim nerede?", "Bunu nasıl iade ederim?"). Bu isteklerin yönetilen bir hizmete gönderilmesi çok fazla ek yük ve maliyet oluşturur.
- İsteklerin yalnızca% 20'si daha derin bir muhakeme ve ucu açık, etkileşimli bir sohbet gerektiriyor.
Yerel olarak çalışan basit bir model, kullanıcı girişlerini sınıflandırabilir ve "İade politikanız nedir?" gibi rutin sorguları yanıtlayabilir. Karmaşık, nadir veya belirsiz soruları sunucu tarafı modele yönlendirebilirsiniz.
Hem sunucu taraflı hem de istemci taraflı yapay zekayı uygulayarak maliyetleri ve gecikmeyi azaltabilir, gerektiğinde güçlü akıl yürütme özelliğine erişmeye devam edebilirsiniz.
İş yükünü dağıtma
Example Shoppe için bu karma sistemi oluşturmak üzere varsayılan sistemi tanımlayarak başlamanız gerekir. Bu durumda, istemci tarafında başlamak en iyisidir. Uygulama, iki durumda sunucu tarafı yapay zekaya yönlendirme yapmalıdır:
- Uyumluluğa dayalı yedek: Kullanıcının cihazı veya tarayıcısı isteği işleyemiyorsa sunucuya geri dönülmelidir.
- Yeteneğe dayalı eskalasyon: Önceden belirlenmiş ölçütlere göre, istemci taraflı model için istek çok karmaşık veya açık uçluysa daha büyük bir sunucu taraflı modele yönlendirilmelidir. İsteği yaygın olarak sınıflandırmak için bir model kullanabilirsiniz. Böylece görevi istemci tarafında gerçekleştirebilirsiniz. İsteği yaygın olmayan olarak sınıflandırırsanız isteği sunucu tarafı sistemine gönderirsiniz. Örneğin, istemci tarafı modeli, sorunun farklı bir para biriminde geri ödeme alma gibi yaygın olmayan bir konuyla ilgili olduğunu belirlerse.
Esneklik, daha fazla karmaşıklık getirir
İş yüklerini iki platform arasında dağıtmak esnekliğinizi artırır ancak karmaşıklığı da artırır:
- Düzenleme: İki yürütme ortamı, daha fazla hareketli parça anlamına gelir. Yönlendirme, yeniden deneme ve yedekleme için mantığa ihtiyacınız vardır.
- Sürüm oluşturma: Platformlar arasında aynı modeli kullanıyorsanız bu model her iki ortamda da uyumlu olmalıdır.
- İstem mühendisliği ve bağlam mühendisliği: Her platformda farklı modeller kullanıyorsanız her biri için istem mühendisliği yapmanız gerekir.
- İzleme: Günlükler ve metrikler bölünür ve ek birleştirme çabası gerekir.
- Güvenlik: İki saldırı yüzeyini koruyorsunuz. Hem yerel hem de bulut uç noktalarının güvenliğinin artırılması gerekir.
Bu da göz önünde bulundurmanız gereken bir başka ödünleşme. Küçük bir ekibiniz varsa veya çok önemli olmayan bir özellik geliştiriyorsanız bu karmaşıklığı eklemek istemeyebilirsiniz.
Önemli noktalar
Platform seçiminizin zaman içinde değişmesini bekleyin. Kullanım alanından başlayın, ekibinizin deneyimi ve kaynaklarıyla uyumlu hale getirin, hem ürününüz hem de yapay zeka olgunluğunuz arttıkça yineleyin. Kullanıcılarınız için hız, gizlilik ve kontrolün doğru karışımını bulup esnek bir şekilde geliştirme yapmanız gerekir. Bu sayede, değişen koşullara uyum sağlayabilir ve gelecekteki platform ve model güncellemelerinden yararlanabilirsiniz.
Kaynaklar
- Platform ve model seçimi birbirine bağlı olduğundan model seçimi hakkında daha fazla bilgi edinin.
- Karma ve istemci tarafı yapay zeka ile bulutun ötesine nasıl geçeceğinizi öğrenin.
Anlayıp anlamadığınızı kontrol etme
Uygulamanız için yapay zeka platformu seçerken göz önünde bulundurmanız gereken iki temel faktör nedir?
Gemini Pro gibi sunucu tarafında yönetilen bir hizmet, platformunuz için ne zaman en iyi seçenek olur?
Hibrit yapay zeka sistemi uygulamanın temel avantajı nedir?