Yayın tarihi: 13 Ocak 2025
Bu makale, LLM chatbot'lar hakkındaki üç bölümlük serinin son bölümüdür. Önceki makalelerde istemci tarafı LLM'lerin gücü ele alınmış ve yapılacaklar listesi uygulamasına WebLLM destekli bir chatbot ekleme süreci açıklanmıştı.
Bazı yeni cihazlar, büyük dil modelleri ve diğer yapay zeka modelleriyle birlikte gelir. Chrome, farklı geliştirme aşamalarındaki bir dizi API ile yerleşik yapay zeka API'lerini tarayıcıya entegre etmeyi önerdi. Bu API'lerin çoğu, web sitelerinin maksimum çıkarım performansı elde etmek için aynı uygulamayı ve modeli kullanabilmesi amacıyla standartlaştırma sürecinden geçmektedir.
Prompt API, bu tür yapay zeka API'lerinden biridir. Geliştiricilerin bu özelliği kullanmak için Erken Önizleme Programı'na kaydolmaları önerilir. Kabul edildikten sonra, Prompt API'yi tarayıcılarda nasıl etkinleştireceğinize dair talimatlar alırsınız. Prompt API, Chrome uzantıları için kaynak denemesi olarak kullanılabilir. Bu sayede, bu API'yi gerçek uzantı kullanıcıları için test edebilirsiniz.
Paylaşılan model erişimi
Prompt API, WebLLM'ye benzer şekilde çalışır. Ancak bu sefer model seçimi yok (tarayıcıyla birlikte gelen LLM'yi kullanmanız gerekir). Yerleşik yapay zekayı etkinleştirdiğinizde Chrome, tarayıcıya temel bir model indirir. Bu model daha sonra birden fazla kaynakta paylaşılabilir ve maksimum performansla çalışır. Bir geliştiricinin model seçimi özelliği eklenmesini istediği bir GitHub sorunu var.
Görüşmeyi ayarlama
Mesaj yazışmasını aynı şekilde başlatabilirsiniz ancak Prompt API, sistem istemini belirtmek için kısa bir söz dizimi de sunar. LanguageModel arayüzünde create() yöntemini kullanarak dil modeli oturumunu başlatın:
const session = await LanguageModel.create({
initialPrompt: [
{
type: 'system',
content: `You are a helpful assistant. You will answer questions related
to the user's to-do list. Decline all other requests not related to the
user's todos. This is the to-do list in JSON: ${JSON.stringify(todos)}`,
},
],
});
İlk sorunuzu yanıtlayın
Prompt API, akışı yapılandırmak için bir yapılandırma nesnesi yerine iki ayrı yöntem sunar:
prompt(), dizenin tamamını döndürür.promptStreaming(), eşzamansız bir yinelenebilir döndürür. WebLLM'nin aksine, Prompt API tam dize yanıtıyla karşılık verir. Bu nedenle, sonuçları kendiniz birleştirmeniz gerekmez.
Daha önce başka bir kaynak model indirme işlemini tetiklemediyse model tarayıcınıza indirilirken ilk isteğiniz çok uzun sürebilir. Model zaten kullanıma sunulmuşsa çıkarım işlemi hemen başlar.
const stream = session.promptStreaming("How many open todos do I have?");
for await (const reply of stream) {
console.log(reply);
}
Demo
Özet
Büyük dil modellerini uygulamalara entegre etmek, kullanıcı deneyimini önemli ölçüde iyileştirebilir. Bulut hizmetleri, kullanıcının cihazından bağımsız olarak daha yüksek kaliteli modeller ve yüksek çıkarım performansı sunarken WebLLM ve Chrome'un Prompt API'si gibi cihaz üzerinde çözümler, çevrimdışı olarak kullanılabilir, gizliliği artırır ve bulut tabanlı alternatiflere kıyasla maliyet tasarrufu sağlar. Bu yeni API'leri deneyerek web uygulamalarınızı daha akıllı hale getirin.