पब्लिश होने की तारीख: 13 जनवरी, 2025
यह एलएलएम चैटबॉट के बारे में तीन हिस्सों वाली सीरीज़ का आखिरी हिस्सा है. पिछले लेखों में, क्लाइंट-साइड एलएलएम की ताकत के बारे में बताया गया था. साथ ही, आपको WebLLM की मदद से काम करने वाले चैटबॉट को, काम की सूची वाले ऐप्लिकेशन में जोड़ने का तरीका बताया गया था.
कुछ नए डिवाइसों में, लार्ज लैंग्वेज मॉडल और अन्य एआई मॉडल पहले से ही मौजूद होते हैं. Chrome ने ब्राउज़र में पहले से मौजूद एआई एपीआई को इंटिग्रेट करने का सुझाव दिया है. साथ ही, कई एपीआई डेवलपमेंट के अलग-अलग चरणों में हैं. इनमें से कई एपीआई, स्टैंडर्ड प्रोसेस से गुज़र रहे हैं, ताकि वेबसाइटें एक ही मॉडल और प्रोसेस का इस्तेमाल करके, अनुमान लगाने की बेहतर परफ़ॉर्मेंस हासिल कर सकें.
Prompt API, ऐसा ही एक एआई एपीआई है. इसका इस्तेमाल करने के लिए, डेवलपर को Early Preview Program के लिए साइन अप करने का सुझाव दिया जाता है. स्वीकार किए जाने के बाद, आपको ब्राउज़र में Prompt API चालू करने के तरीके के बारे में निर्देश मिलेंगे. Prompt API, Chrome एक्सटेंशन के लिए ऑरिजिन ट्रायल में उपलब्ध है. इसलिए, एक्सटेंशन का इस्तेमाल करने वाले असली उपयोगकर्ताओं के लिए इस एपीआई को टेस्ट किया जा सकता है.
मॉडल का ऐक्सेस शेयर करना
Prompt API, WebLLM की तरह ही काम करता है. हालांकि, इस बार मॉडल चुनने का कोई विकल्प नहीं है. आपको ब्राउज़र के साथ शिप होने वाले एलएलएम का इस्तेमाल करना होगा. पहले से मौजूद एआई को चालू करने पर, Chrome ब्राउज़र में Gemini Nano डाउनलोड करता है. इसके बाद, इस मॉडल को कई ऑरिजिन में शेयर किया जा सकता है. साथ ही, यह मॉडल सबसे अच्छी परफ़ॉर्मेंस के साथ काम करता है. GitHub पर एक समस्या है, जिसमें डेवलपर ने मॉडल चुनने की सुविधा जोड़ने का अनुरोध किया है.
बातचीत सेट अप करना
मैसेज की बातचीत को ठीक उसी तरह से शुरू किया जा सकता है. हालांकि, Prompt API, सिस्टम प्रॉम्प्ट को तय करने के लिए शॉर्टहैंड सिंटैक्स भी उपलब्ध कराता है. LanguageModel इंटरफ़ेस पर, create() तरीके का इस्तेमाल करके, भाषा मॉडल सेशन शुरू करें:
const session = await LanguageModel.create({
initialPrompt: [
{
type: 'system',
content: `You are a helpful assistant. You will answer questions related
to the user's to-do list. Decline all other requests not related to the
user's todos. This is the to-do list in JSON: ${JSON.stringify(todos)}`,
},
],
});
अपने पहले सवाल का जवाब दें
स्ट्रीमिंग को कॉन्फ़िगर करने के लिए कॉन्फ़िगरेशन ऑब्जेक्ट के बजाय, Prompt API दो अलग-अलग तरीके उपलब्ध कराता है:
prompt()पूरी स्ट्रिंग दिखाता हैpromptStreaming()एसिंक इटरेटबल दिखाता है. WebLLM के उलट, Prompt API पूरे स्ट्रिंग रिस्पॉन्स के साथ जवाब देता है. इसलिए, आपको नतीजों को खुद से जोड़ने की ज़रूरत नहीं होती.
अगर किसी अन्य ऑरिजिन ने मॉडल को पहले डाउनलोड नहीं किया है, तो आपके पहले अनुरोध में बहुत ज़्यादा समय लग सकता है. ऐसा तब होता है, जब Gemini Nano को आपके ब्राउज़र में डाउनलोड किया जा रहा हो. अगर मॉडल पहले से उपलब्ध है, तो अनुमान लगाने की प्रोसेस तुरंत शुरू हो जाती है.
const stream = session.promptStreaming("How many open todos do I have?");
for await (const reply of stream) {
console.log(reply);
}
डेमो
खास जानकारी
ऐप्लिकेशन में एलएलएम को इंटिग्रेट करने से, उपयोगकर्ता अनुभव को काफ़ी हद तक बेहतर बनाया जा सकता है. क्लाउड सेवाएं, उपयोगकर्ता के डिवाइस के हिसाब से बेहतर क्वालिटी वाले मॉडल और अनुमान लगाने की बेहतर परफ़ॉर्मेंस देती हैं. वहीं, डिवाइस पर काम करने वाले समाधान, जैसे कि WebLLM और Chrome का Prompt API, ऑफ़लाइन काम कर सकते हैं. साथ ही, ये क्लाउड-आधारित विकल्पों की तुलना में, निजता को बेहतर बनाते हैं और लागत को कम करते हैं. इन नए एपीआई को आज़माएं और अपने वेब ऐप्लिकेशन को ज़्यादा स्मार्ट बनाएं.