लार्ज लैंग्वेज मॉडल की परफ़ॉर्मेंस, काफ़ी हद तक इस बात पर निर्भर करती है कि हम उसे कैसे निर्देश देते हैं. प्रॉम्प्ट इंजीनियरिंग, एलएलएम से बेहतरीन आउटपुट पाने के लिए, सवालों को इस तरह से तैयार करने की प्रोसेस है. एलएलएम पर आधारित सुविधा को लागू करने के लिए, यह एक ज़रूरी चरण है.
प्रॉम्प्ट इंजीनियरिंग, बार-बार की जाने वाली प्रोसेस है. अगर आपने अलग-अलग एलएलएम का इस्तेमाल किया है, तो आपने शायद यह देखा होगा कि बेहतर नतीजे पाने के लिए, आपको अपने प्रॉम्प्ट में बदलाव करना पड़ा.
यह अलग-अलग साइज़ के मॉडल के लिए भी सही है.
Gemini या ChatGPT जैसे बड़े एलएलएम पर आधारित चैट इंटरफ़ेस, अक्सर कम से कम प्रॉम्प्ट के साथ संतोषजनक नतीजे दे सकते हैं. हालांकि, डिफ़ॉल्ट रूप से उपलब्ध छोटे एलएलएम के साथ काम करते समय, आपको अपने तरीके में बदलाव करना होगा.
छोटे एलएलएम, कम शक्तिशाली होते हैं और उनके पास जानकारी का छोटा पूल होता है.
"छोटे एलएलएम" से हमारा क्या मतलब है?
एलएलएम के साइज़ के बारे में जानकारी देना मुश्किल होता है. साथ ही, इन्हें बनाने वाली कंपनियां हमेशा इस बारे में जानकारी नहीं देती हैं.
इस दस्तावेज़ में, "छोटे एलएलएम" का मतलब 30 अरब से कम पैरामीटर वाले किसी भी मॉडल से है. आज की तारीख में, लाखों से लेकर अरबों पैरामीटर वाले मॉडल को ब्राउज़र में चलाया जा सकता है. साथ ही, इन्हें उपभोक्ता स्तर के डिवाइसों पर भी चलाया जा सकता है.
छोटे एलएलएम का इस्तेमाल कहां किया जाता है?
- डिवाइस पर/ब्राउज़र में जनरेटिव एआई. उदाहरण के लिए, अगर MediaPipe के LLM Inference API के साथ Gemma 2B का इस्तेमाल किया जा रहा है (यह सिर्फ़ सीपीयू वाले डिवाइसों के लिए भी सही है) या ब्राउज़र में DistilBert का इस्तेमाल Transformers.js के साथ किया जा रहा है. किसी मॉडल को डाउनलोड करके, उपयोगकर्ता के डिवाइस पर अनुमान लगाने की सुविधा सिर्फ़ इन छोटे एलएलएम के साथ उपलब्ध है. ऐसा इसलिए, ताकि वेब डाउनलोड को सही रखा जा सके और डिवाइस की मेमोरी और GPU/CPU की सीमाओं के हिसाब से काम किया जा सके.
- कस्टम सर्वर-साइड जनरेटिव एआई. Gemma 2B, Gemma 7B या Gemma 27B जैसे छोटे ओपन-वेट मॉडल, आपके सर्वर पर चलाने के लिए उपलब्ध हैं. साथ ही, इन्हें अपनी ज़रूरत के हिसाब से बेहतर बनाया जा सकता है.
अपनी प्रोफ़ाइल बनाना शुरू करें
Gemini या ChatGPT जैसे बड़े एलएलएम पर आधारित चैट इंटरफ़ेस, कम से कम प्रॉम्प्ट में भी अक्सर संतोषजनक नतीजे दे सकते हैं. हालांकि, छोटे एलएलएम के साथ काम करते समय, आपको अपने तरीके में बदलाव करना होगा. छोटे एलएलएम, कम शक्तिशाली होते हैं और उनके पास जानकारी का छोटा पूल होता है.
संदर्भ और फ़ॉर्मैट से जुड़े सटीक निर्देश देना
छोटे एलएलएम से बेहतर नतीजे पाने के लिए, ज़्यादा जानकारी वाले और सटीक प्रॉम्प्ट लिखें.
उदाहरण के लिए:
Based on a user review, provide a product rating as an integer between 1 and 5. \n
Only output the integer.
Review: "${review}"
Rating:
| इनपुट (समीक्षा) | आउटपुट (रेटिंग) | |
|---|---|---|
| बड़ा एलएलएम (Gemini 1.5) | छोटा एलएलएम (Gemma 2B) | |
| यह ड्रेस मुझ पर बहुत अच्छी लग रही है! यह बैग, वज़न को अच्छी तरह से बांटता है. साथ ही, पूरे दिन की लंबी यात्राओं में भी यह काफ़ी आरामदायक होता है. सुझाव दिया जा सकता है. | 5 | पांच में से चार स्टार** |
| स्ट्रैप बहुत पतले हैं और भारी सामान रखने पर, ये मेरे कंधों में धंसने लगे. | 1 | 2/5 |
Gemini 1.5, इस आसान प्रॉम्प्ट के साथ मनमुताबिक आउटपुट देता है. हालांकि, Gemma का आउटपुट संतोषजनक नहीं है:
- फ़ॉर्मैट गलत है. हमने रेटिंग के लिए पूर्णांक का अनुरोध किया है.
- रेटिंग सटीक नहीं लग रही है. पहली समीक्षा में, 5 स्टार रेटिंग देने के लिए ज़रूरी जानकारी मौजूद है.
इस समस्या को हल करने के लिए, हमें प्रॉम्प्ट इंजीनियरिंग की तकनीकों का इस्तेमाल करना होगा. जैसे, एक, कुछ, और कई बार प्रॉम्प्ट करना और सोच-विचार करके जवाब देने के लिए प्रॉम्प्ट करना. हमें फ़ॉर्मैट के बारे में साफ़ तौर पर निर्देश देने होंगे. साथ ही, यह भी बताना होगा कि मॉडल को रेटिंग की पूरी रेंज का इस्तेमाल करना चाहिए.
उदाहरण के लिए:
`Analyze a product review, and then based on your analysis give me the
corresponding rating (integer). The rating should be an integer between 1 and
5. 1 is the worst rating, and 5 is the best rating. A strongly dissatisfied
review that only mentions issues should have a rating of 1 (worst). A strongly
satisfied review that only mentions positives and upsides should have a rating
of 5 (best). Be opinionated. Use the full range of possible ratings (1 to
5). \n\n
\n\n
Here are some examples of reviews and their corresponding analyses and
ratings:
\n\n
Review: 'Stylish and functional. Not sure how it'll handle rugged outdoor
use, but it's perfect for urban exploring.'
Analysis: The reviewer appreciates the product's style and basic
functionality. They express some uncertainty about its ruggedness but
overall find it suitable for their intended use, resulting in a positive,
but not top-tier rating.
Rating (integer): 4
\n\n
Review: 'It's a solid backpack at a decent price. Does the job, but nothing
particularly amazing about it.'
Analysis: This reflects an average opinion. The backpack is functional and
fulfills its essential purpose. However, the reviewer finds it unremarkable
and lacking any standout features deserving of higher praise.
Rating (integer): 3
\n\n
Review: 'The waist belt broke on my first trip! Customer service was unresponsive too. Would not recommend.'
Analysis: A serious product defect and poor customer service experience naturally warrants the lowest possible rating. The reviewer is extremely unsatisfied with both the product and the company.
Rating (integer): 1
\n\n
Review: 'Love how many pockets and compartments it has. Keeps everything organized on long trips. Durable too!'
Analysis: The enthusiastic review highlights specific features the user loves (organization and durability), indicating great satisfaction with the product. This justifies the highest rating.
Rating (integer): 5
\n\n
Review: 'The straps are a bit flimsy, and they started digging into my shoulders under heavy loads.'
Analysis: While not a totally negative review, a significant comfort issue leads the reviewer to rate the product poorly. The straps are a key component of a backpack, and their failure to perform well under load is a major flaw.
Rating (integer): 1
\n\n
Now, here is the review you need to assess:
\n
Review: "${review}" \n`;
| इनपुट (समीक्षा) | छोटे एलएलएम (Gemma 2B) का इस्तेमाल करके जनरेट किया गया आउटपुट |
|---|---|
यह ड्रेस मुझ पर बहुत अच्छी लग रही है! यह बैग, वज़न को अच्छी तरह से बांटता है. साथ ही, पूरे दिन की लंबी यात्राओं में भी यह काफ़ी आरामदायक होता है. सुझाव दिया जा सकता है. |
विश्लेषण: यह समीक्षा बहुत अच्छी है. इसमें प्रॉडक्ट के फ़िट और आराम पर ज़ोर दिया गया है. इससे पता चलता है कि खरीदार प्रॉडक्ट से बहुत संतुष्ट है. इस वजह से, इसे ज़्यादा रेटिंग दी जा सकती है. रेटिंग (पूर्णांक): 5 |
इसके स्ट्रैप बहुत पतले हैं और भारी सामान रखने पर, ये मेरे कंधों में धंसने लगे. |
**विश्लेषण:** समीक्षा में बताया गया है कि स्ट्रैप पहनने में बहुत असहज हैं. इससे यह भी पता चलता है कि प्रॉडक्ट, भारी सामान ले जाने या लंबे समय तक बाहर रहने के लिए सही नहीं हो सकता. **रेटिंग:** 1 (सबसे खराब) |
हमने ज़्यादा जानकारी वाला प्रॉम्प्ट तैयार किया है. साथ ही, फ़्यू-शॉट प्रॉम्प्टिंग और चेन-ऑफ़-थॉट प्रॉम्प्टिंग की तकनीकों का इस्तेमाल किया है. इससे हमें ज़्यादा सटीक रेटिंग मिलती हैं.
मैन्युअल तरीके से आउटपुट पार्स करने की सुविधा
आपको एलएलएम के आउटपुट को हमेशा मैन्युअल तरीके से साफ़ करना चाहिए और उसकी व्याख्या करनी चाहिए. यह खास तौर पर छोटे एलएलएम के लिए ज़रूरी है, क्योंकि ये कम सटीक नतीजे दे सकते हैं. साथ ही, इसके लिए चेन-ऑफ़-थॉट प्रॉम्प्टिंग की ज़रूरत पड़ सकती है.
पहले उदाहरण में, हमने चेन-ऑफ़-थॉट प्रॉम्प्टिंग का इस्तेमाल किया है. इसलिए, आउटपुट में विश्लेषण और रेटिंग, दोनों शामिल हैं. हमें रेटिंग के लिए मैन्युअल तरीके से पार्स करना होगा. इसके अलावा, पिछले सेक्शन में दिए गए आउटपुट में फ़ॉर्मैटिंग में अंतर है: मॉडल कभी-कभी मार्कडाउन फ़ॉर्मैट में आउटपुट देता है, लेकिन हर बार ऐसा नहीं होता.
// Use try/catch to catch (parsing) errors
try {
// Parse the output for a rating
const int = /[1-5]/;
const ratingAsString = llmOutput.match(int)[0];
// Parse as int
const ratingAsInt = parseInt(ratingAsString);
// `checkRating` checks the rating is a number between 1 and 5, since the
// regEx may catch a number like "100"
const finalRating = checkRating(ratingAsInt);
} catch (e) {
console.error('Error', e);
}
Mind API के बीच अंतर
Gemini API या OpenAI जैसे एलएलएम क्लाउड एपीआई, आम तौर पर बड़े एलएलएम के लिए एंट्री पॉइंट होते हैं. ये प्रॉम्प्ट से जुड़ी काम की सुविधाएं देते हैं. उदाहरण के लिए, Gemini 1.5 Pro में सिस्टम के निर्देश और JSON मोड उपलब्ध है.
फ़िलहाल, ये सुविधाएं हमेशा कस्टम मॉडल के इस्तेमाल के लिए उपलब्ध नहीं होती हैं. इसके अलावा, ये सुविधाएं ब्राउज़र में मौजूद एआई एपीआई का इस्तेमाल करके ऐक्सेस किए जाने वाले छोटे एलएलएम के लिए भी उपलब्ध नहीं होती हैं. जैसे, MediaPipe LLM Inference API या Transformers.js. यह ज़रूरी नहीं कि यह तकनीकी समस्या हो. हालांकि, ब्राउज़र में मौजूद एआई एपीआई, कम संसाधनों का इस्तेमाल करते हैं.
Mind टोकन की सीमाएं
छोटे एलएलएम के लिए, आपको अपने प्रॉम्प्ट में उदाहरण या ज़्यादा जानकारी वाले निर्देश शामिल करने होंगे. इसलिए, यह प्रॉम्प्ट लंबा होगा और इसमें इनपुट टोकन की सीमा का ज़्यादा हिस्सा इस्तेमाल होगा.
इसके अलावा, छोटे मॉडल में इनपुट टोकन की सीमा कम होती है. उदाहरण के लिए, Gemini 1.5 Pro में इनपुट टोकन की सीमा 10 लाख है, जबकि Gemma मॉडल में कॉन्टेक्स्ट विंडो 8K है.
सीमा से ज़्यादा टोकन इस्तेमाल करने से बचने के लिए, टोकन की गिनती करने वाले फ़ंक्शन का इस्तेमाल करें.
यात्रा में लगने वाले समय के अनुमानों को अडजस्ट करना
इंजीनियरिंग के लिए अनुमानित समय में, प्रॉम्प्ट डिज़ाइन और टेस्टिंग को शामिल करें.
एपीआई में अंतर और टोकन की सीमाओं की वजह से, आपको बड़े एलएलएम के मुकाबले छोटे एलएलएम के लिए प्रॉम्प्ट बनाने में ज़्यादा समय और मेहनत करनी पड़ सकती है. एलएलएम के आउटपुट की जांच और पुष्टि करने में भी ज़्यादा समय लग सकता है.
प्रॉम्प्ट इंजीनियर बनाम फ़ाइन ट्यूनिंग?
वेब डेवलपर के लिए, हम कस्टम ट्रेनिंग और फ़ाइन-ट्यूनिंग के बजाय जनरेटिव एआई का इस्तेमाल करने के लिए, प्रॉम्प्ट इंजीनियरिंग को प्राथमिकता देते हैं. हालांकि, कुछ मामलों में ऐडवांस प्रॉम्प्ट इंजीनियरिंग भी काफ़ी नहीं हो सकती. खास तौर पर, अगर छोटे एलएलएम का इस्तेमाल किया जा रहा हो.
फ़ाइन-ट्यूनिंग का इस्तेमाल तब करें, जब:
- आपको किसी खास काम के लिए, सबसे सटीक और बेहतर परफ़ॉर्मेंस की ज़रूरत होती है. फ़ाइन ट्यूनिंग की मदद से, मॉडल के इंटरनल पैरामीटर को सीधे तौर पर अडजस्ट किया जाता है, ताकि बेहतर नतीजे मिल सकें.
- आपके पास अच्छी तरह से तैयार किया गया डेटा है, जो आपके टास्क के हिसाब से काम का है. साथ ही, उसे पसंदीदा आउटपुट के हिसाब से लेबल किया गया है. बेहतर फ़ाइन-ट्यूनिंग के लिए, आपको इस डेटा की ज़रूरत होती है.
- आपने मॉडल का इस्तेमाल एक ही मकसद के लिए बार-बार किया हो. फ़ाइन ट्यूनिंग एक बार की जा सकती है और इसका इस्तेमाल किसी खास टास्क के लिए दोबारा किया जा सकता है.