জেনারেটিভ এআই কৃত্রিম বুদ্ধিমত্তার ব্যবহারকে বোঝায় নতুন বিষয়বস্তু যেমন পাঠ্য, ছবি, সঙ্গীত, অডিও এবং ভিডিও তৈরি করতে। জেনারেটিভ AI মানুষের তৈরি কন্টেন্টের ডেটাসেটের প্যাটার্ন এবং সম্পর্কগুলি শিখতে মেশিন লার্নিং (ML) মডেলের উপর নির্ভর করে।
এই প্রযুক্তিটি মিথুনের মতো অ্যাপ্লিকেশনের মাধ্যমে অবিশ্বাস্য ক্ষমতা দেখিয়েছে। আপনি হয়তো ভাবছেন, আমি কীভাবে আমার ওয়েব পণ্যগুলিতে জেনারেটিভ এআই সরঞ্জামগুলি প্রয়োগ করব?
একটি সাধারণ ব্যবহারের ক্ষেত্রে ব্যবহারকারীদের একটি ওয়েবসাইটের বিষয়বস্তু সম্পর্কে প্রশ্ন জিজ্ঞাসা করার জন্য একটি ভাল ইন্টারফেস প্রদান করা হয়। আপনি মেশিন লার্নিং এর সাহায্যে আপনার ব্যবহারকারীর অনুসন্ধানের ফলাফলগুলিকে ব্যাপকভাবে উন্নত করতে পারেন৷
একটি ভাল, সাইট-নির্দিষ্ট অনুসন্ধান তৈরি করুন
আপনি একটি ইন্টারফেস তৈরি করতে পারেন যেখানে ব্যবহারকারীরা তাদের প্রশ্ন লেখেন, যা পরে একটি বৃহৎ ভাষা মডেল (LLM), যেমন Gemini তে পাঠানো হয় এবং তারপরে আপনার ব্যবহারকারীদের উত্তর প্রদর্শন করে।
ধরুন এই সাইটে এই ধরনের একটি বৈশিষ্ট্য বিদ্যমান ছিল। একজন ব্যবহারকারী জানতে চায় যে কোন APIগুলি ইন্টারপ 2024-এ অন্তর্ভুক্ত রয়েছে এবং তারা নিম্নলিখিত ক্যোয়ারী ইনপুট করে:
What are the features included in Interop 24?
দুর্ভাগ্যবশত, আউটপুট সম্ভবত ভুল হবে, কয়েকটি কারণে:
- ব্যবহারকারী প্রশ্নটির জন্য LLM সামান্য প্রসঙ্গ দিয়েছেন, তাই LLM ভুল উত্তর বা হ্যালুসিনেশন ফেরত দেওয়ার প্রবণতা বেশি।
- LLM সম্ভবত ইন্টারপ 2024 তৈরি হওয়ার আগে প্রশিক্ষিত হয়েছিল, বা এর বৈশিষ্ট্যগুলি সিদ্ধান্ত নেওয়া হয়েছিল, তাই এটি সেই তথ্য সম্পর্কে অবগত নয়।
যদিও এলএলএম-এর পক্ষে আরও বর্তমান তথ্য খুঁজে পাওয়া সম্ভব, এলএলএম প্রশিক্ষণ ডেটাসেটগুলি স্বাভাবিকভাবেই পুরানো৷ তাজা ফলাফল বজায় রাখা অবিশ্বাস্যভাবে সময়সাপেক্ষ এবং ব্যয়বহুল হতে পারে।
প্রম্পট ইঞ্জিনিয়ারিং ব্যবহার করুন
প্রম্পট ইঞ্জিনিয়ারিং হল এলএলএম থেকে সেরা আউটপুট পাওয়ার জন্য একগুচ্ছ কৌশল।
একটি কৌশল হল প্রম্পটে অতিরিক্ত প্রসঙ্গ প্রদান করা, যার ফলে এলএলএম প্রসঙ্গ সম্পর্কিত বিষয়বস্তু আউটপুট করার সম্ভাবনা বেশি করে।
আমাদের ইন্টারপ উদাহরণের সাথে অবিরত, আমাদের প্রথম ধাপ হল প্রসঙ্গ হিসাবে নিবন্ধের সম্পূর্ণ বিষয়বস্তু প্রদান করা। তারপর LLM এর উত্তর দেওয়ার জন্য ইনপুট হিসাবে প্রশ্নটি যোগ করুন। উদাহরণ স্বরূপ:
Context:
Following on from the success of Interop 2022 and Interop 2023, we
are excited about the opportunity to collaborate once again with
all key browser vendors and other relevant stakeholders...
(trimmed to fit in this article)
Input:
What are the features included in Interop 2024?
আপনি আশা করতে পারেন যে মিথুন নিম্নলিখিত মত কিছু আউটপুট করবে:
The features included in Interop 24 are Accessibility, CSS Nesting, Custom
Properties, Declarative Shadow DOM, font-size-adjust, HTTPS URLs for
WebSocket, IndexedDB, Layout, Pointer and Mouse Events, Popover, Relative
Color Syntax, requestVideoFrameCallback, Scrollbar Styling, @starting-style
and, transition-behavior, Text Directionality, text-wrap: balance,URL
এই উত্তরটি সম্ভবত প্রসঙ্গ ছাড়াই প্রম্পটের চেয়ে অনেক ভাল, কারণ উত্তরটি প্রদত্ত প্রসঙ্গের উপর ভিত্তি করে।
RAG দিয়ে স্কেল আপ করুন
উদাহরণস্বরূপ, একটি নিবন্ধ সম্পর্কে একটি প্রশ্নের উত্তর দেওয়ার পরিবর্তে, আমরা চাই যে LLM অতিরিক্ত প্রসঙ্গ হিসাবে যেকোনো নিবন্ধ ব্যবহার করে web.dev সম্পর্কে আরও প্রশ্নের উত্তর দিক। যদিও এটি ছোট সাইটগুলির জন্য সম্ভব হতে পারে, জেমিনি 1.5 এর 1 মিলিয়ন টোকেনের প্রসঙ্গ-উইন্ডো দেওয়া হলে, বড় প্রম্পটগুলি চালানোর জন্য ধীর এবং ব্যয়বহুল ।
LLM এর ইনপুট এবং আউটপুট দৈর্ঘ্য পরিমাপ করা হয় এবং টোকেনে চার্জ করা হয়, যা একটি পাঠ্য ইনপুটে পাওয়া অক্ষরগুলির একটি সাধারণ ক্রম উপস্থাপন করার একটি উপায়। টোকেনের সংখ্যা সাধারণত শব্দের সংখ্যার চেয়ে বড় হবে। একটি উদাহরণ হিসাবে প্রথম উদাহরণের ইনপুটটিতে 775টি শব্দ ছিল, 1097 টোকেন দ্বারা প্রতিনিধিত্ব করা হয়েছে। বিভিন্ন এলএলএম টোকেনগুলিকে আলাদাভাবে গণনা করতে পারে এবং বেশিরভাগ টেক্সট ইনপুটের জন্য টোকেনের সংখ্যা গণনা করার জন্য একটি API বা একটি শেষ পয়েন্ট প্রদান করে।
একটি সমাধান হল এলএলএম প্রম্পট-প্রাসঙ্গিক নিবন্ধগুলি প্রদান করা। এই কাজ দুটি অংশ দেওয়া উচিত:
- LLM প্রম্পট করার সময় একটি প্রসঙ্গ হিসাবে শীর্ষ নিবন্ধগুলির বিষয়বস্তু যোগ করুন।
- "ইন্টারপ 2024-এ কী কী বৈশিষ্ট্য অন্তর্ভুক্ত রয়েছে?" সম্পর্কিত নিবন্ধগুলির জন্য সামগ্রী অনুসন্ধান করুন৷
আমরা চাই যে মিথুন ফলাফলগুলি নিম্নলিখিত নিবন্ধগুলির উপর ভিত্তি করে বিষয়বস্তু ফিরিয়ে আনুক:
- ধারা 1: web.dev/blog/submit-your-proposals-for-interop-2024
- প্রবন্ধ 2: web.dev/blog/interop-2023-wrapup
- প্রবন্ধ 3: web.dev/blog/interop-2024
ইনপুট নিম্নলিখিত হিসাবে দেখতে হবে:
Context:
Article 1:
Over the past two years... (trimmed)
Article 2:
At the end of last year Interop 2023 wrapped up. This effort... (trimmed)
Article 3:
Following on from the success of Interop 2022... (trimmed)
Input:
What are the features included in Interop 2024?
এই প্রসঙ্গ আমাদের প্রত্যাশিত আউটপুট উত্পাদন করে।
* Accessibility * CSS Nesting * Custom Properties
* Declarative Shadow DOM * font-size-adjust
* HTTPS URLs for WebSocket * IndexedDB * Layout
* Pointer and Mouse Events * Popover * Relative Color Syntax
* requestVideoFrameCallback * Scrollbar Styling
* @starting-style and transition-behavior * Text Directionality
* text-wrap: balance * URL
যারা AI কৌশলগুলির সাথে পরিচিত তাদের জন্য, এই পদ্ধতিটি RAG ব্যবহার করে, একটি সাধারণ অভ্যাস যা জেনারেটিভ AI টুল থেকে প্রকৃত উত্তর পাওয়ার সম্ভাবনাকে উন্নত করতে।
শব্দার্থিক অনুসন্ধানের সাথে আউটপুট উন্নত করুন
যদিও RAG কৌশল নিয়মিত পূর্ণ পাঠ্য অনুসন্ধানের সাথে কাজ করতে পারে, পদ্ধতির ত্রুটি রয়েছে।
- সম্পূর্ণ পাঠ্য অনুসন্ধান এআইকে সঠিক কীওয়ার্ড মিল খুঁজে পেতে সহায়তা করে। যাইহোক, এলএলএমগুলি ব্যবহারকারীর প্রশ্নের পিছনে উদ্দেশ্যমূলক অর্থ নির্ধারণ করতে অক্ষম। এর ফলে আউটপুট অসম্পূর্ণ বা ভুল হতে পারে।
- শব্দের একাধিক অর্থ থাকলে বা প্রশ্নগুলি সমার্থক শব্দ ব্যবহার করলে সমস্যা হতে পারে। উদাহরণস্বরূপ, "ব্যাংক" (আর্থিক প্রতিষ্ঠান বনাম নদীতীর) অপ্রাসঙ্গিক ফলাফল হতে পারে।
- সম্পূর্ণ টেক্সট অনুসন্ধান এমন ফলাফল আউটপুট করতে পারে যা কীওয়ার্ড ধারণ করে কিন্তু ব্যবহারকারীর উদ্দেশ্যের সাথে সারিবদ্ধ নয়।
শব্দার্থক অনুসন্ধান হল এই মূল দিকগুলিতে ফোকাস করে অনুসন্ধানের নির্ভুলতা উন্নত করার একটি কৌশল:
- অনুসন্ধানকারীর অভিপ্রায়: এটি একটি ব্যবহারকারী কেন কিছু অনুসন্ধান করছে তা বোঝার চেষ্টা করে। তারা কি খুঁজে পেতে বা সম্পন্ন করার চেষ্টা করছেন?
- প্রাসঙ্গিক অর্থ: এটি শব্দ এবং বাক্যাংশগুলিকে তাদের আশেপাশের পাঠ্যের সাথে সাথে ব্যবহারকারীর অবস্থান বা অনুসন্ধানের ইতিহাসের মতো অন্যান্য বিষয়গুলিকে ব্যাখ্যা করে৷
- ধারণাগুলির মধ্যে সম্পর্ক: শব্দ এবং ধারণাগুলি কীভাবে সংযুক্ত তা বোঝার জন্য শব্দার্থিক অনুসন্ধান জ্ঞান গ্রাফ (সম্পর্কিত সত্তার বড় নেটওয়ার্ক) এবং প্রাকৃতিক ভাষা প্রক্রিয়াকরণ ব্যবহার করে।
ফলস্বরূপ, আপনি যখন শব্দার্থিক অনুসন্ধানের সাথে সরঞ্জামগুলি তৈরি করেন, তখন অনুসন্ধান আউটপুট কীওয়ার্ডের পরিবর্তে প্রশ্নের সামগ্রিক উদ্দেশ্যের উপর নির্ভর করে। এর অর্থ হল একটি টুল প্রাসঙ্গিক নথি নির্ধারণ করতে পারে, এমনকি সঠিক কীওয়ার্ডটি উপস্থিত না থাকলেও। এটি ফলাফলগুলি এড়াতে পারে যেখানে শব্দটি উপস্থিত রয়েছে, তবে একটি ভিন্ন অর্থ রয়েছে।
এই মুহুর্তে, আপনি দুটি অনুসন্ধান সরঞ্জাম প্রয়োগ করতে পারেন যা শব্দার্থিক অনুসন্ধান নিযুক্ত করে: Vertex AI অনুসন্ধান এবং Algolia AI অনুসন্ধান ।
প্রকাশিত বিষয়বস্তু থেকে উত্তর আঁকা
আপনি প্রম্পটে প্রসঙ্গ যোগ করে এমন বিষয়বস্তু সম্পর্কিত উত্তর প্রদান করতে LLM-কে সক্ষম করতে কীভাবে প্রম্পট ইঞ্জিনিয়ারিং ব্যবহার করতে হয় তা শিখেছেন। এবং, আপনি শিখেছেন যে কীভাবে এই পদ্ধতিটিকে পৃথক নিবন্ধ থেকে পুনরুদ্ধার-অগমেন্টেড জেনারেশন (RAG) কৌশল ব্যবহার করে সামগ্রীর একটি সম্পূর্ণ অংশে স্কেল করতে হয়। আপনি শিখেছেন কিভাবে শব্দার্থিক অনুসন্ধান ব্যবহারকারীর অনুসন্ধান প্রশ্নের জন্য ফলাফল আরও উন্নত করতে পারে, আপনার পণ্যে আরএজিকে আরও ভালভাবে প্রয়োগ করে।
এটি একটি পরিচিত সমস্যা যে জেনারেটিভ AI সরঞ্জামগুলি "হ্যালুসিনেট" করতে পারে যা তাদের ব্যবসার জন্য সর্বোত্তম, কখনও কখনও অবিশ্বস্ত বা সবচেয়ে খারাপ, সক্রিয়ভাবে ক্ষতিকারক করে তোলে। এই কৌশলগুলির সাহায্যে, ব্যবহারকারী এবং বিকাশকারী উভয়ই নির্ভরযোগ্যতা উন্নত করতে পারে এবং সম্ভবত, এই অ্যাপ্লিকেশনগুলি থেকে আউটপুটে বিশ্বাস তৈরি করতে পারে।