প্রম্পট এপিআই দিয়ে একটি স্থানীয় এবং অফলাইন-সক্ষম চ্যাটবট তৈরি করুন

ক্রিশ্চিয়ান লিবেল

প্রকাশিত: 13 জানুয়ারী, 2024

এটি এলএলএম চ্যাটবট-এর তিন পর্বের সিরিজের শেষ। পূর্ববর্তী নিবন্ধগুলি ক্লায়েন্ট-সাইড LLM-এর শক্তি নিয়ে আলোচনা করেছে এবং একটি করণীয় তালিকা অ্যাপ্লিকেশনে একটি WebLLM-চালিত চ্যাটবট যোগ করার মাধ্যমে আপনাকে নিয়ে গেছে।

কিছু নতুন ডিভাইস বড় ভাষা এবং অন্যান্য এআই মডেলের সাথে সরাসরি ডিভাইসে পাঠানো হয়। ক্রোম বিকাশের বিভিন্ন পর্যায়ে বেশ কয়েকটি API-এর সাথে ব্রাউজারে অন্তর্নির্মিত AI API-কে একীভূত করার প্রস্তাব করেছে। এই APIগুলির মধ্যে অনেকগুলি মান প্রক্রিয়ার মধ্য দিয়ে যাচ্ছে, যাতে ওয়েবসাইটগুলি সর্বাধিক অনুমান কার্যক্ষমতা অর্জনের জন্য একই বাস্তবায়ন এবং মডেল ব্যবহার করতে পারে।

প্রম্পট এপিআই এমনই একটি এআই এপিআই। এটি ব্যবহার করার জন্য, বিকাশকারীদের প্রাথমিক পূর্বরূপ প্রোগ্রামের জন্য সাইন আপ করতে উত্সাহিত করা হয়৷ একবার গৃহীত হলে, আপনি ব্রাউজারগুলিতে প্রম্পট API কীভাবে সক্ষম করবেন সে সম্পর্কে নির্দেশাবলী পাবেন৷ প্রম্পট API Chrome এক্সটেনশনগুলির জন্য একটি অরিজিন ট্রায়ালে উপলব্ধ, তাই আপনি বাস্তব এক্সটেনশন ব্যবহারকারীদের জন্য এই API পরীক্ষা করতে পারেন৷

ভাগ করা মডেল অ্যাক্সেস

প্রম্পট API WebLLM-এর মতই আচরণ করে। যাইহোক, এই সময় কোন মডেল নির্বাচন নেই (আপনাকে ব্রাউজার দিয়ে পাঠানো এলএলএম ব্যবহার করতে হবে)। বিল্ট-ইন AI সক্ষম করার সময়, Chrome ব্রাউজারে Gemini Nano ডাউনলোড করে। এই মডেলটি তারপরে একাধিক উত্স জুড়ে ভাগ করা যেতে পারে এবং সর্বাধিক কার্যক্ষমতা সহ চালানো যেতে পারে। একটি গিটহাব সমস্যা রয়েছে যেখানে একজন বিকাশকারী একটি মডেল নির্বাচন বৈশিষ্ট্য যুক্ত করার জন্য অনুরোধ করেছে।

কথোপকথন সেট আপ করুন

আপনি ঠিক একই ভাবে বার্তা কথোপকথন শুরু করতে পারেন, কিন্তু প্রম্পট API সিস্টেম প্রম্পট নির্দিষ্ট করার জন্য একটি শর্টহ্যান্ড সিনট্যাক্সও অফার করে। self.ai.languageModel প্রপার্টিতে create() পদ্ধতি ব্যবহার করে ভাষা মডেল সেশন শুরু করুন:

const session = await self.ai.languageModel.create({
  systemPrompt: `You are a helpful assistant. You will answer questions related
  to the user's to-do list. Decline all other requests not related to the user's
  todos. This is the to-do list in JSON: ${JSON.stringify(todos)}`,
});

আপনার প্রথম প্রশ্নের উত্তর দিন

স্ট্রিমিং কনফিগার করার জন্য একটি কনফিগারেশন অবজেক্ট থাকার পরিবর্তে, প্রম্পট API দুটি পৃথক পদ্ধতি অফার করে:

  • prompt() সম্পূর্ণ স্ট্রিং প্রদান করে
  • promptStreaming() একটি async পুনরাবৃত্তিযোগ্য প্রদান করে। WebLLM এর বিপরীতে, প্রম্পট API সম্পূর্ণ স্ট্রিং প্রতিক্রিয়ার সাথে প্রতিক্রিয়া জানায়, তাই আপনাকে ফলাফলগুলিকে একত্রিত করতে হবে না।

যদি অন্য কোনো অরিজিন আগে মডেল ডাউনলোড ট্রিগার না করে থাকে, তাহলে আপনার প্রথম অনুরোধটি আপনার ব্রাউজারে জেমিনি ন্যানো ডাউনলোড হওয়ার সময় অনেক সময় লাগতে পারে। মডেলটি ইতিমধ্যে উপলব্ধ থাকলে, অনুমান অবিলম্বে শুরু হয়।

const stream = session.promptStreaming("How many open todos do I have?");
for await (const reply of stream) {
  console.log(reply);
}

ডেমো

সারাংশ

অ্যাপ্লিকেশানগুলিতে LLM একত্রিত করা ব্যবহারকারীর অভিজ্ঞতাকে উল্লেখযোগ্যভাবে উন্নত করতে পারে। যদিও ক্লাউড পরিষেবাগুলি ব্যবহারকারীর ডিভাইস নির্বিশেষে উচ্চ-মানের মডেল এবং উচ্চ অনুমান কর্মক্ষমতা প্রদান করে, ওয়েবএলএলএম এবং ক্রোমের প্রম্পট API-এর মতো ডিভাইসের সমাধানগুলি অফলাইন-সক্ষম, গোপনীয়তা উন্নত করে এবং ক্লাউড-ভিত্তিক বিকল্পগুলির তুলনায় খরচ বাঁচায়৷ এই নতুন APIগুলি ব্যবহার করে দেখুন এবং আপনার ওয়েব অ্যাপ্লিকেশনগুলিকে আরও স্মার্ট করুন৷