বৃহৎ ভাষার মডেলের সুবিধা এবং সীমা

ক্রিশ্চিয়ান লিবেল

প্রকাশিত: 13 জানুয়ারী, 2024

এটি এলএলএম এবং চ্যাটবট-এর তিন পর্বের সিরিজে প্রথম। WebLLM এর সাথে একটি চ্যাটবট তৈরির পার্ট 2 এবং প্রম্পট API ব্যবহার করার পার্ট 3 ইতিমধ্যেই লাইভ।

সফ্টওয়্যার বিকাশে বড় ভাষা মডেল (LLMs) একটি গুরুত্বপূর্ণ বিল্ডিং ব্লক হয়ে উঠছে: LLMগুলি প্রাকৃতিক ভাষার পাঠ্য তৈরি এবং প্রক্রিয়াকরণের জন্য উপযুক্ত, ব্যবহারের ক্ষেত্রে যেমন ডেটা নিষ্কাশন, সংক্ষিপ্তকরণ, বা ব্যবহারকারীর ডেটার সাথে সংলাপ সহজতর করার জন্য উপযুক্ত।

এই সিরিজে, আমি ডিভাইসে থাকা LLM-এর সুবিধা এবং অসুবিধাগুলি নিয়ে আলোচনা করব এবং দুটি স্থানীয় এবং অফলাইন-সক্ষম পদ্ধতি, ওয়েব-ভিত্তিক LLM রানটাইম WebLLM এবং Chrome-এর পরীক্ষামূলক প্রম্পট API ব্যবহার করে একটি বিদ্যমান অ্যাপ্লিকেশনে চ্যাটবট ক্ষমতা যোগ করার মাধ্যমে আপনাকে গাইড করব।

সম্ভাব্য ব্যবহারের ক্ষেত্রে

চ্যাটবট যোগ করার আগে আবেদন করুন।
আমাদের করণীয় তালিকা অ্যাপ।

আমরা একটি ক্লাসিক করণীয় তালিকা অ্যাপ্লিকেশনের উপরে একটি চ্যাটবট তৈরি করব। প্রতিটি ধাপের জন্য সোর্স কোড GitHub এ উপলব্ধ। ব্যবহারকারীরা নতুন করণীয় যোগ করতে পারেন, সেগুলিকে সম্পন্ন হিসাবে চিহ্নিত করতে এবং মুছে ফেলতে পারেন৷

আপনি ব্যবহারকারীদের করণীয় তালিকা ডেটা সম্পর্কে আরও জানতে বা অতিরিক্ত ফাংশন সম্পাদন করতে একটি বৈশিষ্ট্য যোগ করতে চাইতে পারেন। একটি চ্যাটবট বৈশিষ্ট্য ব্যবহারকারীদের অনুমতি দিতে পারে:

  • খোলা কাজের সংখ্যা সম্পর্কে অনুসন্ধান করুন.
  • ডুপ্লিকেট বা খুব অনুরূপ করণীয় সনাক্ত করুন।
  • করণীয়গুলিকে গোষ্ঠীতে শ্রেণীবদ্ধ করুন।
  • সম্পূর্ণ করাগুলির উপর ভিত্তি করে নতুন কাজের জন্য সুপারিশগুলি পান।
  • কাজগুলিকে বিভিন্ন ভাষায় অনুবাদ করুন।
  • XML ফরম্যাটে করণীয় তালিকা রপ্তানি করুন।

এগুলি হল কয়েকটি কাজের উদাহরণ যা এলএলএমগুলি পরিচালনা করতে পারে৷

বড় ভাষা মডেল কি?

এলএলএম হল কৃত্রিম নিউরাল নেটওয়ার্ক যা প্রক্রিয়া করে এবং প্রাকৃতিক ভাষার পাঠ্য তৈরি করে। বেশিরভাগ বর্তমান এলএলএমগুলি ট্রান্সফরমার আর্কিটেকচারের উপর ভিত্তি করে তৈরি করা হয়েছে, যা Google-এ তৈরি করা হয়েছে। উদাহরণগুলির মধ্যে রয়েছে গুগলের জেমিনি এবং জেমা মডেল, ওপেনএআই-এর জিপিটি মডেল সিরিজ এবং ওপেন-সোর্স মডেল, যেমন মেটা এআই দ্বারা LLaMa এবং মিস্ট্রাল এআই দ্বারা মিস্ট্রাল।

প্রচুর পরিমাণে ডেটার উপর তাদের প্রশিক্ষণের জন্য ধন্যবাদ, LLM-এর ক্ষমতার একটি চিত্তাকর্ষক পরিসীমা রয়েছে। তারা অসংখ্য ভাষা বোঝে, তুচ্ছ জ্ঞান রাখে, ভাষার মধ্যে অনুবাদ করতে পারে বা প্রোগ্রামিং কোড তৈরি করতে পারে। মডেলের আকারের উপর ভিত্তি করে এই ক্ষমতাগুলির ব্যাপ্তি উল্লেখযোগ্যভাবে পরিবর্তিত হতে পারে, যেমনটি আন্ডারস্ট্যান্ড এলএলএম সাইজ- এ আলোচনা করা হয়েছে।

এলএলএমগুলি সফ্টওয়্যার আর্কিটেকচারে একটি দৃষ্টান্ত পরিবর্তনের দিকে নিয়ে যায়, কারণ প্রাকৃতিক ভাষা এখন সফ্টওয়্যার প্রকৌশলে একটি মূল বৈশিষ্ট্য হয়ে উঠেছে। সু-সংজ্ঞায়িত ইন্টারফেস ব্যবহার করে API-কে কল করার পরিবর্তে, তথাকথিত প্রম্পটে প্রাকৃতিক ভাষায় অভিপ্রায় প্রকাশ করাই যথেষ্ট।

এলএলএম এর সীমাবদ্ধতা

এলএলএমগুলিও নির্দিষ্ট সীমাবদ্ধতার সাথে আসে:

  • নন-ডিটারমিনিস্টিক আচরণ : এলএলএম একই প্রম্পটে বিভিন্ন এবং মাঝে মাঝে এমনকি পরস্পরবিরোধী প্রতিক্রিয়াও তৈরি করতে পারে, কারণ তাদের আউটপুটগুলি নির্দিষ্ট নিয়মের পরিবর্তে সম্ভাব্য মডেলের উপর নির্ভর করে।
  • হ্যালুসিনেশন : এই মডেলগুলি কখনও কখনও ভুল বা অযৌক্তিক তথ্য তৈরি করতে পারে, বাস্তবিক নির্ভুলতার পরিবর্তে শেখা নিদর্শনগুলির উপর নির্ভর করে।
  • প্রম্পট ইনজেকশন : এলএলএমগুলি প্রম্পট ইনজেকশন আক্রমণের জন্য সংবেদনশীল হতে পারে, যেখানে ব্যবহারকারীরা ইনপুট প্রম্পট তৈরি করে যা মডেলটিকে তার উদ্দেশ্যমূলক কাজ থেকে বিচ্যুত করতে বা অনাকাঙ্ক্ষিত ফলাফল তৈরি করতে ম্যানিপুলেট করে।

অতএব, ব্যবহারকারীদের অবশ্যই কোনো ফলপ্রসূ পদক্ষেপ নেওয়ার আগে LLM দ্বারা উত্পন্ন ফলাফল যাচাই করতে হবে।

অন-ডিভাইস এলএলএমগুলির সাথে ডিল করার সময়, তাদের আকার অবশ্যই বিবেচনা করা উচিত। এগুলি বেশ কয়েকটি গিগাবাইটের ফাইলের আকার অর্জন করে এবং প্রথম ব্যবহারের আগে ব্যবহারকারীর ডিভাইসে ডাউনলোড করা আবশ্যক৷ ছোট মডেলগুলি নিম্ন-মানের প্রতিক্রিয়া অর্জন করে, বিশেষ করে যখন ক্লাউড-ব্যাকড মডেলগুলির তুলনায়।

স্থানীয় সমাধান চয়ন করুন

আপনার ওয়েব অ্যাপ্লিকেশনে একটি LLM সংহত করার আপনার প্রথম প্রবৃত্তি একটি ক্লাউড প্রদানকারী ব্যবহার করা হতে পারে। অনেক প্রদানকারী উচ্চ-মানের LLM অফার করে, যার মধ্যে কিছু নির্দিষ্ট প্রদানকারীদের জন্য একচেটিয়া। ক্লাউড-ভিত্তিক এলএলএমগুলি যুক্তিসঙ্গত খরচে দ্রুত অনুমান গতি প্রদান করে, যা সাধারণত প্রক্রিয়াকৃত টোকেন অনুযায়ী গণনা করা হয়।

বিপরীতে, স্থানীয় সমাধানগুলি আকর্ষণীয় সুবিধা উপস্থাপন করে। ব্যবহারকারীর ডিভাইসে সরাসরি অপারেটিং করার মাধ্যমে, স্থানীয়ভাবে হোস্ট করা এলএলএমগুলি আরও নির্ভরযোগ্য প্রতিক্রিয়ার সময় প্রদান করে, ব্যবহারকারী অফলাইনে থাকা সত্ত্বেও অ্যাক্সেসযোগ্য থাকে এবং ডেভেলপারদের সাবস্ক্রিপশন ফি বা অন্যান্য চলমান খরচ দিতে হয় না। উল্লেখযোগ্যভাবে, তারা ব্যবহারকারীর নিরাপত্তাকে উল্লেখযোগ্যভাবে উন্নত করতে পারে। ডিভাইসে সমস্ত ক্রিয়াকলাপ রেখে, আপনি ব্যক্তিগতভাবে শনাক্তযোগ্য তথ্য (PII) বহিরাগত সরবরাহকারী বা অঞ্চলে প্রেরণ করা এড়াতে পারেন।

ডেমো

আপনি নিজে কীভাবে এটি তৈরি করবেন তা শিখার আগে আপনি চ্যাটবট ক্ষমতা সহ সমাপ্ত ডেমোগুলি একবার দেখে নিতে পারেন।

এরপর, আপনি করণীয় তালিকা অ্যাপ্লিকেশনটিতে একটি চ্যাটবট যোগ করতে WebLLM ব্যবহার করবেন।