Meta Platforms در رویداد سالانه Meta Connect در کالیفرنیا ارایه شده چندین ویژگی جدید هوش مصنوعی برای برنامه های محبوب آن Facebook, Instagram و واتس اپ، اما چشمگیرترین نوآوری این غول فناوری ممکن است مورد توجه بسیاری قرار نگیرد. ما در مورد مدل Llama 2 Long AI صحبت می کنیم.
تیمی از محققان شرکت متا به نحوی بی سر و صدا مقاله ای را منتشر کردند که در آن یک مدل هوش مصنوعی جدید به نام Llama 2 Long ارائه کردند که قادر به ایجاد پاسخ های منسجم و مرتبط به سوالات طولانی کاربران است. آنها می گویند که حداکثر عملکرد بهتری از برخی از بهترین رقبای این صنعت دارد.
Llama 2 Long یک افزونه است لاما 2، یک مدل هوش مصنوعی منبع باز Meta که در تابستان منتشر شد که می تواند از منابع مختلف داده یاد بگیرد و کارهای مختلفی مانند کدنویسی، ریاضی، درک زبان و غیره را انجام دهد. با این حال، Llama 2 Long بر روی داده‌های بیشتر حاوی متون طولانی‌تر آموزش دید و این الگوریتم برای مدیریت توالی‌های طولانی‌تر اطلاعات اصلاح شد. این به آن اجازه می دهد تا از OpenAI's GPT-3.5 Turbo و Claude 2 که محدودیت هایی در میزان زمینه ای که می توانند برای تولید پاسخ استفاده کنند، بهتر عمل کند.
محققین متا از نسخه های مختلف Llama 2 استفاده کرد - از 7 میلیارد تا 70 میلیارد پارامتر، یعنی مقادیری که مدل هوش مصنوعی می تواند با یادگیری از داده ها تغییر دهد. آنها 400 میلیارد توکن دیگر (واحد متن) داده اضافه کردند که حاوی متن های طولانی تر از مجموعه داده مدل اصلی بود. آنها همچنین معماری مدل هوش مصنوعی را با استفاده از تکنیک Rotary Positional Embedding (RoPE) تغییر دادند تا مدل بتواند با استفاده از اطلاعات و حافظه کمتر نسبت به روش های دیگر پاسخ های دقیق و مفیدی تولید کند.
این تیم از یادگیری تقویتی از بازخورد انسانی (RLHF) استفاده کرد، روشی که در آن مدل هوش مصنوعی برای پاسخ‌های صحیح پاداش می‌گیرد و توسط ارزیابی‌کنندگان انسانی تصحیح می‌شود، و داده‌های مصنوعی توسط خود چت Llama 2 تولید می‌شود تا عملکرد خود را در کارهای مختلف بهبود بخشد. .
این مقاله ادعا می کند که این مدل می تواند پاسخ هایی با کیفیت بالا به درخواست های کاربر تا 200 کاراکتر، معادل حدود 40 صفحه متن ایجاد کند. محققان می گویند Llama 2 Long گامی به سوی ایجاد مدل های هوش مصنوعی عمومی تر و همه کاره تر است که می تواند نیازهای پیچیده و متنوع کاربران را برآورده کند. آنها همچنین پیامدهای اخلاقی و اجتماعی بالقوه چنین مدل‌هایی را می‌شناسند و خواستار تحقیق و گفتگوی بیشتر در مورد چگونگی استفاده مسئولانه و سودمند از آنها هستند.
همچنین بخوانید: