مدل زبانی تازه اپل با استفاده از معماری پیشرفته قادر است متن‌های طولانی و پیچیده را با سرعت بسیار و دقت بالا تولید کند. بر مبنای گزارش‌ها، تیم پژوهشی اپل یک مبتنی بر Diffusion ارائه داده است که می‌تواند متن‌ها را تا ۱۲۸ برابر سریع‌تر نسبت به مدل‌های مشابه تولید کند.
مدل زبانی جدید اپل سرعت بسیار بالایی دارد
در مقابل، مدل‌های Diffusion چندین توکن را همزمان تولید می‌کنند و در چند مرحله اصلاح انجام می‌دهند تا پاسخ نهایی شکل گیرد. یکی از پیشرفته‌ترین انواع این مدل‌ها، Flow-matching است که مراحل اصلاح چندگانه را کنار می‌گذارد و سعی می‌کند نتیجه نهایی را در یک مرحله به‌دست آورد.
مطالعه جدید اپل با عنوان «FS-DFM: Fast and Accurate Long Text Generation with Few-Step Diffusion Language Models» یک مدل جدید به نام Few-Step Discrete Flow-Matching (FS-DFM) را معرفی می‌کند. این مدل می‌تواند متن‌های بلند را تنها با هشت مرحله اصلاح با سرعت بسیار تولید کند، در حالی که مدل‌های Diffusion معمولی معمولاً بیش از هزار مرحله نیاز دارند تا کیفیت مشابهی را ارائه دهند.
🔗 بیشتر بخوانید: از بین بردن فیلترینگ قربانی شعار «وفاق» شده است_تمشک
برای رسیدن به این سرعت، پژوهشگران از سه مرحله بهره‌گیری کرده‌اند: ابتدا مدل می‌آموزد که چند مرحله اصلاح متن را مدیریت کند، سپس یک مدل «معلم» برای انجام به‌روزرسانی‌های دقیق و بزرگتر در هر مرحله به کار گرفته می‌شود و در نهایت نحوه اجرای هر مرحله بهینه می‌شود تا مدل بتواند با گذراندن مراحل کمتر و arthymony بیشتری به نتیجه برسد.
آخرین مطالب
- مکبوک پرو M۵ در تست سنگین به ۹۹ درجه رسید؛ مدیریت حرارتی بهتر از M۴
- تأثیر میکروبیوم روده در دوران نوزادی بر سلامت روان کودکان در آینده
- چرا از پیروزی دیگران غمگین میشویم؟ راهکارهای تبدیل حسادت به رشد
- ترمیم لایه اوزون در حال پیشرفت؛ تا سال ۲۰۶۶ به تمامیت می‌رسد
- تحلیل تفاوتهای فنی سامسونگ و TSMC در تولید تراشههای هوش مصنوعی تسلا
در مقایسه با مدل‌های بزرگ ähn، FS-DFM در معیارهای «انتروپی» و «سردرگمی» عملکرد قابل توجهی داشته است. سردرگمی کیفیت متن را اندازه می‌گیرد؛ هرچه پایین‌تر باشد، متن طبیعی‌تر و دقیق‌تر است. انتروپی میزان اطمینان مدل در انتخاب هر کلمه را مشخص می‌کند؛ مقدار پایین متن را تکراری یا قابل پیش‌بینی می‌کند و مقدار زیاد متن را نامنسجم یا تصادفی می‌سازد.
مدل FS-DFM با پارامترهای ۱.۷، ۱.۳ و ۰.۱۷ میلیارد، در مقایسه با مدل‌های Dream و LLaDA با ۷ و ۸ میلیارد پارامتر، در معیار سردرگمی عددی پایین‌تر و در انتروپی résultat پایدارتر به‌دست آورد.
🔗 بیشتر بخوانید: امکان تبدیل پلاک منطقه آزاد به ملی فراهم شد؛ واردات خودروهای دست‌دوم از منبع های داخلی
با توجه به عملکرد عالی وつい podob وichte، پژوهشگران اظهار کرده‌اند که قصد دارند کد و چک‌پوینت‌های مدل را منتشر کنند تا امکان بازتولید و پژوهش‌های بیشتر فراهم شود. مطالعه کامل مقاله در arXiv شامل مثالهای عملکردی و نمودارهایی است که مراحل اصلاح هر توکن و نحوه تغییرات آن را مشخص می‌کند.
دسته‌بندی مطالب
