اجرای مدل‌های زبانی بزرگ به‌صورت محلی روی رایانه، دیگر فقط به کارت‌های گرافیک قدرتمند و گران‌قیمت محدود نیست. با پیشرفت پردازنده‌های گرافیکی مجتمع و افزایش حافظه قابل‌استفاده برای هوش مصنوعی، حتی بعضی از رایانه‌های کوچک و پردازنده‌های قدیمی‌تر نیز می‌توانند مدل‌های زبانی را بدون وابستگی دائمی به سرویس‌های ابری اجرا کنند. البته سرعت تولید پاسخ، میزان مصرف انرژی و اندازه مدلی که می‌توان اجرا کرد، به سخت‌افزار و نرم‌افزار مورد استفاده بستگی دارد.
اجرای هوش مصنوعی محلی با گرافیک مجتمع؛ کدام سخت‌افزار مناسب است؟
برای اجرای مدل‌های زبانی بزرگ یا LLM روی رایانه، معمولاً کارت گرافیک مجزا انتخاب قدرتمندی است؛ اما گرافیک مجتمع یا iGPU نیز می‌تواند بخشی از محاسبات را انجام دهد. این موضوع به‌خصوص در پردازنده‌های جدیدی اهمیت دارد که تعداد واحدهای پردازشی گرافیکی بیشتری دارند و به حافظه سریع و مشترک سیستم دسترسی پیدا می‌کنند.
برای بررسی تفاوت نسل‌های مختلف، سه پیکربندی سخت‌افزاری قابل مقایسه هستند:
- AMD Ryzen AI Max 390 با گرافیک Radeon 8050S و رم ۳۲ گیگابایت: گزینه‌ای قدرتمند برای اجرای مدل‌های محلی با تکیه بر گرافیک مجتمع و حافظه مشترک.
- AMD Ryzen Z1 Extreme با گرافیک Radeon 780M و رم ۱۶ گیگابایت: پردازنده‌ای مناسب برای دستگاه‌های قابل‌حمل مانند کنسول‌های دستی مبتنی بر ویندوز که می‌تواند مدل‌های کوچک و برخی مدل‌های متوسط را اجرا کند.
- AMD Ryzen 5 5600G با گرافیک مجتمع Vega 7: پردازنده‌ای قدیمی‌تر که با وجود محدودیت‌های پردازشی و حافظه، همچنان برای آزمایش اجرای مدل‌های سبک هوش مصنوعی کاربرد دارد.
تفاوت اصلی این سخت‌افزارها فقط در قدرت گرافیکی نیست. ظرفیت رم، پهنای باند حافظه، معماری پردازنده و پشتیبانی نرم‌افزاری نیز بر عملکرد نهایی اثر می‌گذارند. در سیستم‌هایی که حافظه گرافیکی از رم اصلی تأمین می‌شود، افزایش ظرفیت حافظه قابل‌استفاده برای گرافیک لزوماً به معنی افزایش متناسب سرعت اجرای مدل نیست.
بنچمارک اجرای مدل زبانی روی گرافیک مجتمع AMD
برای مقایسه این سه پیکربندی، معیارهایی مانند سرعت تولید توکن، سرعت پردازش ورودی، زمان اجرای آزمایش، توان مصرفی و بازده انرژی اهمیت دارند. توکن واحدی از متن است که مدل زبانی هنگام پردازش و تولید پاسخ از آن استفاده می‌کند. سرعت تولید توکن معمولاً برای ارزیابی روان بودن پاسخ‌ها معیار مهم‌تری از سرعت پردازش ورودی است.
نتایج آزمایش چهار حالت پردازشی را مقایسه می‌کند؛ از اجرای مدل روی پردازنده مرکزی Ryzen Z1 Extreme تا اجرای آن روی گرافیک مجتمع این پردازنده و گرافیک‌های Vega 7 و Radeon 8050S.
|
سخت‌افزار و حالت اجرا |
سرعت تولید توکن در ثانیه |
پردازش ورودی، توکن در ثانیه |
زمان اجرا |
توان مصرفی |
|---|---|---|---|---|
|
Ryzen 5 5600G با Vega 7 |
۱۷٫۵ |
۲۰۱ |
۱۶٫۸ ثانیه |
۴۱ وات |
|
Ryzen Z1 Extreme با CPU |
۲۲٫۴ |
۱۵۰ |
۱۳٫۷ ثانیه |
۱۸ وات |
|
Ryzen Z1 Extreme با Radeon 780M |
۴۴٫۱ |
۷۸۳ |
۶٫۳ ثانیه |
۳۳ وات |
|
Ryzen AI Max 390 با Radeon 8050S |
۸۵٫۱ |
۱۶۰۹ |
۳٫۲ ثانیه |
۶۴ وات |
بر اساس این نتایج، Radeon 8050S با سرعت ۸۵٫۱ توکن در ثانیه، سریع‌ترین گزینه آزمایش‌شده است. این مقدار تقریباً دو برابر سرعت Radeon 780M و نزدیک به پنج برابر سرعت Vega 7 است. در نتیجه، نسل گرافیک مجتمع می‌تواند تفاوت چشمگیری در تجربه استفاده از مدل‌های زبانی ایجاد کند.
نکته مهم دیگر، تفاوت توان مصرفی است. پردازش روی CPU در این آزمایش توان کمتری مصرف کرده، اما سرعت تولید توکن آن از گرافیک‌های مجتمع جدید پایین‌تر بوده است. بنابراین، انتخاب سخت‌افزار مناسب به اولویت کاربر بستگی دارد: سرعت بیشتر، مصرف انرژی کمتر یا هزینه اولیه پایین‌تر.
این اعداد به همان آزمایش و شرایط اجرایی مربوط هستند و نباید آن‌ها را معیاری قطعی برای همه مدل‌ها دانست؛ اندازه مدل، روش کوانتیزه‌سازی، طول ورودی و نرم‌افزار اجرا می‌توانند نتایج متفاوتی ایجاد کنند.
اجرای مدل‌های زبانی محلی با Ollama و Vulkan روی گرافیک مجتمع
قدرت سخت‌افزار تنها عامل تعیین‌کننده نیست و نرم‌افزار اجرا نیز نقش مهمی دارد. ابزارهایی مانند Ollama امکان اجرای مدل‌های زبانی روی رایانه شخصی را فراهم می‌کنند؛ بااین‌حال، پشتیبانی از شتاب‌دهی گرافیکی به مدل پردازنده، درایور و نسخه نرم‌افزار بستگی دارد.
در آزمایش پردازنده Ryzen 5 5600G، گرافیک مجتمع Vega 7 با شناسه معماری gfx90c پشتیبانی رسمی مناسبی از بعضی مسیرهای پردازشی ROCm نداشت. به همین دلیل، استفاده از بک‌اند Vulkan به‌عنوان راهکار جایگزین مطرح شد. Vulkan یک رابط محاسباتی و گرافیکی است که بعضی ابزارهای هوش مصنوعی از آن برای استفاده از توان GPU بهره می‌برند.
برای اجرای موفق مدل محلی، چند نکته را در نظر بگیرید:
- از نسخه به‌روز درایور گرافیک AMD استفاده کنید.
- بررسی کنید نرم‌افزار موردنظر از GPU شما و بک‌اند انتخابی پشتیبانی می‌کند.
- مدلی را انتخاب کنید که حجم فایل و حافظه موردنیاز آن با ظرفیت رم سیستم سازگار باشد.
- اگر مدل روی CPU اجرا می‌شود، تنظیمات شتاب‌دهی گرافیکی و گزارش‌های نرم‌افزار را بررسی کنید تا مطمئن شوید GPU واقعاً در پردازش مشارکت دارد.
در بعضی سیستم‌ها می‌توان از طریق BIOS یا UEFI میزان حافظه اختصاص‌یافته به گرافیک مجتمع را تغییر داد. بااین‌حال، اختصاص حافظه بیشتر همیشه باعث افزایش سرعت نمی‌شود؛ زیرا پهنای باند حافظه، قدرت محاسباتی GPU و نحوه مدیریت حافظه توسط نرم‌افزار نیز محدودیت ایجاد می‌کنند.
آیا گرافیک مجتمع برای اجرای هوش مصنوعی محلی ارزش خرید دارد؟
اگر هدف شما اجرای مدل‌های زبانی کوچک برای برنامه‌نویسی، پرسش‌وپاسخ یا کارهای روزمره است، الزاماً به کارت گرافیک مجزا نیاز ندارید. یک گرافیک مجتمع مناسب همراه با رم کافی می‌تواند نقطه شروع خوبی باشد؛ به‌خصوص اگر بخواهید مدل‌ها را بدون ارسال اطلاعات به سرویس‌های ابری اجرا کنید.
اما اگر سرعت پاسخ‌گویی بالا یا اجرای مدل‌های بزرگ‌تر برایتان اهمیت دارد، سخت‌افزارهایی مانند Ryzen AI Max 390 با گرافیک Radeon 8050S انتخاب توانمندتری هستند. باید هزینه خرید دستگاه و محدودیت ارتقای رم را نیز در نظر بگیرید؛ زیرا در بسیاری از این محصولات، حافظه روی برد نصب شده و قابل ارتقا نیست.
در نهایت، نتایج این مقایسه نشان می‌دهد گرافیک مجتمع می‌تواند برای اجرای هوش مصنوعی محلی کاربردی باشد، اما انتخاب مناسب به بودجه، ظرفیت حافظه و نوع مدل بستگی دارد. پیش از خرید، بهتر است عملکرد سخت‌افزار را با همان مدل و نرم‌افزاری بسنجید که قصد دارید در عمل استفاده کنید.
گیم پلنت