اجرای مدل‌های زبانی بزرگ روی کامپیوتر دیگر به کارت گرافیک چندده‌گیگابایتی یا سیستم‌های گران‌قیمت محدود نیست. مدل‌های کوچک هوش مصنوعی (SLM) با تعداد پارامتر کمتر و نسخه‌های فشرده‌شده، روی لپ‌تاپ‌های معمولی و حتی بعضی سیستم‌های بدون کارت گرافیک مجزا هم اجرا می‌شوند. البته کوچک بودن مدل به‌تنهایی به معنی پاسخ‌های باکیفیت نیست؛ باید بین مصرف حافظه، سرعت پاسخ‌گویی و توانایی مدل در نوشتن، برنامه‌نویسی و استدلال تعادل برقرار کنید.