هوش مصنوعی محلی دیگر محدود به چند برنامه شناخته‌شده نیست و پروژه‌های متن‌باز متنوعی برای اجرای مدل‌ها روی کامپیوتر شخصی وجود دارند. بعضی از این ابزارها برای چت و اجرای مدل‌های زبانی ساخته شده‌اند و بعضی دیگر روی برنامه‌نویسی، جست‌وجوی اسناد، تبدیل صدا به متن یا اجرای وظایف چندمرحله‌ای تمرکز دارند. این تنوع باعث می‌شود بتوان یک محیط هوش مصنوعی محلی را متناسب با سخت‌افزار و نیاز واقعی خود ساخت.
۵ ابزار هوش مصنوعی محلی کمتر شناخته‌شده که ارزش امتحان کردن دارند
اگر بیشتر با ابزارهایی مانند Ollama یا LM Studio آشنا هستید، احتمالاً هنوز با بخشی از پروژه‌های جالب اکوسیستم هوش مصنوعی محلی کار نکرده‌اید. ابزارهایی مانند KoboldCpp و Tabby و Khoj و Whisper.cpp و AgenticSeek هر کدام برای نیاز متفاوتی ساخته شده‌اند و لزوماً قرار نیست جای یکدیگر را بگیرند.
مزیت مهم این پروژه‌ها این است که در بسیاری از سناریوها می‌توان مدل و محل پردازش را کنترل کرد. این موضوع برای کسانی که به حریم خصوصی، اجرای آفلاین یا استفاده از سخت‌افزار شخصی اهمیت می‌دهند اهمیت زیادی دارد.
در ادامه پنج پروژه را بررسی می‌کنیم که می‌توانند هر کدام بخشی از یک سیستم هوش مصنوعی محلی را تشکیل دهند.
KoboldCpp؛ اجرای ساده مدل‌های هوش مصنوعی روی کامپیوتر
KoboldCpp یکی از گزینه‌های جالب برای اجرای مدل‌های زبان بزرگ به‌صورت محلی است. این برنامه بر پایه llama.cpp ساخته شده و هدف آن فراهم کردن محیطی ساده برای اجرای مدل‌های GGUF است. یکی از مزیت‌های آن این است که برای شروع کار الزاماً به یک نصب پیچیده و مجموعه بزرگی از وابستگی‌ها نیاز ندارید. نسخه‌های آماده برنامه نیز برای ویندوز، لینوکس و مک‌او‌اس در دسترس هستند.
KoboldCpp می‌تواند از پردازنده یا کارت گرافیک برای اجرای مدل استفاده کند و امکان استفاده از بخشی از حافظه گرافیکی برای مدل نیز وجود دارد. بنابراین حتی اگر VRAM کارت گرافیک برای قرار دادن کل مدل کافی نباشد، می‌توان بخشی از محاسبات را روی CPU انجام داد.
این برنامه علاوه بر چت معمولی قابلیت‌های دیگری مانند RAG، تشخیص تصویر و تبدیل گفتار به متن را نیز ارائه می‌کند. به همین دلیل KoboldCpp در حال حاضر فقط یک رابط ساده برای اجرای مدل متنی نیست و می‌تواند به‌عنوان یک محیط نسبتاً کامل برای اجرای مدل‌های محلی استفاده شود.
برای شروع کار کافی است مدل سازگار را انتخاب کنید و در رابط برنامه تنظیمات مربوط به مدل و شتاب‌دهنده سخت‌افزاری را مشخص کنید.
مسیر تنظیم مدل:
KoboldCpp > Quick Launch > Model
مسیر انتخاب شتاب‌دهنده:
KoboldCpp > Quick Launch > Presets
اگر کارت گرافیک NVIDIA دارید، می‌توانید از Backend مناسب CUDA استفاده کنید و در صورت محدودیت VRAM مقدار GPU Layers را کاهش دهید. برای کارت‌های گرافیک دیگر نیز بسته به سخت‌افزار می‌توان از Backendهای مناسب استفاده کرد.
Tabby؛ دستیار برنامه‌نویسی هوش مصنوعی روی کامپیوتر شخصی
اگر هدف شما استفاده از هوش مصنوعی برای برنامه‌نویسی است، Tabby می‌تواند گزینه جالبی باشد. این پروژه یک دستیار کدنویسی متن‌باز و Self-Hosted است که می‌تواند پیشنهادهای کد را مستقیماً در محیط توسعه ارائه کند. Tabby از مدل‌های مختلف کدنویسی پشتیبانی می‌کند و می‌تواند بدون وابستگی کامل به یک سرویس ابری مورد استفاده قرار گیرد.
یکی از کاربردهای مهم Tabby تکمیل خودکار کد است. هنگام نوشتن برنامه، ابزار می‌تواند ادامه یک خط یا حتی بخش بزرگ‌تری از یک تابع را پیشنهاد کند. قابلیت گفت‌وگو درباره کد و توضیح بخش‌های مختلف پروژه نیز در آن وجود دارد.
این موضوع برای کسانی که پروژه‌های شخصی یا کدهای خصوصی دارند اهمیت دارد؛ زیرا می‌توان سرور Tabby را روی زیرساخت تحت کنترل خود اجرا کرد و مدل مناسب را نیز با توجه به سخت‌افزار انتخاب کرد.
به عنوان مثال در VS Code یا VSCodium می‌توان افزونه Tabby را نصب و سپس آن را به سرور محلی متصل کرد.
مسیر اتصال Tabby در VS Code:
View > Command Palette > Tabby: Connect to Server
پس از اتصال سرور، پیشنهادهای کد و امکانات مربوط به گفت‌وگو با کد در محیط توسعه در دسترس قرار می‌گیرند.
Khoj؛ تبدیل فایل‌ها و یادداشت‌های شخصی به یک پایگاه دانش هوش مصنوعی
Khoj برای کسانی جذاب است که می‌خواهند هوش مصنوعی محلی را به اسناد و اطلاعات شخصی خود متصل کنند. این پروژه یک دستیار شخصی متن‌باز است که می‌تواند فایل‌ها و یادداشت‌ها را پردازش کند و امکان جست‌وجو و پرسش درباره محتوای آن‌ها را فراهم کند.
Khoj از قالب‌هایی مانند پی‌دی‌اف، Markdown و فایل‌های متنی پشتیبانی می‌کند و می‌تواند با محیط‌هایی مانند Obsidian و Emacs نیز مورد استفاده قرار گیرد. در حالت Self-Hosted، داده‌ها و فرایند جست‌وجو می‌توانند روی سیستم خود کاربر باقی بمانند.
کاربرد آن با یک چت‌بات معمولی تفاوت مهمی دارد. به جای اینکه هر بار اطلاعات یک فایل را در پنجره چت کپی کنید، می‌توانید مجموعه اسناد خود را در اختیار سیستم قرار دهید و سپس درباره محتوای آن‌ها سؤال کنید.
این قابلیت برای آرشیو شخصی، مستندات پروژه، یادداشت‌های کاری و مجموعه‌ای از فایل‌های آموزشی بسیار کاربردی است. Khoj حتی می‌تواند با مدل‌های محلی کار کند و بنابراین می‌توان آن را بخشی از یک سیستم هوش مصنوعی کاملاً شخصی قرار داد.
مسیر کلی تنظیم منابع در Khoj:
Khoj > Settings > Content Sources
Khoj > تنظیمات > منابع محتوا
پس از اضافه کردن منابع، سیستم آن‌ها را برای جست‌وجو و بازیابی اطلاعات آماده می‌کند و می‌توانید سؤال خود را به زبان طبیعی مطرح کنید.
Whisper.cpp؛ تبدیل صدا به متن به‌صورت کاملاً محلی
Whisper.cpp پروژه‌ای سبک برای اجرای مدل Whisper در زبان C و C++ است. هدف آن این است که قابلیت تبدیل گفتار به متن Whisper را بدون نیاز به یک سرویس آنلاین و با وابستگی‌های کمتر روی دستگاه اجرا کند. این پروژه از ویندوز، لینوکس، مک‌او‌اس، اندروید و iOS پشتیبانی می‌کند و می‌تواند از CPU یا شتاب‌دهنده‌های مختلف سخت‌افزاری استفاده کند.
مهم‌ترین مزیت Whisper.cpp برای کاربران هوش مصنوعی محلی، پردازش فایل صوتی روی خود دستگاه است. بنابراین برای تبدیل جلسه‌های ضبط‌شده، فایل‌های صوتی، یادداشت‌های صوتی یا حتی ساخت ابزارهای دستیار صوتی محلی می‌توان از آن استفاده کرد.
مدل‌های Whisper با اندازه‌های مختلف وجود دارند و انتخاب مدل مناسب به تعادل میان سرعت و دقت بستگی دارد. مدل‌های کوچک‌تر برای سیستم‌های ضعیف‌تر مناسب‌تر هستند و مدل‌های بزرگ‌تر معمولاً دقت بیشتری ارائه می‌کنند اما منابع سخت‌افزاری بیشتری می‌خواهند.
Whisper.cpp حتی امکان اجرای پردازش روی دستگاه‌هایی مانند آیفون را نیز دارد و نمونه‌های مختلفی برای استفاده از قابلیت تبدیل گفتار به متن در برنامه‌های دیگر ارائه شده است.
مسیر انتخاب فایل صوتی در رابط گرافیکی Whisper.cpp:
Whisper.cpp GUI > WAV file to transcribe > Browse
Whisper.cpp GUI > فایل صوتی برای تبدیل به متن > مرور
در نسخه‌های دارای رابط گرافیکی می‌توان فایل صوتی و مدل Whisper را انتخاب کرد و خروجی را به قالب‌هایی مانند متن یا زیرنویس تبدیل کرد.
AgenticSeek؛ اجرای وظایف چندمرحله‌ای با هوش مصنوعی محلی
AgenticSeek از نظر نوع کار با چهار ابزار دیگر تفاوت دارد. این پروژه به جای اینکه فقط به یک سؤال پاسخ دهد، روی اجرای وظایف چندمرحله‌ای تمرکز می‌کند. هدف آن ایجاد یک عامل هوش مصنوعی محلی است که بتواند کارهایی مانند جست‌وجو در وب، کار با فایل‌ها و برنامه‌نویسی را انجام دهد.
در یک چت معمولی، کاربر سؤال می‌پرسد و مدل پاسخ می‌دهد. اما در یک سیستم Agentic، کاربر می‌تواند یک هدف کلی مشخص کند و سیستم تلاش کند برای رسیدن به آن هدف چند اقدام پشت سر هم انجام دهد.
این قابلیت در عین جذابیت، نیازمند نظارت بیشتری است. وقتی یک عامل هوش مصنوعی اجازه دسترسی به فایل‌ها، مرورگر یا ابزارهای دیگر را دارد، احتمال انجام یک اقدام ناخواسته بیشتر از یک چت ساده است. بنابراین بهتر است دسترسی‌های آن محدود باشد و هنگام انجام وظایف حساس رفتار آن را بررسی کنید.
AgenticSeek با هدف اجرای محلی طراحی شده و از مدل‌های محلی استفاده می‌کند. همین موضوع آن را برای کسانی که به حریم خصوصی اهمیت می‌دهند و می‌خواهند مفهوم AI Agent را بدون وابستگی کامل به سرویس‌های ابری تجربه کنند، جالب می‌کند.
مسیر کلی تنظیم مدل و سرویس‌ها:
AgenticSeek > Configuration > Model / Services
قبل از استفاده از قابلیت‌های خودکار، بهتر است مدل و دسترسی‌های موردنیاز را بررسی کنید و برای وظایف حساس دسترسی ابزارها را تا حد امکان محدود نگه دارید.
کدام ابزار هوش مصنوعی محلی برای شما مناسب‌تر است؟
این پنج پروژه کاربرد یکسانی ندارند و انتخاب بین آن‌ها بیشتر به نوع استفاده شما بستگی دارد. اگر یک محیط ساده برای اجرای مدل‌های GGUF می‌خواهید، KoboldCpp گزینه مناسبی است. اگر تمرکز شما برنامه‌نویسی است، Tabby کاربرد مشخص‌تری دارد.
برای جست‌وجو در فایل‌ها و ساخت یک دستیار شخصی مبتنی بر اسناد، Khoj انتخاب جالبی است. اگر تبدیل صدا به متن برایتان اهمیت دارد، Whisper.cpp یکی از گزینه‌های سبک و انعطاف‌پذیر محسوب می‌شود. برای تجربه عامل‌های هوش مصنوعی و اجرای وظایف چندمرحله‌ای نیز AgenticSeek مسیر متفاوتی ارائه می‌کند.
نکته مهم این است که لازم نیست همه این ابزارها را هم‌زمان نصب کنید. می‌توان بر اساس سخت‌افزار و نیاز واقعی، یک یا دو مورد را انتخاب کرد و بعد به‌تدریج امکانات دیگر را به محیط هوش مصنوعی محلی اضافه کرد.
برای کامپیوترهای دارای منابع محدود نیز بهتر است مدل‌های کوچک‌تر و کوانتایز‌شده را انتخاب کنید. در سیستم‌های مجهز به کارت گرافیک قدرتمند می‌توان مدل‌های بزرگ‌تر را آزمایش کرد و بخشی از بار پردازشی را به GPU سپرد.
در نهایت، جذابیت هوش مصنوعی محلی فقط در اجرای یک مدل چت نیست. ترکیب یک مدل زبانی با ابزارهایی برای کدنویسی، جست‌وجوی اسناد، تبدیل صدا به متن و اجرای وظایف می‌تواند کامپیوتر شخصی را به یک محیط هوش مصنوعی بسیار انعطاف‌پذیر تبدیل کند.
گیم پلنت