بسیاری از شرکت‌ها دوست دارند از چت‌بات‌های هوش مصنوعی برای خلاصه‌کردن اسناد، پاسخ به سؤالات داخلی یا نوشتن پیش‌نویس استفاده کنند، اما نمی‌خواهند قرارداد، اطلاعات مالی یا اسناد مشتری را برای یک سرویس خارجی بفرستند. یک راه‌حل این است که مدل زبانی را روی سرور خود شرکت اجرا کنید. این راه شدنی است، اما با نصب یک نرم‌افزار ساده فرق دارد و باید با چشم باز انتخاب شود.
اجرای محلی یعنی چه؟
امروز مدل‌های زبانی زیادی با «وزن‌های باز» (Open-weight) منتشر می‌شوند؛ یعنی فایل مدل را می‌شود دانلود کرد و روی سخت‌افزار خود اجرا کرد. خانواده‌هایی مثل Llama، Mistral یا Qwen نمونه‌های شناخته‌شده‌اند. برای اجرا هم ابزارهایی مثل Ollama یا llama.cpp برای شروع ساده و ابزارهایی مثل vLLM برای سرویس‌دهی به کاربران زیاد وجود دارند. مدل روی سرور شما بالا می‌آید و کاربران از طریق یک رابط وب یا API داخلی با آن کار می‌کنند.
مزایا
- ماندن داده در شرکت: متن سؤال‌ها و اسناد از شبکه داخلی خارج نمی‌شود؛ این مهم‌ترین دلیل انتخاب این روش است.
- وابستگی کمتر به سرویس خارجی: تغییر شرایط سرویس‌دهنده، قطع دسترسی یا محدودیت‌هایی که ممکن است برای کاربران ایران وجود داشته باشد، کار شما را متوقف نمی‌کند.
- هزینه قابل پیش‌بینی: هزینه اصلی، خرید و نگهداری سخت‌افزار است، نه پرداخت به ازای هر درخواست.
- امکان سفارشی‌سازی: می‌توانید مدل را به اسناد داخلی وصل کنید یا برای یک کار مشخص تنظیمش کنید.
معایب و محدودیت‌ها
- کیفیت متفاوت: مدل‌هایی که روی یک سرور معمولی جا می‌شوند، معمولاً در کارهای پیچیده به پای بزرگ‌ترین مدل‌های ابری نمی‌رسند. باید روی کارهای واقعی خودتان آزمایششان کنید.
- هزینه اولیه سخت‌افزار: کارت گرافیک مناسب، برق و خنک‌سازی هزینه کمی نیست.
- نگهداری مداوم: به‌روزرسانی مدل، درایور، کتابخانه‌ها و رفع اشکال، کار تیم شماست، نه یک شرکت خارجی.
- مسئولیت امنیت: سرویسی که روی شبکه داخلی راه می‌اندازید، اگر بد پیکربندی شود، خودش یک نقطه نفوذ است.
- شرایط لایسنس: لایسنس مدل‌های باز یکسان نیست و بعضی برای استفاده تجاری شرط دارند. پیش از استفاده، متن لایسنس همان نسخه را بخوانید.
پیش‌نیازهای فنی
- حافظه گرافیکی (VRAM): عامل اصلی در انتخاب مدل است. حجم حافظه لازم تقریباً با تعداد پارامترهای مدل ضربدر تعداد بایت هر پارامتر برابر است، به‌اضافه فضای اضافه برای متن ورودی. نسخه‌های فشرده‌شده (Quantized) حافظه کمتری می‌خواهند اما ممکن است کمی دقتشان کم شود.
- مجازی‌سازی: اگر سرور مجازی است، کارت گرافیک باید با GPU Passthrough یا vGPU به ماشین مجازی داده شود. امکانات و لایسنس این کار در Proxmox، VMware و Hyper-V و نیز نوع کارت فرق دارد.
- ذخیره‌سازی سریع: فایل‌های مدل حجیم‌اند و بارگذاری‌شان از دیسک NVMe بسیار سریع‌تر است.
- شبکه و دسترسی: سرویس را پشت فایروال، در یک VLAN جدا و با احراز هویت کاربران قرار دهید.
هرگز API سرویس مدل را بدون احراز هویت روی اینترنت یا حتی کل شبکه داخلی باز نگذارید. پورت پیش‌فرض این ابزارها را فقط برای سرور یا رابط مجاز در دسترس قرار دهید.
امنیت و حاکمیت داده
اجرای محلی به‌تنهایی امنیت نمی‌آورد. مشخص کنید چه کسانی به سرویس دسترسی دارند، آیا متن گفتگوها ذخیره می‌شود و چه مدت نگه داشته می‌شود. فایل مدل را فقط از منبع رسمی دانلود و در صورت امکان چک‌سام آن را بررسی کنید. از تنظیمات، اسکریپت‌ها و هر داده‌ای که به مدل وصل کرده‌اید، بکاپ منظم بگیرید.
چک‌لیست
- کارهای مشخصی که مدل باید انجام دهد را نوشته‌اید و مدل را روی نمونه واقعی آن‌ها تست کرده‌اید.
- لایسنس مدل را برای استفاده تجاری بررسی کرده‌اید.
- حافظه گرافیکی، برق و خنک‌سازی را بر اساس مدل انتخابی برآورد کرده‌اید.
- سرویس پشت فایروال است و احراز هویت دارد.
- سیاست نگهداری متن گفتگوها روشن است.
- برای به‌روزرسانی و پایش سرویس، مسئول مشخص دارید.
اگر تصمیم به اجرای محلی گرفتید، کارشناسان ITPlus724 می‌توانند سرور، مجازی‌سازی، شبکه، فایروال و بکاپ لازم برای این سرویس را آماده و ایمن کنند.