وقتی شرکتی تصمیم می‌گیرد یک مدل هوش مصنوعی را داخل سازمان اجرا کند، اولین سؤال معمولاً این است: «چه کارت گرافیکی بخریم؟» اما کارت گرافیک فقط یک بخش ماجراست. کارتی که در شاسی سرور جا نشود، برقی که منبع تغذیه یا UPS تحملش را نداشته باشد یا اتاق سروری که گرمایش را دفع نکند، کل پروژه را متوقف می‌کند.
چرا GPU؟
مدل‌های هوش مصنوعی در اصل حجم عظیمی ضرب ماتریس انجام می‌دهند و کارت گرافیک این کار را به‌صورت موازی و بسیار سریع‌تر از CPU انجام می‌دهد. اجرای مدل‌های کوچک روی CPU ممکن است، اما پاسخ‌ها کند است و برای چند کاربر هم‌زمان معمولاً کافی نیست.
حافظه کارت گرافیک؛ مهم‌ترین عدد
برای اجرای مدل (Inference)، مقدار VRAM کارت معمولاً از سرعت خام آن مهم‌تر است، چون کل مدل باید در حافظه جا شود. یک قاعده تقریبی:
- حافظه لازم ≈ تعداد پارامترهای مدل × بایت هر پارامتر.
- با دقت ۱۶ بیتی هر پارامتر ۲ بایت است؛ پس مدلی با ۷ میلیارد پارامتر حدود ۱۴ گیگابایت فقط برای وزن‌ها می‌خواهد.
- با فشرده‌سازی ۴ بیتی همین مدل به حدود یک‌چهارم این مقدار نیاز دارد.
- برای متن ورودی طولانی و کاربران هم‌زمان، حافظه اضافه لازم است.
آموزش یا تنظیم دقیق (Fine-tuning) مدل چند برابر اجرای آن حافظه می‌خواهد. بیشتر شرکت‌های کوچک و متوسط فقط به اجرا نیاز دارند.
پیش از خرید، مدل موردنظر را روی یک سرور ابری یا سیستم آزمایشی با همان مقدار حافظه امتحان کنید. این کار جلوی خرید کارتی را می‌گیرد که برای مدل شما کم یا بیش از حد است.
کارت دسکتاپ یا کارت دیتاسنتری؟
کارت‌های مخصوص دیتاسنتر معمولاً حافظه بیشتر، خنک‌سازی مناسب شاسی سرور و پشتیبانی رسمی برای مجازی‌سازی دارند، اما گران‌ترند. کارت‌های دسکتاپی ارزان‌ترند، ولی ممکن است در شاسی سرور جا نشوند، فن و جریان هوایشان برای رک طراحی نشده باشد و قابلیت‌هایی مثل vGPU را نداشته باشند. شرایط درایور و لایسنس استفاده در دیتاسنتر را هم برای هر محصول جداگانه بررسی کنید. تأمین قطعه و گارانتی در ایران هم معیار مهمی است.
CPU، رم و ذخیره‌سازی
- CPU و اسلات PCIe: مادربرد باید به‌اندازه کافی اسلات و خط PCIe برای کارت‌ها داشته باشد. CPU خیلی قوی لازم نیست، اما نباید گلوگاه شود.
- رم سیستم: دست‌کم هم‌اندازه یا بیشتر از کل حافظه گرافیکی در نظر بگیرید، چون مدل ابتدا در رم بارگذاری می‌شود.
- ذخیره‌سازی: دیسک NVMe برای نگهداری و بارگذاری سریع فایل‌های مدل؛ اگر اسناد زیادی به مدل وصل می‌کنید، ظرفیت و بکاپ آن را هم حساب کنید.
- شبکه: برای یک سرور تکی شبکه معمولی کافی است؛ برای چند سرور یا ذخیره‌ساز مشترک، شبکه پرسرعت لازم می‌شود.
برق و خنک‌سازی؛ بخشی که فراموش می‌شود
کارت‌های گرافیک پرقدرت زیر بار مصرف برق بالایی دارند و تقریباً همه آن را به گرما تبدیل می‌کنند. قبل از نصب:
- توان منبع تغذیه سرور را با مجموع مصرف کارت‌ها و بقیه قطعات مقایسه کنید و حاشیه اطمینان بگذارید.
- ظرفیت UPS و زمان پشتیبانی آن را بعد از اضافه شدن سرور جدید دوباره حساب کنید.
- ظرفیت مدار برق رک و کابل‌کشی را بررسی کنید.
- مطمئن شوید سیستم سرمایش اتاق سرور گرمای اضافه را دفع می‌کند و جریان هوای سرد و گرم رک درست است.
چک‌لیست
- مدل و کاربرد را پیش از خرید سخت‌افزار مشخص کرده‌اید.
- VRAM لازم را برای مدل، طول متن و تعداد کاربران برآورد کرده‌اید.
- ابعاد، خنک‌سازی و سازگاری کارت با شاسی و مادربرد سرور تأیید شده است.
- نیاز به GPU Passthrough یا vGPU و لایسنس آن روشن است.
- منبع تغذیه، UPS و مدار برق بازبینی شده‌اند.
- سرمایش اتاق سرور برای بار جدید کافی است.
کارشناسان ITPlus724 می‌توانند سرور، رک، برق، UPS، سرمایش و مجازی‌سازی لازم برای میزبانی سرویس‌های هوش مصنوعی را در اتاق سرور یا دیتاسنتر برای شرکت شما بررسی و آماده کنند.