ایلان ماسک، مدیرعامل ایکس، تسلا و اسپیس‌ایکس، اعلام کرد که فرآیند آموزش مدل زبانی بزرگ GROK 3 را در زیرساخت عظیمی به‌کمک تعداد بسیار زیادی گرافیک انویدیا انجام خواهد داد.
طبق پست ماسک در ایکس، آموزش مدل هوش مصنوعی xAI توسط «قدرت‌مندترین کلاستر آموزش AI در جهان» با کمک ۱۰۰ هزار پردازنده‌ی گرافیکی H100 آغاز می‌شود. ماسک در پست خود بیان کرد که از خنک‌کننده‌ی مایع در این سیستم استفاده شده است.
همه‌ی پردازنده‌های H100 روی یک ساختار RDMA واحد قرار گرفته‌اند. RDMA (مخفف Remote Direct Memory Access) به زیرساخت شبکه‌ای اشاره دارد که امکان دسترسی مستقیم به حافظه از راه دور را فراهم می‌کند. این موضوع باعث کاهش تأخیر و افزایش توان عملیاتی می‌شود که آن را برای دیتاسنترها و پایگاه‌های داده، ایدئال می‌سازد.
فعالیت سیستم تعلیم xAI در ساعت ۴:۲۰ صبح به‌وقت محلی ممفیس آغاز شد. ایلان ماسک در پست دیگری مدعی شد که قدرت‌مندترین مدل هوش مصنوعی جهان (GROK 3) را تا پایان ۲۰۲۴ آماده خواهد کرد. این خبر حدود دو هفته پس از آن منتشر شد که xAI و اوراکل قرارداد سرور ۱۰ میلیارد دلاری خود را لغو کردند.
استارتاپ هوش مصنوعی ایلان ماسک در ابتدا می‌خواست فضای ابری اوراکل را اجاره کند، اما تصمیم به ساخت سرور اختصاصی خودش گرفت و قرارداد بین آن‌ها که قرار بود چند سال ادامه داشته باشد، پایان یافت.
اکنون هدف پروژه‌ی xAI، ابر کامپیوتر بسیار قدرتمندی است که با استفاده از صدهزار پردازنده‌ی گرافیکی H100 با کارایی بالا به‌دست می‌آید. هر H100 تقریباً ۳۰,۰۰۰ دلار هزینه دارد و با وجود اینکه از ۲۰,۰۰۰ پردازنده برای توسعه‌ی GROK 2 استفاده شده بود، GROK 3 به پنج برابر قدرت بیشتر برای توسعه‌ی چت‌بات هوش مصنوعی خود نیاز خواهد داشت.
این تصمیم در حالی گرفته می‌شود که انویدیا در سه‌ماهه‌ی سوم امسال، پردازنده‌های H200 جدید خود را عرضه خواهد کرد. H200 پیکربندی حافظه‌ی بهتری را ارائه می‌دهد و منجربه بهبود ۴۵ درصدی زمان پاسخ می‌شود. تیم سبز قرار است در اوایل ۲۰۲۵ پردازنده‌های گرافیکی B100 و B200 با معماری خیره‌کننده‌ی بلک‌ول را عرضه کند.
انتظار می‌رفت مدل هوش مصنوعی xAI در نیمه‌ی اول ۲۰۲۵ آماده شود، اما به‌نظر می‌رسد که فرآیند تعلیم آن زودتر آغاز شده است. به‌گفته ایلان، مدل زبانی بزرگ گراک ۳ تا پایان سال ۲۰۲۴ کاملاً آموزش خواهد دید و خود را به‌عنوان سریع‌ترین AI جهان معرفی خواهد کرد.
