عصر جدید مراکز هوش مصنوعی

در سال 1984، Sun به دلیل اعلام “وب کامپیوتر است” مشهور بود. چهل سال بعد، با ظهور هوش مصنوعی دوباره شاهد این چرخه هستیم. ماهیت جمعی مدل‌های آموزشی هوش مصنوعی به یک شبکه بدون تلفات و بسیار در دسترس برای اتصال یکپارچه هر GPU در خوشه به یکدیگر و ارائه حداکثر عملکرد متکی است. شبکه‌ها همچنین مدل‌های هوش مصنوعی آموزش‌دیده را به کاربران نهایی و دیگر سیستم‌های موجود در مرکز داده، مانند ذخیره‌سازی، متصل می‌کنند و به سیستم اجازه می‌دهند تا بیش از مجموع قطعات آن باشد. در نتیجه، مراکز داده در حال تبدیل شدن به هاب های هوش مصنوعی جدید هستند، جایی که شبکه ها به مرکز مدیریت هوش مصنوعی تبدیل می شوند.

روندها در هوش مصنوعی

برای درک این موضوع، اجازه دهید ابتدا به انفجار مجموعه داده های هوش مصنوعی نگاه کنیم. با افزایش اندازه مدل های زبان بزرگ (LLM) برای آموزش هوش مصنوعی، موازی سازی داده ها اجتناب ناپذیر می شود. تعداد پردازنده‌های گرافیکی مورد نیاز برای آموزش این مدل‌های بزرگ‌تر نمی‌تواند با تعداد زیادی از پارامترها و اندازه داده‌ها مقابله کند. موازی سازی هوش مصنوعی، خواه داده، مدل یا خط لوله باشد، به همان اندازه کارآمد است شبکه که GPU ها را به هم متصل می کند. برای تنظیم وزن مدل، پردازنده‌های گرافیکی باید شیب‌های جهانی را مبادله و محاسبه کنند. برای انجام این کار، اجزای مختلف پازل هوش مصنوعی باید به صورت یکپارچه کار کنند مرکز هوش مصنوعی: پردازنده‌های گرافیکی، کارت‌های شبکه، لوازم جانبی اتصال مانند اپتیک/کابل‌ها، سیستم‌های ذخیره‌سازی و مهم‌تر از همه شبکه در مرکز همه چیز.

سیلوهای شبکه امروزی

دلایل و دلایل زیادی برای عملکرد غیربهینه در مراکز داده مبتنی بر هوش مصنوعی امروزی وجود دارد. اول و مهمتر از همه، شبکه های هوش مصنوعی برای حمل و نقل بدون تلفات نیاز به کیفیت یکپارچه خدمات ثابت دارند. این بدان معناست که کارت شبکه های سرور و همچنین پلتفرم های شبکه باید برچسب ها/نقشه های یکپارچه و کنترل های تراکم و اعلان های دقیق (PFC و ECN با DCQCN) و همچنین آستانه های استفاده از بافر مناسب داشته باشند تا هر جزء بتواند به رویدادهای شبکه مانند تراکم فوری واکنش نشان دهد. ، تضمین می کند که فرستنده می تواند دقیقاً نرخ ترافیک را کنترل کند تا از افت بسته جلوگیری شود. امروزه کارت های شبکه و دستگاه های شبکه به طور جداگانه پیکربندی می شوند. اشکال زدایی هر گونه عدم تطابق پیکربندی در شبکه های بزرگ هوش مصنوعی می تواند بسیار دشوار باشد.

یکی از دلایل رایج عملکرد ضعیف، خرابی قطعات است. سرورها، پردازنده‌های گرافیکی، کارت‌های شبکه، فرستنده‌ها، کابل‌ها، سوئیچ‌ها و مسیریاب‌ها ممکن است از کار بیفتند و باعث عقب‌گردی N شوند – یا حتی بدتر از آن، می‌توانند کل کار را متوقف کنند و منجر به جریمه‌های عملکرد هنگفت شوند. و با افزایش اندازه خوشه، احتمال خرابی اجزا بیشتر می شود. به‌طور سنتی، کتابخانه‌های ارتباط جمعی فروشندگان GPU (CCL) سعی می‌کنند توپولوژی شبکه زیربنایی را با استفاده از تکنیک‌های محلی‌سازی کشف کنند، اما اختلافات بین توپولوژی کشف‌شده و توپولوژی واقعی می‌تواند به طور جدی بر زمان تکمیل کار آموزش هوش مصنوعی تأثیر بگذارد.

یکی دیگر از جنبه های شبکه های هوش مصنوعی این است که اکثر اپراتورها تیم های جداگانه ای دارند که محاسبات جداگانه در مقابل زیرساخت های شبکه را طراحی و مدیریت می کنند. این شامل استفاده از سیستم های مختلف ارکستراسیون برای پیکربندی، اعتبارسنجی، نظارت و ارتقاء می باشد. فقدان یک نقطه کنترل و دید، شناسایی و بومی سازی مسائل عملکرد را بسیار دشوار می کند. همه این مسائل با افزایش اندازه خوشه هوش مصنوعی تشدید می شوند.

به راحتی می توان دید که چگونه این سیلوها می توانند عمیق تر شوند تا مشکل را پیچیده تر کنند. جداسازی عملیات‌های محاسباتی و شبکه می‌تواند منجر به چالش‌هایی در اتصال فن‌آوری‌ها برای عملکرد بهینه و تاخیر در تشخیص و رفع افت عملکرد یا شکست‌های آشکار شود. خود شبکه را می توان به جزایر خوشه های InfiniBand HPC غیر از مراکز داده مبتنی بر اترنت تقسیم کرد. این به نوبه خود می تواند حفاظت از سرمایه گذاری را محدود کند، باعث ایجاد چالش در انتقال داده ها بین جزایر، استفاده از دروازه های نامناسب و اتصال محاسبات و ذخیره سازی به کاربران نهایی شود. تمرکز بر روی هر یک از فناوری‌ها (مثلاً محاسبات) جدا از سایر جنبه‌های راه‌حل جامع، ماهیت متقابل و به هم پیوسته فناوری‌ها را نادیده می‌گیرد، همانطور که در زیر نشان داده شده است.

سیلوهای شبکه امروزی

ظهور هاب جدید هوش مصنوعی

مرکز جدید هوش مصنوعی کل این اکوسیستم مدرن و وابسته به هم را می شناسد و از آن استقبال می کند. کل سیستم برای عملکرد بهینه با هم بالا می رود، به جای اینکه مانند سیلوهای شبکه قبلی به صورت مجزا از بین برود. پردازنده‌های گرافیکی برای تکمیل آموزش هوش مصنوعی در کوتاه‌ترین زمان ممکن به یک شبکه بدون تلفات بهینه نیاز دارند و سپس این مدل‌های آموزش‌دیده هوش مصنوعی باید به خوشه‌های استنتاج هوش مصنوعی متصل شوند تا به کاربران نهایی اجازه دهند تا در مورد مدل جستجو کنند. گره‌های محاسباتی، که هم شتاب‌دهنده‌های GPU/AI و هم CPU/محاسبات عمومی را در بر می‌گیرند، باید با سیستم‌های ذخیره‌سازی و همچنین سایر سیستم‌های فناوری اطلاعات موجود در مرکز داده موجود ارتباط برقرار کرده و رابط داشته باشند. هیچ چیز به تنهایی کار نمی کند. این شبکه به عنوان بافت همبند برای ایجاد تمام این نقاط تعامل عمل می کند، درست همانطور که سیستم عصبی مسیرهایی را بین نورون ها در انسان فراهم می کند.

ارزش در هر یک نتیجه جمعی ارائه شده توسط سیستم کلی است که به صورت یکپارچه به هم مرتبط شده اند، نه در اجزای منفرد که به طور مستقل عمل می کنند. برای انسان، ارزش ناشی از افکار و اعمالی است که توسط سیستم عصبی فعال می شود، نه فقط نورون ها. به طور مشابه، ارزش مرکز هوش مصنوعی خروجی مصرف‌شده توسط کاربران نهایی است که مشکلات هوش مصنوعی را حل می‌کنند، که توسط خوشه‌های یادگیری متصل به خوشه‌های استنتاج متصل به ذخیره‌سازی و سایر سیستم‌های IT که در یک شبکه بدون تلفات مانند یک سیستم عصبی مرکزی یکپارچه شده‌اند، فعال می‌شود. هاب هوش مصنوعی با حذف سیلوها برای فعال کردن تنظیم عملکرد هماهنگ، عیب یابی و عملیات می درخشد و شبکه مرکزی نقش کلیدی در ایجاد و تامین انرژی سیستم متصل دارد.

اترنت در مقیاس: مرکز هوش مصنوعی

Arista EOS هاب های هوش مصنوعی را تقویت می کند

EOS^Ⓡ بهترین سیستم عامل در کلاس Arista است که بزرگترین شبکه های هوش مصنوعی مقیاس پذیر جهان را نیرو می دهد و تمام بخش های اکوسیستم را برای ایجاد مرکز هوش مصنوعی جدید گرد هم می آورد. اگر یک شبکه سیستم عصبی مرکز هوش مصنوعی باشد، EOS مغزی است که سیستم عصبی را اداره می کند.

یک نوآوری جدید از Arista که در EOS تعبیه شده است، مفهوم به هم پیوسته مرکز هوش مصنوعی را با اتصال نزدیک تر شبکه با میزبان های متصل به عنوان یک سیستم جامع، گسترش می دهد. EOS کنترل شبکه، تله متری و ویژگی های QoS بدون تلفات را از سوییچ های شبکه به یک عامل EOS راه دور که بر روی یک NIC در سرورها/GPUهای متصل مستقیماً متصل می شوند، گسترش می دهد. عامل راه دور واقع در AI NIC/سرور سوئیچ را تبدیل به تبدیل می کند مرکز شبکه هوش مصنوعی برای پیکربندی، نظارت و اشکال زدایی هاست ها و پردازنده های گرافیکی هوش مصنوعی. این اجازه می دهد تا یک نقطه کنترل و دید منفرد و ثابت را داشته باشید. با استفاده از عامل راه دور، دنباله پیکربندی، از جمله راه‌اندازی ترافیک سرتاسر، می‌تواند به عنوان یک واحد همگن ارائه شود. Arista EOS ارتباطات مرکز هوش مصنوعی را قادر می سازد تا رفتار میزبان و شبکه را فوراً ردیابی و گزارش کند. به این ترتیب، خطاها را می توان برای ارتباط بین EOS در حال اجرا در شبکه و عامل میزبان راه دور جدا کرد. این بدان معنی است که EOS می تواند مستقیماً توپولوژی شبکه را گزارش کند، کشف توپولوژی را متمرکز کرده و با استفاده از پیکربندی و ساختارهای مدیریتی آشنا Arista EOS در تمام پلتفرم ها و شرکای Arista Etherlink™.

یک اکوسیستم غنی از شرکا از جمله AMD، Broadcom، Intel و NVIDIA

به منظور ایجاد شبکه‌های هوش مصنوعی قوی و فوق‌مقیاس که کمترین زمان اجرای کار را دارند، مراکز هوش مصنوعی آریستا کل اکوسیستم را در مرکز هوش مصنوعی جدید سوئیچ‌های شبکه، کارت‌های شبکه، گیرنده‌ها، کابل‌ها، پردازنده‌های گرافیکی و سرورها گرد هم می‌آورند تا پیکربندی، مدیریت شوند و به عنوان یک موجود واحد مشاهده می شود. این امر TCO را کاهش می دهد و عملکرد را در حوزه های محاسباتی یا شبکه بهبود می بخشد. چشم انداز مرکز هوش مصنوعی اولین گام در ایجاد قابلیت تعامل و مدیریت باز و منسجم بین شبکه هوش مصنوعی و میزبان است. ما با استفاده از OpenConfig برای فعال کردن هاب های هوش مصنوعی، به تعهد خود برای باز کردن استانداردهای Arista EOS پایبند هستیم.

ما مفتخریم که با همکاران محترم در این امر همکاری می کنیم.

به دنیای باز جدید مراکز هوش مصنوعی خوش آمدید!

منابع: