در چشم انداز مداوم محاسبات بسیار کارآمدNvidia دوباره با استراتژی های انقلابی خود در یک برنامه مجازی سازی GPU ، با استراتژی های انقلابی خود به جلو جهش کرد. از آنجا که الزامات محاسباتی هم در مطالعات علمی و هم در کاربردهای شرکتها به تشدید می رسد ، بهره وری و انعطاف پذیری توزیع منابع GPU به عوامل مهمی برای اطمینان از بهره وری بهینه تبدیل شده است. رویکرد ابتکاری Nvidia به مجازی سازی GPU او نه تنها با این چالش ها سر و کار دارد ، بلکه فرصت های بی سابقه ای را نیز برای مقیاس بندی و مدیریت منابع ارائه می دهد. NVIDIA با استفاده از الگوریتم های پیشرفته و فن آوری های Avant -Garde ، استانداردهای جدیدی از چگونگی استفاده از محیط مجازی می تواند از قدرت کامل پردازنده های گرافیکی استفاده کند و امکان تعادل صاف ، کاهش تأخیر و افزایش پهنای باند را فراهم می کند.
توسعه یک طبقه مجازی سازی GPU
منبع تصویر: nvidia
مسیر توسعه GPU مجازی سازی به سه مرحله تقسیم می شود: مرحله عزیمت API ، که توسط VCUDA ، مرحله مجازی سازی درایور ارائه شده توسط Grid VGPU و مرحله مجازی سازی سخت افزار ارائه شده توسط MIG ارائه شده است.
مرحله اول ، معروف به مرحله API ، توسط راه حل هایی مانند VCUDA تجسم یافته است. در طی این مرحله ، مجازی سازی با از بین بردن API GPU به دست آمد و به برنامه های کاربردی برای استفاده از منابع GPU از سرورهای از راه دور ، هرچند با محدودیت های خاصی در بهره وری و سازگاری استفاده شد.
مرحله دوم ، مرحله مجازی سازی راننده ، با معرفی Nvidia Grid VGPU ، پرش قابل توجهی به جلو دید. این نوآوری بسیاری از ماشینهای مجازی را قادر ساخته است تا یک پردازنده گرافیکی فیزیکی را به اشتراک بگذارند ، به طور قابل توجهی استفاده از منابع را بهبود بخشیده و شاخص های سازگار و قابل اطمینان تر را در محیط های مختلف مجازی ارائه دهند. فن آوری Grid VGPU باعث شده است تا تحویل مشکل دار تجربیات گرافیکی غنی به دسک تاپ های مجازی و برنامه های کاربردی ، صنایع انقلابی مانند VDI (زیرساخت رومیزی مجازی) و عملکرد از راه دور آسانتر شود.
سومین و آخرین مراحل ، مجازی سازی سخت افزار ، توسط پردازنده گرافیکی چند منظوره NVIDIA (MIG) نشان داده شده است. MIG Technology اجازه می دهد تا یک پردازنده گرافیک فیزیکی به نمونه های مستقل چندگانه تقسیم شود که هر کدام دارای منابع ویژه خود هستند. این اجلاس در مجازی سازی GPU است و عایق بی نظیری از عملکرد ، مقیاس و کارآیی منابع را ارائه می دهد. MIG به ویژه در مراکز داده و محاسبات ابر تحول آور است زیرا امکان توزیع دقیق منابع GPU برای بارهای مختلف ، از آموزش هوش مصنوعی گرفته تا عفونت را فراهم می کند.
این مراحل بر پیگیری بی رحمانه NVIDIA برای نوآوری در مجازی سازی GPU ، پیگیری محدودیت های ممکن و تعیین استانداردهای صنعتی جدید در کارآیی محاسباتی و کارآیی تأکید دارد.
(بخوانید “موقعیت GPU برای محاسبات مجازی و بارهای گرافیکی“برای اطلاعات بیشتر.)
منبع تصویر: pexels
API از راه دور و vcuda
فناوری VCUDA در حدود سال 2010 پدیدار شد. ایده آن برای اجرای یک تصویر منطقی از یک پردازنده گرافیکی فیزیکی در دستگاه مجازی است – یک پردازنده گرافیکی مجازی ، با CUDA API به حالت کاربر تداخل می کند و تغییر مسیر دهنده گرافیک مجازی به پردازنده گرافیک فیزیکی واقعی برای تصفیه. S در همان زمان ، بر اساس کتابخانه خانگی Cuda Runtime و Driver GPU ، سرور VCUDA بر روی میزبان انجام می شود ، API CUDA را به دست می گیرد ، توسط پردازنده گرافیک مجازی و برنامه ریزی کارهای محاسباتی رهگیری می شود.
vcuda چگونه کار می کند
کتابخانه زمان اجرا CUDA دستگاه مجازی توسط VCUDA جایگزین شده است ، که عملکرد آن عبور از تمام تماس های CUDA API از برنامه CUDA است. کتابخانه عملکرد VCUDA با راننده VGPU (یا درایور مشتری) در هسته تماس می گیرد. ویژگی واقعی درایور VGPU ارسال تماس های CUDA از طریق VMRPC (تماس تلفنی از راه دور ماشین مجازی) از ماشین مجازی به میزبان است. در دستگاه میزبان پس از دریافت تماس CUDA ، VCUDA Stub (سمت مدیریتی) میزبان (سمت مدیریت) برای تکمیل عملیات GPU ، کتابخانه True Cuda Runtime و درایور GPU میزبان فیزیکی را فراخوانی می کند.
او قبل از راننده مشتری ، API را پردازش می کند ، باید با مدیریت از منابع GPU درخواست کند. برای دستیابی به منابع و وظایف GPU در زمان واقعی ، هر فرآیند تماس مستقل باید برای منابع GPU در سمت مدیریت میزبان اعمال شود.
بدیهی است ، VCUDA یک فناوری برای مجازی سازی تثبیت زمان است که “زمان چند برابر برای تقسیم” است. این نوع تبدیل برای برنامه های کاربر شفاف است و نیازی به تغییر در پردازنده گرافیکی مجازی ندارد. همچنین می تواند به برنامه ریزی بسیار انعطاف پذیر دست یابد و تعداد ماشینهای مجازی که یک GPU می تواند در آن ارائه شود محدود نیست. اما معایب نیز واضح است: CUDA API فقط یکی از API های مورد استفاده در محاسبات GPU است. استانداردهای دیگری برای API در صنعت مانند DirectX/OpenGL وجود دارد ، و همان مجموعه API نسخه های مختلفی دارد (مانند DirectX 9 و DirectX 11 و غیره) ، سازگاری بسیار پیچیده است.
چگونه NVIDIA این مشکل را در نسل بعدی فناوری مجازی سازی GPU حل می کند؟
مشبک VGPU
NVIDIA در سال 2014 جایگزین VCUDA – Grid VGPU را راه اندازی می کند. Grid VGPU یک راه حل مجازی سازی GPU است که می تواند به عنوان پاراوراسیون نیز در نظر گرفته شود. “تکه تکه شدن” در واقع از “زمان چند برابر” استفاده می کند.
چگونه Grid VGPU کار می کند
برنامه CUDA در VM کتابخانه خانگی Cuda Runtime را صدا می کند ، اما درایور GPU (سیستم عامل مجازی) به نوار فیزیکی GPU دسترسی ندارد) ، اما به نوار مجازی دسترسی دارد.
هنگام انجام محاسبات ، GPU GPU GPA را منتقل می کند ، که باعث صرفه جویی در بار در درایور HOPU از طریق MMIO CSR می شود ، به طوری که درایور GPU Hostos GPA را دریافت می کند و آن را به صورت نوشته شده بر روی mmiocsr پردازنده گرافیک فیزیکی ، یعنی شروع کار محاسبه پردازش گرافیکی فیزیکی می کند.
هنگامی که پردازنده گرافیک فیزیکی محاسبه را تکمیل کرد ، وقفه MSI را به درایور Hostos ارسال می کند. درایور HostOS بررسی و ارسال می کند VGPU یک کپی از این بار بر اساس بار و ارسال وقفه VM مربوطه. VM Guestos تا زمانی که محاسبه بار کار به پایان برسد ، وقفه را انجام می دهد ، به CUDA و کاربرد و روند محاسبه VGPU گزارش می شود.
محلول VGPU همچنین MPT (گذرگاه واسطه از طریق یک گذرگاه کنترل شده) نیز نامیده می شود. ایده این راه حل مجازی سازی برخی از منابع حساس و منابع کلیدی (مانند فضای پیکربندی PCI-E و MMIO CSR) است ، در حالی که MMIO از حافظه GPU به Hostos MMIO GPU منتقل می شود. برای برنامه ریزی منابع سخت افزاری. به این ترتیب ، یک دستگاه PCI-E را می توان در VM مشاهده کرد و درایور GPU بومی قابل نصب است.
مزیت این راه حل این است که انعطاف پذیری برنامه ریزی VCUDA را به ارث می برد و نیازی به جایگزینی کتابخانه اصلی CUDA API با حل مشکل نسل قبلی VCUDA ندارد. ضرر این راه حل این است که درایور میزبان توسط سازنده سخت افزار کنترل می شود و درایور GPU فیزیکی قلب کل فرصت برنامه ریزی است. به عبارت دیگر ، این راه حل به نرم افزار سازنده بستگی دارد و نرم افزار سازنده می تواند بر اساس این امر هزینه صدور مجوز نرم افزار بالا را پرداخت کند.
nvidia mig
با هدایت صنعت ، Nvidia تولید خود را از GPU MIG (راه حل مجازی سازی چند منظوره GPU در حدود سال 2020 به روز کرد. پردازنده گرافیک چند بین المللی Nvidia (MIG) پیشرفت قابل توجهی در مجازی سازی GPU است. MIG اجازه می دهد مجرد GPU nvidia ai برای تقسیم به هفت مورد مستقل ، هر کدام دارای حافظه ویژه ، حافظه پنهان و محاسبات خاص خود هستند. این توانایی تضمین می کند که چندین بار می توانند به طور همزمان بدون دخالت در یکدیگر کار کنند ، عایق بهره وری و استفاده بهتر از منابع را فراهم کنند.
چگونه nvidia mig کار می کند
شباهت بین MIG و VGPU این است که کتابخانه زمان اجرا CUDA و GPU VM نسخه های محلی هستند. اما تفاوت این است که دستگاه GPU مشاهده شده توسط MIG در واقع بخشی از سخت افزار فیزیکی واقعی است و نوار و MMIO CSR آن سخت افزار فیزیکی واقعی در پشت آن است.
این یک ظرفیت سخت افزاری است که توسط NVIDIA از پردازنده های گرافیکی بالا مانند NVIDIA A100 و NVIDIA H100 معرفی شده است. این نه تنها می تواند 7 مورد از یک تراشه GPU را برای استفاده از VM های مختلف مجازی کند ، بلکه محاسبات GPU تعیین شده را نیز به موارد مجازی توزیع می کند. حافظه قدرت و GPU ، در واقع نوعی از چند برابر تقسیم فضایی است ، یعنی عایق منابع سخت افزاری (اشتراک سخت افزار).
یک مقدار مهم ناشی از عایق منابع سخت افزاری عایق خطای سخت افزار است. در دو راه حل اول ، در اصل ، هیچ انزوا واقعی آسیب از پردازنده گرافیکی حاصل نمی شود. هنگامی که وظیفه CUDA ارسال شده به NVIDIA به حافظه GPU فراتر از مرزها دسترسی پیدا کرد ، برنامه های CUDA در سایر مواد مجازی می توانند اشتباه کنند. قطع شد به جز. MIG یک مکانیسم امنیتی سخت افزار را فراهم می کند تا برنامه ها در موارد مختلف MIG تحت تأثیر قرار نگیرند ، بنابراین این مشکل ریشه را حل می کند.
این وضعیت فعلی توسعه هنر است که بر تسریع در هوش مصنوعی و کارهای عمیق یادگیری از طریق پردازنده های گرافیکی متمرکز شده است. پردازنده های گرافیکی Tensor Nvidia مانند V100 ، A100 و آخرین H100 محصول این مرحله هستند. این پردازنده های گرافیکی به طور خاص برای AI و آموزش های عمیق بهینه شده اند. آنها دارای یک قدرت محاسباتی قدرتمند و یک باند فرکانس کارآمد از حافظه هستند و محاسبات دقیق مختلفی را حفظ می کنند (مانند FP32 ، FP16 ، Int8 و غیره) ، به طور قابل توجهی آموزش و نتیجه گیری مدل های AI را بهبود می بخشند.
GPU هسته Tensor Nvidia H100بر اساس معماری جدید بانکر ، این بالاترین سطح فعلی فناوری GPU است و بر تسریع در AI ، یادگیری عمیق و کارهای محاسباتی بسیار مؤثر متمرکز است و باعث تشویق بیشتر مرحله سوم توسعه می شود.
پایان
استراتژی های اساسی Nvidia در برنامه مجازی سازی GPU شاخص های جدیدی در صنعت است. از مرحله پیشگام API گرفته تا پردازنده های پیشرفته گرافیک پیشرفته (MIG) ، NVIDIA دائماً پوسته را فشار می دهد و بهره وری بی نظیر ، مقیاس پذیری و عایق عملکرد را ارائه می دهد. این نوآوری ها نه تنها نحوه مدیریت منابع به مراکز داده و محیط مجازی را تغییر می دهند ، بلکه راهی را برای پیشرفت آینده در هوش مصنوعی ، تجزیه و تحلیل داده ها و محاسبات بسیار مؤثر می کنند.
برای مشاغلی که می خواهند از این فن آوری های Avant -Garde استفاده کنند ، همکاری با یک ارائه دهنده قابل اعتماد بسیار مهم است. روتر- Switch.com او با 22 سال تجربه در صنعت به عنوان یک متخصص باتجربه در این زمینه شناخته می شود. معروف به قیمت های رقابتی خود ، نگهداری سالم پس از فروش و کیفیت محصول تضمین شده ، ارائه پشتیبانی فنی کامل برای اطمینان از کسب بیشترین استفاده از خود GPU NVIDIAS که آیا شما به دنبال بهبود زیرساخت های موجود خود هستید یا تلاش های جدید محاسباتی را شروع می کنید ، Router- Switch.com دارای تخصص و راه حل هایی برای رفع نیازهای شما است.
