انودیا Nemotron 3.5 Lightning را رایگان عرضه کرد
مدل به صورت رایگان قابل دانلود، استفاده و تغییر است و با مسیریابی NeMo Switchyard که به استنتاج به سبک عامل اختصاص دارد، ارائه میشود.
انیدیا مدل Nemotron 3.5 Lightning را در تاریخ 11 اوت به عنوان یک مدل هوش مصنوعی متنباز که آن را "سبک" توصیف میکند و قادر به اجرا بر روی یک GPU در لپتاپ یا دسکتاپ است، منتشر کرد. این شرکت انتشار را به عنوان "هوش مصنوعی رایگان" که استفاده از استنتاج را گسترش میدهد در حالی که همچنان تقاضا برای GPUها را حفظ میکند، معرفی میکند.
نکات کلیدی
- Nemotron 3.5 Lightning مدل متنباز جدید انیدیا است که به عنوان "سبک" توصیف شده و برای اجرا بر روی یک GPU در یک تنظیم لپتاپ یا دسکتاپ طراحی شده است.
- انیدیا به شرکتها اجازه میدهد تا مدل را بدون نیاز به مجوز یا پرداخت دانلود، استفاده و تغییر دهند و آن را به عنوان یک راه آسان برای استنتاج محلی معرفی میکند.
- این شرکت اعلام کرد که از تقطیر استفاده کرده است تا مدل کوچکتر Lightning قابلیتهایی مشابه مدلهای بزرگتر Nemotron داشته باشد.
- توزیع برای HuggingFace و وبسایت انیدیا تنظیم شده است، همراه با نرمافزار NeMo Switchyard که "ارزانترین و مناسبترین" مدل را برای یک کار مشخص انتخاب میکند.
Nemotron 3.5 Lightning: مدل متنباز رایگان و قابل تغییر انیدیا با یک GPU
انیدیا مدل Nemotron 3.5 Lightning را در تاریخ 11 اوت منتشر کرد و آن را به عنوان یک مدل هوش مصنوعی متنباز "سبک" توصیف کرد که میتواند بر روی یک GPU در لپتاپ یا دسکتاپ اجرا شود. این موقعیتگیری صریح است: استنتاج محلی و تکماشینی به جای تنها ابری و پرداخت به ازای هر تماس.APIنگرش.
شرایط تجاری نیمه دیگر مکانیزم است. انویدیا اعلام کرد که این مدل برای شرکتها رایگان است تا دانلود، استفاده و تغییر دهند "بدون نیاز به دریافت مجوز یا پرداخت به انویدیا"، که دو مانع معمولی که باعث کندی پذیرش میشود را حذف میکند: مذاکره مجوز و قیمتگذاری به ازای هر توکن.
انویدیا همچنین انتشار را به یک تکنیک ساخت خاص مرتبط کرد. نمایندگان شرکت گفتند که تقطیر برای ارائه قابلیتهای "مشابه" به مدلهای بزرگتر نموترو 3.5 لایتنینگ استفاده شده است، ادعایی که اهمیت دارد زیرا این مدل بر اساس کارایی به جای مقیاس خام به فروش میرسد.
«هوش مصنوعی رایگان» به عنوان یک استراتژی تقاضای GPU—و چرا این موضوع برای روایتهای محاسباتی کریپتو اهمیت دارد
تئوری انویدیا این است که توزیع باز تقاضای سختافزار را از بین نمیبرد، بلکه آن را گسترش میدهد. استدلال شرکت ساده است: حتی مدلهای "رایگان" هنوز نیاز به اجرا در جایی دارند و کاهش هزینه حاشیهای استنتاج میتواند استفاده کلی را در مقایسه با گزینههای اختصاصی افزایش دهد.
مدیرعامل جنسن هوانگ به طور غیرمعمولی درباره این چارچوب صریح بوده است. در یک مصاحبه در ماه جولای، او گفت: "هوش مصنوعی رایگان باید برای سختافزار عالی باشد. هوش مصنوعی رایگان باید برای چیپها عالی باشد." این شرطبندی پشت یک مدل تک GPU است که میتواند بر روی یک ایستگاه کاری توسعهدهنده، یک سرور کوچک شرکتی، یا یک جعبه اختصاصی که وظایف پسزمینه را اجرا میکند، زندگی کند.
برای معاملهگران کریپتو، اهمیت کمتر به امتیاز معیار یک مدل مربوط میشود و بیشتر به شکل تقاضایی که به آن اشاره دارد. اگر استنتاج محلی به اندازه کافی ارزان شود که همیشه فعال باشد، تقاضای محاسباتی از تماسهای API متمرکز و ناگهانی به بارهای کاری پایدار منتقل میشود که بیشتر شبیه هزینههای زیرساختی به نظر میرسند.
این روایت تأثیرات پاییندستی بر نحوه قیمتگذاری بازارها بر کمبود GPU، شبکههای محاسباتی DePIN وعامل هوش مصنوعیداستانهای توکن که به استنتاج مداوم وابستهاند نه به نشانههای گاهبهگاه.
نکته اینجاست که جزئیات منتشر شده در این متن هیچیک از این موارد را کمیسازی نمیکند. هیچ تعداد پارامتر افشاشدهای وجود ندارد، هیچ معیارهای سنجشی منتشرشدهای وجود ندارد و هیچ معیارهای پذیرش نیز ارائه نشده است، بنابراین داستان "هوش مصنوعی رایگان بیشتر GPUها را به کار میگیرد" هنوز یک ادعای استراتژیک است تا یک نتیجه اندازهگیریشده.
توزیع، نمایندگان و سوئیچ یارد NeMo: کاهش اصطکاک برای استنتاج همیشه فعال
انیدیا در حال پیشبرد Nemotron 3.5 Lightning از طریق کانالهایی است که مدلها را عملیاتی میکنند، نه فقط اعلام شده. این شرکت گفت که مدل در HuggingFace و وبسایت خود انیدیا در دسترس خواهد بود، که مسیر عملی برای توسعهدهندگانی است که میخواهند وزنها را بارگذاری، تنظیم دقیق کنند و بدون انتظار برای یک سرویس مدیریت شده، مستقر شوند.
قالببندی محصول همچنین به سمت عوامل متمایل است. انیدیا گفت که این مدل بهطور خاص برای عوامل هوش مصنوعی توسعه یافته است، به این معنی که برنامههایی که میتوانند بهطور خودکار در پسزمینه اجرا شوند. این موضوع اهمیت دارد زیرا عوامل بهطور ذاتی بار استنتاج سنگینی دارند: آنها بهطور مداوم کار میکنند، ابزارها را فراخوانی میکنند و خروجیهای کوچک زیادی تولید میکنند که در آن هزینه به ازای هر کار غالب است.
در کنار مدل، انیدیا نرمافزار NeMo Switchyard را منتشر کرد که گفت میتواند "ارزانترین و مناسبترین" مدل هوش مصنوعی را برای یک کار خاص تعیین کند. از نظر مکانیکی، این یک لایه مسیریابی است: بهجای اینکه هر درخواست را به بزرگترین مدل موجود ارجاع دهد، بارهای کاری میتوانند به مدلهای کوچکتر یا ارزانتر هدایت شوند زمانی که کار اجازه میدهد.
این داستان مسیریابی برای انیدیا دو جنبه دارد. اگر Switchyard بر روی منویی بهینهسازی کند که هنوز بهترین عملکرد را بر روی GPUهای انیدیا دارد، میتواند حجم کل استنتاج را افزایش دهد و بارهای کاری را به پشته انیدیا متصل نگه دارد. اگر به یک واسطه بیطرف تبدیل شود که از سختافزار انیدیا دور میشود زمانی که گزینههای ارزانتر وجود دارد، به ابزاری تبدیل میشود که رقبا میتوانند از آن استفاده کنند. این متن مشخص نمیکند که Switchyard چگونه تصمیم میگیرد یا چه مجموعه مدلی را میتواند مسیریابی کند.
سیگنالهایی برای نظارت بر اینکه انیدیا مدل Nemotron 3.5 Lightning را متنباز میکند
نقطه اعتبارسنجی اول افشای فنی است. اینکه آیا انیدیا بنچمارکها، تعداد پارامترها یا ارزیابیهای شخص ثالث را منتشر میکند، تصمیم میگیرد که چگونه معاملهگران میتوانند ادعاهای "یک GPU" و "قابلیتهای مشابه" را جدی بگیرند، بهویژه برای بارهای کاری به سبک عامل که در آن تأخیر و قابلیت اطمینان استفاده از ابزارها اهمیت دارد.
دومین مورد پذیرشی است که شبیه استقرار بهجای دستکاری به نظر میرسد. انیدیا گفت که CrowdStrike، CodeRabbit و Harvey مدل را آزمایش و سفارشی کردند، که یک سیگنال اولیه از طرف شرکتها است، اما بازار میخواهد الگوهای تکرارپذیر را ببیند: کشش HuggingFace، موارد استفاده تولیدی نامدار بیشتر و شواهدی که نشان میدهد شرکتها واقعاً Lightning را در محصولات خود عرضه میکنند.
سیاست، بار اضافی است که میتواند به سرعت قیمتگذاری کل تجارت مدلهای باز را تغییر دهد. این انتشار در میانه یک بحث در واشنگتن قرار دارد که پس از اعلام Kimi K3 توسط هوش مصنوعی Moonshot چین تشدید شد و سیاستمداران نگرانیهایی در مورد تقطیر بهعنوان یک وکتور بالقوه برای سرقت مالکیت معنوی مطرح کردند.
هرگونه بیانیه جدید از سوی ایالات متحده یا محدودیتهای پیشنهادی در مورد انتشار وزنهای باز یا تقطیر بیشتر از یک دوره بازاریابی اهمیت خواهد داشت، زیرا میتواند معنای "آزاد برای تغییر" را در عمل تغییر دهد.
در نهایت، نظارت کنید که چگونه NeMo Switchyard تکامل مییابد. بهروزرسانیهایی که روشن میکنند چگونه مسیریابی "ارزانترین/مناسبترین" تعیین میشود و اینکه آیا پیشفرضها بارهای کاری را به سمت GPUهای انیدیا سوق میدهند یا خیر، به معاملهگران میگوید که آیا این یک ویژگی راحتی برای توسعهدهندگان است یا یک کنترل عمدی برای هزینههای استنتاج.
نظر من: مدلهای باز در حال تبدیل شدن به یک جبهه رقابتی هستند، نه یک حرکت خیریه.
قسمتی که این داستان را تعیین میکند این نیست که آیا Nemotron 3.5 Lightning از نظر مجوز به معنای واقعی "منبع باز" است یا خیر، بلکه این است که آیا Nvidia میتواند وزنهای باز را به دقایق بیشتری از استنتاج در روز تبدیل کند. یک مدل تک-GPU که آزادانه قابل تغییر است، یک بازی حجمی است و جمله هوانگ که "هوش مصنوعی رایگان باید برای تراشهها عالی باشد" واضحترین بیان نیت Nvidia است.
آزمایش واقعی این است که آیا لایه مسیریابی به عادت تبدیل میشود یا خیر. اگر NeMo Switchyard در مقابل بارهای کاری عامل قرار گیرد و به طور مداوم مدلهایی را انتخاب کند که به طور کارآمد بر روی GPUهای Nvidia اجرا میشوند، انتشار باز به یک استراتژی توزیع تبدیل میشود که تقاضا را گسترش میدهد نه یک اقدام PR یکباره.
