Nvidia, Nemotron 3.5 Lightning'i açık kaynak yaptı

Nvidia, 11 Ağustos'ta 'hafif' olarak tanımladığı ve bir dizüstü veya masaüstü bilgisayarda tek bir GPU üzerinde çalışabilen açık kaynaklı bir AI modeli olan Nemotron 3.5 Lightning'i piyasaya sürdü. Şirket, bu sürümü, GPU'lara olan talebi artırırken çıkarım kullanımını genişleten 'ücretsiz AI' olarak çerçeveliyor.

Ana Noktalar

Nemotron 3.5 Lightning, Nvidia'nın yeni piyasaya sürdüğü açık kaynaklı modeldir, 'hafif' olarak tanımlanmakta ve bir dizüstü veya masaüstü kurulumunda tek bir GPU üzerinde çalışacak şekilde tasarlanmıştır.
Nvidia, şirketlerin modeli izinsiz veya ödeme yapmadan indirmesine, kullanmasına ve değiştirmesine izin vererek, bunu yerel çıkarım için sorunsuz bir geçiş noktası olarak konumlandırıyor.
Şirket, daha küçük Lightning modeline, daha büyük Nemotron modellerine benzer yetenekler kazandırmak için damıtma yöntemini kullandığını söyledi.
Dağıtım, HuggingFace ve Nvidia'nın web sitesinde, belirli bir görev için 'en ucuz ve en uygun' modeli seçen NeMo Switchyard yazılımı ile birlikte yapılacak.

Nemotron 3.5 Lightning: Nvidia'nın Tek-GPU, Ücretsiz Değiştirilebilir Açık Modeli

Nvidia, 11 Ağustos'ta Nemotron 3.5 Lightning'i piyasaya sürdü ve bunu bir dizüstü veya masaüstü bilgisayarda tek bir GPU üzerinde çalışabilen 'hafif' bir açık kaynaklı AI modeli olarak tanımladı. Konumlandırma açıktır: yerel, tek makine çıkarımı, yalnızca bulut, çağrı başına ödeme yerine.APItutum.

Ticari şartlar mekanizmanın diğer yarısıdır. Nvidia, modelin şirketler tarafından "izin almadan veya Nvidia'ya ödeme yapmadan" indirilebileceğini, kullanılabileceğini ve değiştirilebileceğini söyledi; bu da benimseme sürecini yavaşlatan iki yaygın engeli ortadan kaldırıyor: lisans müzakeresi ve token başına fiyatlandırma.

Nvidia, çıkışı belirli bir yapı tekniği ile ilişkilendirdi. Şirket temsilcileri, Nemotron 3.5 Lightning'e daha büyük Nemotron modellerine "benzer yetenekler" kazandırmak için damıtma işleminin kullanıldığını belirtti; bu iddia, modelin ham ölçekten ziyade verimlilik üzerine satılması nedeniyle önem taşıyor.

‘Ücretsiz AI’ GPU Talep Stratejisi Olarak—ve Bunun Kripto Hesaplama Anlatıları İçin Neden Önemli Olduğu

Nvidia'nın tezi, açık dağıtımın donanım talebini azaltmadığı, aksine genişlettiğidir. Şirketin argümanı basit: hatta “ücretsiz” modeller bile bir yerde çalıştırılmak zorundadır ve çıkarımın marjinal maliyetini düşürmek, özel alternatiflere kıyasla toplam kullanımı artırabilir.

CEO Jensen Huang, bu çerçeve hakkında alışılmadık derecede doğrudan konuştu. Temmuz ayında yaptığı bir röportajda, “Ücretsiz AI donanım için harika olmalı. Ücretsiz AI çipler için harika olmalı.” dedi. Bu, bir geliştirici iş istasyonunda, küçük bir kurumsal sunucuda veya arka planda görevleri yürüten özel bir kutuda çalışabilen tek bir GPU modelinin arkasındaki bahistir.

Kripto traderlar için, önem bir modelin kıyaslama puanından ziyade, onun önerdiği talep şekliyle ilgilidir. Yerel çıkarım yeterince ucuz hale gelirse sürekli açık kalabilir, bu durumda hesaplama talebi patlayıcı, merkezi API çağrılarından, daha çok altyapı harcamasına benzeyen sürekli iş yüklerine kayar.

Bu anlatım, piyasaların GPU kıtlığını, DePIN hesaplama ağlarını ve “ fiyatlandırma şekilleri üzerinde aşağı yönlü etkiler yaratır.Yapay zeka ajanı"occasional prompts yerine sürekli çıkarıma dayanan token hikayeleri."

Sorun şu ki, alıntılanan sürüm detayları bunların hiçbirini nicel olarak belirtmiyor. Açıklanan parametre sayıları yok, yayımlanan karşılaştırmalar yok ve benimseme metrikleri yok, bu nedenle "ücretsiz AI daha fazla GPU çalıştırır" hikayesi hala ölçülen bir sonuç değil, stratejik bir iddia olarak kalıyor.

Dağıtım, Ajanlar ve NeMo Switchyard: Sürekli Çalışan Çıkarım için Sürtünmeyi Azaltma

Nvidia, Nemotron 3.5 Lightning'i yalnızca duyurulmuş değil, aynı zamanda operasyonel hale getiren kanallar aracılığıyla piyasaya sürüyor. Şirket, modelin HuggingFace ve Nvidia'nın kendi web sitesinde mevcut olacağını, bu durumun ağırlıkları çekmek, ince ayar yapmak ve yönetilen bir hizmet beklemeden dağıtım yapmak isteyen geliştiriciler için pratik bir yol olduğunu açıkladı.

Ürün çerçevesi ayrıca ajanlara da yöneliyor. Nvidia, modelin özellikle AI ajanları için geliştirildiğini, yani arka planda otonom olarak çalışabilen programlar anlamına geldiğini söyledi. Bu önemli çünkü ajanlar tasarım gereği yoğun çıkarım yapar: sürekli çalışırlar, araçlar çağırırlar ve maliyet başına görevlerin baskın olduğu birçok küçük çıktı üretirler.

Modelin yanı sıra, Nvidia'nın belirli bir görev için "en ucuz ve en uygun" AI modelini belirleyebileceğini söylediği NeMo Switchyard yazılımını da piyasaya sürdü. Mekanik olarak, bu bir yönlendirme katmanıdır: her isteği mevcut en büyük modele yönlendirmek yerine, görev izin veriyorsa iş yükleri daha küçük veya daha ucuz modellere yönlendirilebilir.

Bu yönlendirme hikayesi Nvidia için iki yönlüdür. Eğer Switchyard, hala Nvidia GPU'larında en iyi çalışan bir menü boyunca optimize ederse, toplam çıkarım hacmini artırabilir ve iş yüklerini Nvidia'nın yığınında tutabilir. Eğer alternatifler daha ucuz olduğunda Nvidia donanımından uzaklaşan tarafsız bir aracıyı haline gelirse, bu rakiplerin kullanabileceği bir gedik olur. Alıntı, Switchyard'ın kararını nasıl verdiğini veya hangi model seti üzerinden yönlendirme yapabileceğini belirtmiyor.

Nvidia'nın Nemotron 3.5 Lightning modelini açık kaynak yapması için İzlenmesi Gereken İşaretler

İlk doğrulama noktası teknik açıklamadır. Nvidia'nın benchmarkları, parametre sayılarını veya üçüncü taraf değerlendirmelerini yayınlayıp yayınlamayacağı, yatırımcıların "tek GPU" ve "benzer yetenekler" iddialarını ne kadar ciddiye alabileceklerini belirleyecektir, özellikle gecikme ve araç kullanma güvenilirliğinin önemli olduğu ajan tarzı iş yükleri için.

İkincisi, tinkering yerine dağıtım gibi görünen benimsemedir. Nvidia, CrowdStrike, CodeRabbit ve Harvey'nin modeli test edip özelleştirdiğini, bunun erken bir kurumsal sinyal olduğunu söyledi, ancak pazar tekrar edilebilir kalıplar görmek isteyecektir: HuggingFace çekişi, daha fazla adlandırılmış üretim kullanım durumu ve şirketlerin gerçekten Lightning'i ürünlerin içinde gönderdiğine dair kanıt.

Politika, tüm açık model ticaretini hızla yeniden fiyatlandırabilecek bir yüksekliktir. Yayın, Çin'in Moonshot AI'sının Kimi K3'ü duyurmasından sonra yoğunlaşan bir Washington tartışmasının ortasında yer alıyor ve politikacılar damıtmanın potansiyel bir fikri mülkiyet hırsızlığı vektörü olarak endişelerini dile getirdi.

Açık ağırlıkların yayınlanması veya damıtma ile ilgili herhangi bir yeni ABD açıklaması veya önerilen kısıtlamalar, pratikte "değiştirmeye özgür" anlamını değiştirebileceğinden, bir pazarlama döngüsünden daha önemli olacaktır.

Son olarak, NeMo Switchyard'ın nasıl evrildiğini izleyin. "En ucuz/en uygun" yönlendirmenin nasıl belirlendiğini netleştiren güncellemeler ve varsayılanların iş yüklerini Nvidia GPU'larına yönlendirip yönlendirmediği, yatırımcılara bunun bir geliştirici kolaylığı özelliği mi yoksa çıkarım harcamaları için kasıtlı bir kontrol düzlemi mi olduğunu söyleyecektir.

Benim Görüşüm: Açık Modeller Rekabetçi Bir Cephe Haline Geliyor, Hayırseverlik Hareketi Değil

Bu hikayeyi belirleyen kısım, Nemotron 3.5 Lightning'in en katı lisanslama anlamında "açık kaynak" olup olmadığı değil, Nvidia'nın açık ağırlıkları günde daha fazla çıkarım dakikasına dönüştürüp dönüştüremeyeceğidir. Değiştirmeye açık tek bir GPU modeli, bir hacim oyunu ve Huang'ın "Ücretsiz AI, çipler için harika olmalı" ifadesi, Nvidia'nın sunduğu en net niyet beyanıdır.

Gerçek test, yönlendirme katmanının alışkanlık haline gelip gelmeyeceğidir. Eğer NeMo Switchyard, ajan iş yüklerinin önünde durup sürekli olarak Nvidia GPU'larında verimli çalışan modelleri seçmeye başlarsa, açık sürüm, tek seferlik bir PR jesti yerine talebi artıran bir dağıtım stratejisi gibi görünmeye başlar.

Nvidia, Nemotron 3.5 Lightning'i açık kaynak yaptı!