Thinking Machines lance Inkling, un modèle MoE de 975B
L'entreprise indique qu'environ 41 milliards de paramètres sont actifs par jeton et publie des empreintes mémoire de 2 To à 600 Go pour le déploiement.
Thinking Machines a publié Inkling, un modèle Mixture-of-Experts développé de zéro qui, selon ses dires, totalise 975 milliards de paramètres tout en activant environ 41 milliards par token. Les poids sont décrits comme étant disponibles sur Hugging Face sous une licence Apache 2.0, accompagnés de spécifications de mémoire GPU inhabituellement explicites qui relient l'« ouverture » du modèle aux contraintes de déploiement réelles.
Points clés
- Thinking Machines a publié Inkling le 15 juillet 2026, le positionnant comme le premier modèle de l'entreprise entraîné de zéro.
- Inkling est décrit comme un modèle Mixture-of-Experts de 975B de paramètres avec environ 41B de paramètres actifs par token, utilisant un routage sparse plutôt qu'un calcul dense.
- L'architecture est spécifiée comme ayant 66 couches avec 256 experts par couche, routant six experts par token plus deux experts partagés qui fonctionnent sur chaque token.
- Les empreintes de déploiement sont déclarées directement : environ 2 To de mémoire GPU combinée pour une précision complète et environ 600 Go pour un point de contrôle quantifié.
Inkling arrive en tant que publication MoE de zéro sous Apache 2.0
Thinking Machines a publié un modèle appelé Inkling le 15 juillet 2026. L'entreprise est décrite comme rendant les poids disponibles sur Hugging Face sous une licence Apache 2.0, qui permet généralement une large réutilisation et modification sous réserve des termes de la licence.
Inkling est présenté comme un système Mixture-of-Experts (MoE), ce qui signifie que le modèle stocke de nombreux « experts » de paramètres mais n'exécute qu'un sous-ensemble pour chaque token généré. La taille principale dans la répartition technique est l'écart entre un total de 975 milliards de paramètres et environ 41 milliards de paramètres impliqués dans le traitement d'un seul token, soit environ 4 % actifs à la fois.
Les détails du paquet proviennent d'une répartition technique secondaire qui avertit explicitement qu'il est compilé à partir de « détails partagés publiquement provenant de diverses sources » et demande aux lecteurs de signaler les inexactitudes. Les références sous-jacentes et les artefacts de publication principaux ne sont pas inclus ici, donc le mécanisme est clair mais la vérification directe est limitée à ce qui est dans l'extrait.
Les chiffres sur lesquels les traders vont s'ancrer : 2 To de précision complète, ~600 Go quantifiés
La sortie d'Inkling se lit comme une histoire d'infrastructure car elle attache des empreintes mémoire concrètes aux points de contrôle du modèle, et pas seulement aux comptes de paramètres. La répartition indique que le point de contrôle en pleine précision nécessite au moins 2 To de mémoire GPU combinée, donné sous forme de huit cartes NVIDIA B300 ou seize cartes H200. Elle décrit également un point de contrôle quantifié d'environ 600 Go qui tient sur quatre cartes B300.
Ces chiffres comptent car ils transforment les "poids ouverts" en un problème de planification de capacité. Si un modèle peut être téléchargé et exécuté, les traders peuvent mapper cette affirmation à une estimation approximative des matériaux matériels, puis à l'économie de l'inférence hébergée, puis à la demande de capacité GPU et aux piles qui la desservent.
Un chiffre de 975B peut être un carburant narratif à lui seul, mais une exigence de 2 To est une contrainte qui apparaît dans l'approvisionnement, la planification de colo et la tarification.
MoE est le pont entre ces deux réalités. La conception d'Inkling est décrite comme séparant le coût de stockage du coût d'inférence par jeton : vous devez toujours charger le point de contrôle complet en mémoire pour l'exécuter, mais chaque jeton n'active qu'une petite fraction des paramètres.
C'est l'argument pour expliquer pourquoi un modèle peut être "très grand" sur le papier tout en étant moins cher à exécuter par jeton que ce que son nombre total de paramètres implique.
Comment Inkling atteint 1M de jetons : 55 couches à fenêtre glissante et 11 couches d'attention complète
Inkling est décrit comme supportant une fenêtre de contexte d'un million de jetons, ce qui est la quantité maximale de texte qu'il peut considérer à la fois.
Le mécanisme proposé pour rendre cela faisable est la parcimonie d'attention : la plupart des couches utilisent une attention à fenêtre glissante, où chaque jeton n'attend qu'une plage récente limitée, et un plus petit nombre de couches utilisent une attention complète, où les jetons peuvent prêter attention à toute la séquence précédente.
La répartition décrit une alternance de 5:1 entre les couches à fenêtre glissante et les couches d'attention complète. Elle cite également des notes d'intégration vLLM qui mettent des chiffres sur la répartition : 55 couches à fenêtre glissante et 11 couches d'attention complète sur 66 couches au total.
Il s'agit d'un compromis architectural spécifique, pas d'une affirmation marketing isolée. Les couches à fenêtre glissante empêchent le calcul d'exploser avec la longueur de séquence, mais elles risquent également de perdre le rappel à long terme car les faits éloignés ne sont pas directement visibles dans la plupart des couches.
Les couches d'attention complète périodiques sont la soupape de sécurité, fournissant des "points de rafraîchissement" globaux où l'information d'un moment antérieur dans la séquence peut être tirée en avant puis portée localement à nouveau.
Ce qu'il faut vérifier avant que les marchés ne l'intègrent : sources, troncature et benchmarks manquants
La question clé pour traiter Inkling comme un catalyseur est la vérification des artefacts principaux. Le paquet n'inclut pas de carte de modèle Thinking Machines, une carte Hugging Face directe.lien, ou les documents référencés derrière les citations entre crochets de l'extrait, donc le premier point de confirmation est la page du modèle réel et les termes exacts de licence et d'utilisation Apache 2.0 attachés aux poids.
Le deuxième élément manquant est la preuve de performance. Aucun benchmark, chiffre de latence, revendications de débit ou évaluations de long contexte ne sont fournis dans le paquet, et l'extrait est tronqué au milieu de la discussion sur l'encodage de position.
Des évaluations de tiers, en particulier des tests qui explorent le comportement de long contexte près de la fenêtre d'un million de jetons, seraient le moyen le plus rapide de séparer "supporte 1M de jetons" de "accepte 1M de jetons mais oublie ce qui est important."
La troisième confirmation est la déployabilité aux empreintes déclarées. La répartition donne des cibles de mémoire spécifiques pour la pleine précision et les points de contrôle quantifiés, et elle fait référence aux notes d'intégration vLLM pour la répartition d'attention 55/11.
Des rapports de courses réussies sur ces configurations, ainsi que des preuves que les piles d'inférence courantes gèrent le modèle d'attention comme décrit, renforceraient la confiance que c'est un modèle que les gens peuvent réellement héberger plutôt que simplement télécharger.
Mon avis : poids ouverts + empreintes explicites resserrent la boucle de rétroaction entre les lancements de modèles et les échanges de calcul.
La partie qui décide si Inkling a de l'importance pour les marchés n'est pas le titre de 975B, c'est la combinaison d'activation sparse et d'empreintes de déploiement explicites.
Un modèle MoE qui n'active que ~41B de paramètres par jeton peut plausiblement changer la courbe de coût par jeton sans renoncer à l'aura marketing de "près d'un trillion de paramètres", et c'est exactement le genre d'ambiguïté que les traders doivent généralement deviner.
Le seuil qui compte est de savoir si l'inscription Apache 2.0 de Hugging Face et les revendications de mémoire de 2 To à 600 Go tiennent dans des déploiements réels, puis sont répercutées par des ajustements fins, des variantes de quantification et des offres d'inférence hébergées.
Si ces confirmations arrivent, "open long-context" cesse d'être un récit et commence à être une entrée mesurable de capacité GPU qui peut se propager à travers la pile.
