Deepseek V4 Pro : l’outsider qui rivalise avec les géants malgré des contraintes extrêmes

UN CONTEXTE RESSERRÉ

Deepseek a dévoilé Deepseek V4 Pro, un modèle de langage dont les performances talonnent celles des meilleurs systèmes fermés. L’exploit est d’autant plus remarquable que l’entreprise chinoise évolue avec des moyens dérisoires. Sa puissance de calcul est sans commune mesure avec celle des laboratoires américains, elle ne peut accéder aux dernières puces NVIDIA, et son équipe compte quarante fois moins de membres que celle d’OpenAI. Une ingénierie de la contrainte qui force l’admiration.

UNE FICHE TECHNIQUE IMPRESSIONNANTE

Le modèle V4 Pro affiche 1,6 trillion de paramètres, des unités de stockage de la connaissance. Plus ce chiffre est élevé, plus le modèle devient capable en théorie. Mais l’entraînement d’un tel mastodonte est un cauchemar logistique que Deepseek a dû apprivoiser. Le second chiffre clé est une fenêtre de contexte de 1 million de tokens, soit environ 750 000 mots, l’équivalent de l’intégrale d’Harry Potter. Demander un détail précis en plein milieu devient possible, et pour les agents, cela ouvre la porte à des sessions de travail ininterrompues de plusieurs heures.

LE CERVEAU NUMÉRIQUE FACE AU MUR DU CONTEXTE

Le mécanisme d’attention, pierre angulaire des grands modèles de langage, est à l’origine de cette difficulté. Pour chaque nouveau token, le modèle évalue sa relation avec tous ceux qui le précèdent. Prenons la phrase : « Le chat n’a pas traversé la rue parce qu’il était trop fatigué. » Au dixième mot, dix comparaisons suffisent. Mais au cent millième, elles se comptent par milliards, étouffant le processeur.

Et le défi ne s’arrête pas là. Le modèle doit conserver une représentation intermédiaire de tout ce qu’il a lu, un cache clé-valeur (KV cache). Cette table de correspondance géante explose avec la longueur du contexte, saturant la mémoire et ralentissant l’inférence. À un million de tokens, maintenir ce cache devient une prouesse en soi.

LES ASTUCES D’UN ARCHITECTE MINIMALISTE

Résultat : un modèle qui délivre des performances de premier ordre avec une frugalité matérielle inédite. Deepseek démontre qu’une architecture intelligente peut tenir tête aux fermes de calcul massives. Le tout accessible à tous, puisque le modèle et l’article sont disponibles gratuitement.