PewDiePie entraîne son propre modèle IA et surpasse ChatGPT

PewDiePie vient de publier la suite de son ambitieux projet IA : après avoir construit un lab personnel de 10 GPU (2x RTX 4000 Ada + 8x RTX 4090 modifiées à 48 Go de VRAM), il a finalement entraîné son propre modèle de langage.

Le projet en détail

Dans sa vidéo "I wish I never did this project..", Felix Kjellberg détaille comment il a fine-tuné le modèle Qwen2.5-Coder-32B d'Alibaba en utilisant :

• Axolotl — un framework de fine-tuning populaire pour les LLM
• The Stack v2 — le plus grand dataset open-source de code (HuggingFace BigCode)
• OSS-Instruct — une méthode d'entraînement par auto-instruction à partir de code open-source
• vLLM — pour l'inférence optimisée sur son cluster GPU

Des résultats impressionnants

Le modèle a été évalué sur les benchmarks APPS/TACO (des tests de résolution de problèmes de programmation compétitive) et a réussi à surpasser les résultats de ChatGPT sur ces épreuves.

C'est d'autant plus remarquable que ce fine-tuning a été réalisé sur du matériel grand public (certes modifié), sans accès aux datacenters massifs des géants de la tech. Le coût total de son setup est estimé à environ 20 000 $.

La suite logique de ChatOS

Ce résultat est l'aboutissement du projet ChatOS que PewDiePie avait présenté en octobre 2025 : une interface web personnalisée pour héberger et exécuter des LLM localement. Il avait alors mis en place un "Conseil" de 8 agents IA et un "Essaim" de 64 micro-modèles pour collecter des données d'entraînement.

Ce que ça signifie pour la formation

Au-delà de l'aspect amusant, cette expérience démontre que le fine-tuning de modèles performants est accessible à quiconque dispose de connaissances techniques et d'un investissement matériel raisonnable. Les outils utilisés (Axolotl, vLLM, The Stack v2) sont tous open-source et gratuits.

Pour ceux qui veulent se lancer, voici les ressources citées dans la vidéo :

• Axolotl — Framework de fine-tuning
• Qwen2.5-Coder-32B — Le modèle de base
• The Stack v2 — Dataset de code
• vLLM — Inférence optimisée
• OSS-Instruct — Paper de la méthode