.svg){kind=small}
.avif)
Un mémo interne de Google récemment divulgué révèle que la société ne parvient pas à rivaliser avec l'intelligence artificielle open source et propose une stratégie surprenante pour regagner sa position de leader. Contrairement à ce qui était prévu, le véritable concurrent de Google n'a jamais été OpenAI, mais plutôt le mouvement open source, capable de développer des modèles plus rapides, personnalisables et performants avec des ressources moindres. Les modèles open source, tels que LLaMA de Meta, ont su exploiter des innovations technologiques rapidement, menant des initiatives qui autrefois prenaient des mois à accomplir chez Google. L'analyse met en avant les désavantages des grands modèles propriétaires, révélant que leur taille considérable et les coûts associés sont devenus des obstacles plutôt qu'un avantage. La communauté open source a réussi à surmonter les barrières d'entrée, permettant des itérations rapides et des améliorations constantes, que Google et OpenAI ne peuvent pas égaler. La peur de Google réside également dans l'échelle à laquelle l'open source peut opérer, avec des contributions massives et de haute qualité des professionnels. En guise de solution, le mémo suggère que Google pourrait bénéficier de la philosophie open source, comme elle l'a fait avec Chrome et Android, en partageant certaines de leurs technologies pour collaborer et innover avec la communauté open source, plutôt que de rester dans une compétition perdue d'avance. Envie de découvrir les détails de cette analyse interne et les implications futures pour Google et l'IA en général ? Plongez dans l'article complet pour en savoir plus.
Un mémo interne de Google récemment divulgué révèle que la société peine à rivaliser avec l'intelligence artificielle open source et propose une stratégie étonnante pour reprendre la main. Contrairement aux attentes, le véritable concurrent de Google n'a jamais été OpenAI, mais le mouvement open source, capable de développer des modèles plus rapides, personnalisables et performants avec moins de ressources.
Le mémo met en lumière les inconvénients des grands modèles propriétaires, révélant que leur taille et les coûts associés deviennent plus des obstacles que des avantages. La communauté open source a réussi à abaisser les barrières d'entrée, permettant des itérations rapides et des améliorations constantes, au rythme que Google et OpenAI ne peuvent égaler.
Google craint également l’ampleur des opérations open source réalisées avec des contributions massives et de haute qualité des professionnels. Le mémo suggère que Google pourrait tirer profit de la philosophie open source, comme avec Chrome et Android, en partageant certaines de leurs technologies pour collaborer avec la communauté open source, plutôt que de continuer une compétition perdue d'avance.
Une Compétition inégale face à l'Open Source
Les auteurs admettent qu'ils ne sont pas en position de rivaliser avec l'open source et reconnaissent avoir déjà perdu la lutte pour la domination de l'IA.
Ils écrivent :
"Nous avons beaucoup observé OpenAI. Qui franchira le prochain cap ? Quel sera le prochain coup ?
Mais la vérité inconfortable est que nous ne sommes pas en position de gagner cette course et OpenAI non plus. Pendant que nous nous querellions, un troisième groupe mangeait tranquillement notre déjeuner.
Je parle bien sûr de l’open source."
L'analyse interne souligne qu'ils sont dépassés par l'open source.
La Taille des Grands Modèles : Un Désavantage
Le mémo se rend compte que la taille massive des modèles de Google est désormais perçue comme un désavantage. En mars 2023, la communauté open source a mis la main sur un modèle de langage ouvert développé par Meta, le LLaMA. En quelques jours, les bases nécessaires pour créer des clones de Bard et ChatGPT ont été développées par la communauté open source.
Les techniques sophistiquées telles que l'instruction tuning et le RLHF (Renforcement de l'apprentissage par retour humain) ont été rapidement reproduites par la communauté open source, à moindre coût.
L'Échelle de l'Open Source Effraie Google
Ce qui effraie particulièrement Google est la capacité de l’open source à évoluer d'une manière que le code fermé ne peut pas. Le jeu de données questions-réponses utilisé pour créer le clone open source ChatGPT, Dolly 2.0, a été entièrement créé par des milliers de volontaires professionnels.
Le mémo observe :
"Au début mars, la communauté open source a mis la main sur un modèle de base vraiment capable, car le LLaMA de Meta a été divulgué au public.
Une incroyable vague d'innovation a suivi, avec seulement quelques jours entre les développements majeurs…"
Ce qui prenait des mois et des années pour Google et OpenAI ne prenait que quelques jours pour la communauté open source. Un véritable cauchemar pour Google.
Historique de l'Open Source Contre le Code Fermé
Le mémo compare l'expérience récente avec DALL-E d’OpenAI, le modèle de deep learning pour la création d'images, à la version open source Stable Diffusion. DALL-E a été lancé en janvier 2021. Stable Diffusion, version open source, est sorti un an et demi plus tard en août 2022 et a rapidement dépassé la popularité de DALL-E.
Supériorité du Processus de Création des Modèles Open Source
Un autre facteur alarmant pour les ingénieurs de Google est la rapidité et le faible coût du processus de création et d'amélioration des modèles open source. Des techniques récentes comme LoRA (Adaptation Low-Rank des grands modèles de langage) permettent de peaufiner les modèles de langage en quelques jours à des coûts très réduits, tout en étant comparables aux modèles beaucoup plus coûteux créés par Google et OpenAI.
Si vous ne pouvez pas battre l'Open Source, Joignez-vous à eux
Le seul réconfort trouvé par l'auteur du mémo est que les innovations open source étant libres, Google peut également en profiter. Le mémo conclut que la seule approche viable pour Google est de dominer la plateforme de la même manière qu'ils dominent les plateformes open source Chrome et Android.
Conclusion
Le mémo conclut :
"Google devrait s'établir comme un leader dans la communauté open source, prenant les devants en coopérant avec, plutôt qu'en ignorant, la conversation plus large.
Cela signifie probablement prendre des mesures inconfortables, comme publier les poids des modèles pour des petites variantes ULM. Cela signifie nécessairement abandonner une partie de notre contrôle sur nos modèles.
Mais ce compromis est inévitable.
Nous ne pouvons espérer à la fois favoriser l'innovation et la contrôler."
