Apertus : forces et limites du premier grand modèle de langage suisse

Après des semaines d’attente, l’Ecole polytechnique fédérale de Zurich (EPFZ) et l’EPFL ont dévoilé Apertus, un grand modèle de langage national. Swissinfo a évalué Apertus en consultant développeurs et spécialistes de l’IA afin de clarifier les forces et les marges de progression du système.

Apertus: pas un chat grand public, mais une plateforme adaptable

Apertus n’est pas conçu pour une utilisation personnelle comme ChatGPT. Il s’agit d’un modèle d’IA de base destiné à être adapté à diverses applications et services, notamment dans les domaines économiques et de la recherche. Il pourrait être utilisé dans le commerce électronique ou dans le domaine médical pour filtrer les informations essentielles à partir de données multilingues. Selon Imanol Schlag, responsable technique à l’EPFZ qui a dirigé le développement, le grand public n’est pas la cible principale.

Objectifs et usages envisagés

Le système est conçu pour être intégré dans des solutions professionnelles et publiques plutôt que comme assistant personnel grand public.

Comparaison avec les grands modèles propriétaires

À ce jour, Apertus se présente comme l’un des LLM entièrement ouverts les plus puissants disponibles, mais il n’opère pas dans la même cour que les IA brevetées telles que GPT-4, Gemini ou Claude, qui s’appuient sur des ensembles de données beaucoup plus vastes et sur des capacités de calcul bien supérieures. El Mahdi El Mhamdi, professeur à l’Ecole polytechnique de Paris, compare ce gap à une comparaison entre un petit agriculteur local et un grand producteur industriel.

Ressources, données et accessibilité

Cependant, les modèles plus petits peuvent être plus productifs et mieux adaptés aux PME, tout en consommant moins d’énergie. Mete Ismayilzada, chercheur à l’EPFL et à l’Université de la Suisse italienne, rappelle que la qualité des données peut compter davantage que leur quantité.

Éthique et transparence des données

Apertus est présenté comme le premier grand modèle de langage conçu pour répondre aux critères clés de l’European AI Act, entré en vigueur en 2024. Il met l’accent sur la transparence, la traçabilité des données et le respect de la propriété intellectuelle et de la vie privée. Les données d’entraînement proviennent de sources publiques et licites et n’incluent pas de contenus protégés par le droit d’auteur ni de sites qui ont choisi de ne pas être inclus.

Par contraste, les géants de la tech exploitent depuis longtemps les données de milliards d’utilisateurs sans leur consentement, y compris du contenu protégé. Apertus est présenté comme une option plus éthique et conforme pour les entreprises, les instituts de recherche et les organismes publics souhaitant développer des applications IA. Selon Imanol Schlag, il est possible d’entraîner une IA de manière responsable sans piller la propriété intellectuelle d’autrui.

Conformité et traçabilité

Le modèle vise à démontrer qu’un entraînement responsable peut être réalisé dans le respect des droits et des règles applicables.

Couverture linguistique et limites

Les développeurs indiquent qu’Apertus a été entraîné sur plus de 1800 langues, y compris des langues minoritaires et des dialectes souvent ignorés par d’autres LLM. Le romanche et le suisse allemand figurent notamment parmi ces langues peu couvertes par les grands modèles. Cependant, la maîtrise pratique et la tenue des conversations restent perfectibles: lors des tests, des phrases en italien pouvaient être bancales et certaines traductions en romanche étaient inexactes, notamment pour le mot « grand-père ». Le responsable du développement reconnaît que les capacités conversationnelles nécessitent des améliorations, tout en soulignant que le système peut déjà surpasser d’autres modèles sur certaines tâches, par exemple la traduction allemand → romanche, selon le dernier rapport technique.

Limitations et perspectives

La précision des résultats dépend encore des cas d’usage, en dépit d’une couverture linguistique étendue.

Portée et avenir

Bien que conçu en Suisse, Apertus ne se limite pas au seul territoire helvète. La plupart des données proviennent de sources internationales, avec des exceptions pour les contenus en romanche et en suisse allemand, et l’intégration d’une « charte de valeurs suisses » fixant des principes comme la neutralité et la diversité linguistique. Selon les responsables, le modèle n’a pas vocation à rester cantonné à la Suisse; ils souhaitent mobiliser d’autres pays pour accompagner son développement.

Les dirigeants évoquent une ambition européenne, voire mondiale, pour faire progresser Apertus et renforcer les infrastructures et les ressources associées.

Actualisation et financement

Contrairement à une idée répandue, Apertus ne peut pas se mettre à jour en temps réel via une connexion Internet: une fois entraîné, il demeure statique et les corrections nécessitent un nouvel entraînement, coûteux et donc peu fréquent. Le prochain cycle d’entraînement bénéficiera d’un financement fédéral de 20 millions de francs et de l’accès au supercalculateur Swiss Alps, alimenté majoritairement par de l’énergie hydroélectrique pour limiter l’empreinte. À long terme, les responsables considèrent qu’il faut davantage de ressources pour soutenir ce travail et préserver la souveraineté numérique.

Source: Sarah Ibrahim (SWI).