Dans l’ombre Apple avance sur son IA, elle va nous impressionner
Apple a trouvé le moyen de rendre ses IA plus rapides et plus précises. Une très bonne nouvelle pour les utilisateurs.
Apple travaille depuis plusieurs années sur une intelligence artificielle maison. La firme de Cupertino n’a encore rien présenté publiquement, mais une nouvelle étude démontre les efforts entrepris par Apple pour rattraper son retard. Depuis l’arrivée des IA et des modèles de langages dans la vie de monsieur et madame tout le monde (avec ChatGPT en tête), Apple peine à suivre le rythme.
La firme de Cupertino vient de présenter un nouveau modèle. Dans une étude publiée cette semaine en collaboration avec des chercheurs de l’Université de l’Ohio, la pomme propose une nouvelle approche « FS-DFM ». Elle est capable d’écrire des passages entiers en un temps record, avec un niveau de précision encore jamais vu sur une IA de ce type.
Une IA, pas comme les autres
Dans le détail, ce nouveau modèle présente des chiffres de perplexité et d’entropie très intéressants. Ces deux données sont des marqueurs clés sur le bon fonctionnement d’une IA. La perplexité correspond à la fluidité d’un texte. Plus ce chiffre sera bas, plus le rendu apparaîtra comme clair et naturel.
L’entropie de son côté correspond à la confiance accordée aux mots choisis. Plus elle hésite, plus l’entropie sera basse. Le texte devient alors répétitif, voire dénué de sens. Mais quand l’entropie est trop haute, c’est généralement là que l’IA va trop loin et hallucine. Elle invente des faits et des passages, causés par cet excès de confiance.
Sur ces deux paramètres, le nouveau modèle de langage développé par Apple serait bien meilleur que ses concurrents directs. La firme de Cupertino a utilisé une méthode de « diffusion à étapes » pour arriver à un tel résultat.
Une nouvelle méthode
Pour comprendre ce terme, il faut s’intéresser au mode de fonctionnement d’une IA. Les modèles généralistes comme ChatGPT ont un fonctionnement « autoregressif ». Ils vont générer une réponse en fonction de la demande et de leur historique d’utilisation.
D’autres modèles, plus puissants, dits de « diffusion » vont générer plusieurs réponses d’une seule traite. Ils vont ensuite les analyser pour choisir le meilleur rendu en fonction de la demande de l’utilisateur. En utilisant une méthode dite de « diffusion par étapes ». Au bout d’un certain temps, le travail de génération est interrompu par l’IA. Il est alors analysé et seules les pistes les plus intéressantes continuent. L’IA d’Apple filtre ainsi ses productions pour n’arriver que sur un rendu, aussi proche que possible de la demande de l’utilisateur.
