Apple en pourparlers avec PrismML pour intégrer des modèles d'IA volumineux sur l'iPhone

PrismML, une spin-off du California Institute of Technology soutenue par Khosla Ventures, a rendu publiques mardi des versions compressées du modèle open source Qwen d’Alibaba. Cette annonce fait l'effet d'une bombe dans le secteur de l'IA. L'entreprise a réduit la taille du modèle d'environ 54 Go à moins de 4 Go, permettant ainsi à l'ensemble de ses 27 milliards de paramètres de fonctionner sur un iPhone 15 ou un modèle plus récent. Babak Hassibi, PDG de PrismML, a déclaré à CNBC qu'Apple et d'autres entreprises évaluaient les modèles de la start-up et mesuraient leur vitesse, leur efficacité énergétique et leurs performances sur les appareils. PrismML réduit la taille des modèles d’IA en simplifiant radicalement le stockage de leurs informations internes — en ramenant chaque valeur de 16 bits à seulement une ou trois valeurs possibles —, ce qui réduit considérablement la mémoire requise. Les modèles compressés utilisent entre 10 et 15 fois moins de mémoire, génèrent des réponses six à huit fois plus rapidement et consomment trois à six fois moins d’énergie que les versions conventionnelles. Des modèles plus volumineux fonctionnant directement sur les iPhone permettraient d’exécuter davantage de fonctionnalités d’Apple Intelligence sur l’appareil plutôt que sur les serveurs Private Cloud Compute d’Apple, ce qui pourrait réduire les coûts d’Apple et renforcer encore la confidentialité des utilisateurs. Les analystes appellent toutefois à la prudence. Les affirmations de PrismML doivent encore être prouvées en dehors de démonstrations contrôlées, les performances sur des requêtes longues, la consommation de batterie et la fiabilité à grande échelle constituant autant de facteurs critiques.

‍