Apple está en conversaciones con PrismML para integrar modelos de IA de gran tamaño en el iPhone

PrismML, una empresa derivada del Instituto Tecnológico de California (Caltech) respaldada por Khosla Ventures, publicó el martes versiones comprimidas del modelo de código abierto Qwen de Alibaba. Este lanzamiento está causando un gran revuelo en el sector de la inteligencia artificial. La empresa ha reducido el tamaño del modelo de unos 54 GB a menos de 4 GB, lo que permite que sus 27 000 millones de parámetros se ejecuten en un iPhone 15 o un modelo más reciente. El director ejecutivo de PrismML, Babak Hassibi, declaró a la CNBC que Apple y otras empresas han estado evaluando los modelos de la startup y midiendo su velocidad, eficiencia energética y rendimiento en los dispositivos. PrismML reduce el tamaño de los modelos de IA simplificando drásticamente la forma en que se almacena su información interna —reduciendo cada valor de 16 bits a solo uno o tres valores posibles—, lo que reduce significativamente la memoria necesaria. Los modelos comprimidos utilizan entre 10 y 15 veces menos memoria, generan respuestas entre seis y ocho veces más rápido y consumen entre tres y seis veces menos energía que las versiones convencionales. Los modelos de mayor tamaño que se ejecutan directamente en los iPhone permitirían que más funciones de Apple Intelligence se ejecutaran en el propio dispositivo en lugar de en los servidores de Private Cloud Compute de Apple, lo que podría reducir los costes de la empresa y mejorar aún más la privacidad de los usuarios. Sin embargo, los analistas instan a la cautela. Las afirmaciones de PrismML aún deben demostrarse fuera de las demostraciones controladas, siendo factores críticos el rendimiento con entradas de texto extensas, el consumo de batería y la fiabilidad a gran escala.

‍