A Apple está em negociações com a PrismML para integrar modelos de IA de grande porte ao iPhone

A PrismML, uma spin-off do Instituto de Tecnologia da Califórnia (Caltech) apoiada pela Khosla Ventures, divulgou publicamente, nesta terça-feira, versões compactadas do modelo de código aberto Qwen, do Alibaba. O lançamento está causando grande impacto no setor de IA. A empresa reduziu o modelo de aproximadamente 54 GB para menos de 4 GB, permitindo que todos os seus 27 bilhões de parâmetros sejam executados em um iPhone 15 ou mais recente. O CEO da PrismML, Babak Hassibi, disse à CNBC que a Apple e outras empresas vêm avaliando os modelos da startup e medindo sua velocidade, eficiência energética e desempenho nos dispositivos. A PrismML reduz os modelos de IA simplificando drasticamente a forma como suas informações internas são armazenadas — reduzindo cada valor de 16 bits para apenas um ou três valores possíveis —, o que diminui significativamente a memória necessária. Os modelos compactados usam entre 10 e 15 vezes menos memória, geram respostas de seis a oito vezes mais rápidas e consomem de três a seis vezes menos energia do que as versões convencionais. Modelos maiores rodando diretamente em iPhones permitiriam que mais recursos do Apple Intelligence fossem executados no próprio dispositivo, em vez de nos servidores do Private Cloud Compute da Apple, o que poderia reduzir os custos da empresa e aumentar ainda mais a privacidade do usuário. Analistas, no entanto, pedem cautela. As alegações da PrismML ainda precisam ser comprovadas fora de demonstrações controladas, sendo que o desempenho em comandos longos, o consumo de bateria e a confiabilidade em escala são fatores críticos.

‍