Link copiado!

Nova Siri a caminho: por que a Apple ainda está lutando para alcançar

A Apple quer executar modelos de classe GPT-4 localmente no seu iPhone. A física sugere que isso pode ser impossível sem queimar um buraco no seu bolso.

🌐
Tradução automática

Este artigo foi traduzido automaticamente do original em inglês. Ler o original em inglês

Visualização térmica de um processador de iPhone executando um LLM local.

Quando Tim Cook anunciou a “Apple Intelligence”, a proposta era simples: privacidade. Ao contrário da OpenAI ou do Google, que desejam sugar seus dados para seus enormes farms de servidores, a Apple quer que a IA viva no seu telefone. Eles querem que o “Cérebro” fique no seu bolso.

Parece nobre. Parece seguro. Mas há uma razão pela qual ninguém mais fez isso ainda. Não tem nada a ver com a qualidade do código. É inteiramente sobre Termodinâmica e Largura de banda de memória.

A Apple não está lutando contra o Google; eles estão lutando contra a física.

O Gancho: O Problema do “token”

Para entender por que o Siri ainda é burro em 2025, é necessário observar a largura de banda da memória. Um LLM é apenas um arquivo gigante de pesos (números). Um modelo de 7 bilhões de parâmetros (quantizado int4) tem cerca de 4GB de tamanho.

Para gerar uma única palavra (token), o processador precisa ler aquele arquivo inteiro de 4 GB dos chips de RAM para as unidades de computação. Para gerar uma frase de 20 palavras? Ele precisa ler aquele arquivo de 4 GB 20 vezes.

Advertisement

Aprofundamento: O Muro da Memória

Este é o “gargalo da largura de banda da memória”.

  • O problema: A CPU do seu telefone é rápida (3 GHz). Mas a memória do seu telefone (LPDDR5X) é uma palha lenta.
  • A matemática: Um iPhone 16 Pro tem uma largura de banda de memória de aproximadamente 50 GB/s.
  • A realidade: Se você precisar mover um modelo de 4 GB 20 vezes por segundo (para obter velocidade de leitura humana), precisará de 80 GB/s de largura de banda apenas para a IA.

Isso deixa largura de banda zero para o resto do telefone. Isso leva a “UI Jank”. Se a IA estiver falando, sua rolagem falha. O telefone parece quebrado.

O envelope térmico: 5 Watts vs. 500 Watts

Uma GPU Nvidia H100 em um data center consome 700 Watts. Possui resfriamento líquido massivo para impedir que derreta. Um iPhone tem um orçamento térmico total de cerca de 5 Watts. Se aumentar, a bateria descarrega em 45 minutos e o case fica quente demais para segurar.

Os engenheiros da Apple estão tentando comprimir um algoritmo de 700 watts em um envelope de 5 watts. Eles estão fazendo isso por meio de quantização extrema (tornando o modelo mais burro para torná-lo menor) e “Decodificação Especulativa” (adivinhando 3 palavras à frente).

Mas o calor não mente. Os primeiros testes do iOS 19 mostram que o uso intenso de IA diminui o brilho da tela após 3 minutos. Isso é estrangulamento térmico protegendo a bateria.

História contextual: a mesquinhez do RAM volta a morder

Durante anos, a Apple foi mesquinha com RAM. Um iPhone teria 6 GB enquanto um Samsung Galaxy teria 12 GB. A Apple argumentou: “O sistema operacional é eficiente! Não precisa de mais RAM”. Eles estavam certos: para aplicativos. Eles estavam errados: pela IA.

Como o modelo AI precisa permanecer “quente” (carregado na RAM) para responder, esse modelo de 4 GB consome 50% da memória do telefone.

  • O resultado: Quando você faz uma pergunta à Siri, o telefone precisa “matar” o Instagram e o Safari para abrir espaço para o cérebro da Siri.
  • A experiência do usuário: Você volta ao Safari e a página é recarregada.

É por isso que há rumores de que o iPhone 18 saltará para 12 GB ou 16 GB de RAM. Não é para jogos. É para manter o cérebro da IA ​​vivo sem matar seus outros aplicativos.

Advertisement

Análise prospectiva: o compromisso da “nuvem privada”

A Apple sabe que o dispositivo está perdendo a guerra da qualidade. Um modelo de parâmetros de 3B em um telefone nunca será tão inteligente quanto um modelo de parâmetros de 1TB na nuvem (GPT-4).

É por isso que eles criaram Private Cloud Compute (PCC). É uma admissão de derrota física. Quando sua solicitação é muito difícil para o telefone (limites térmicos/de memória), ele a envia para um farm de servidores Apple Silicon. A Apple jura que os dados são excluídos instantaneamente. Os usuários precisam confiar neles.

Mas o futuro não é puro “no dispositivo”. É híbrido.

  • Tiny Brain (Telefone): Lida com “Acender as luzes”, “Leia este texto”, “Definir um cronômetro”.
  • Big Brain (Cloud): Lida com “Escrever um e-mail para o chefe”, “Resumir este PDF”, “Gerar uma imagem”.

O resultado final

A nova Siri não está enfrentando dificuldades porque os engenheiros da Apple esqueceram como codificar. Ele está enfrentando dificuldades porque a definição de “Computação” mudou durante a noite de “Explosão” (abertura de um aplicativo) para “Sustentada” (geração de tokens). Até que a química da bateria ou a física da memória mudem, o sonho de uma IA superinteligente e totalmente privada no seu bolso permanecerá apenas isso: um sonho.

Fontes

Advertisement

🦋 Discussão no Bluesky

Discutir no Bluesky

Procurando publicações...