El Apple Watch ahora escucha más de lo que imaginas, pero Apple dice que no debe preocuparte
Los nuevos Apple Watch Series 12 y Ultra 4 no solo incorporan un mejor seguimiento de la actividad física y una reducción del ruido optimizada, sino también una forma totalmente nueva de escuchar.
Apple anunció el miércoles que estos dos relojes inteligentes incluyen cuatro herramientas de “inteligencia de audio” opcionales que se alimentan del audio captado por los micrófonos de los relojes. Entre ellas se incluyen el reconocimiento de sonidos y música, una función de resumen de conversaciones y “Live Rewind”, que permite al usuario ver una transcripción de todo lo que se ha dicho a su alrededor en los últimos 15 segundos.
¿Y la privacidad?
Aparentemente consciente de que estas funciones podrían dar la sensación de que “las paredes tienen oídos”, Apple hace hincapié en que todas ellas están diseñadas para dar prioridad a la privacidad y la seguridad, utilizando la amplia infraestructura que la empresa ha desarrollado para proteger sus otros servicios de Apple Intelligence y Siri. Sin embargo, a medida que se estrenan cada vez más funciones de este tipo, los anuncios sobre inteligencia de audio nos recuerdan que las herramientas basadas en la IA se están volviendo cada vez más universales en todos los ámbitos de la informática y la vida cotidiana.
“Estas funciones no crean ni almacenan grabaciones de audio, y el audio sin procesar utilizado para el procesamiento es completamente inaccesible para los sistemas operativos, las aplicaciones, el usuario o Apple”, escribió la empresa en un informe compartido con WIRED.
Las nuevas funciones del Apple Watch están diseñadas para procesar tantos datos como sea posible de forma local en los dispositivos, de modo que los datos potencialmente sensibles no se envíen a la nube. “Reconocimiento de sonidos”, por ejemplo, avisa a los usuarios de los sonidos de su entorno (como timbres, sirenas, alarmas o, por ejemplo, el llanto de un bebé) sin enviar ningún dato fuera del reloj. Las herramientas que sí envían información a la nube preprocesan los datos para que no se trate de archivos de audio crudos y, a continuación, usan la infraestructura Private Cloud Compute de Apple.
Apple destaca que las capacidades integradas en el propio dispositivo de los Apple Watch se han ampliado gracias a los nuevos chips S11 de la empresa. Estos chips incluyen un lugar especial de memoria protegida que Apple llama “Secure Exclave”. Diseñado específicamente para datos de sensores, el Secure Exclave es un búfer aislado al que no tiene acceso el resto del sistema operativo, donde el Apple Watch puede almacenar y procesar datos de audio en un espacio protegido.
Los relojes tienen oídos
Una nueva función de Shazam “escucha” la música y genera una firma de la canción que se almacena en el Secure Exclave. Si el usuario accede a Shazam para averiguar de qué canción se trata, la herramienta enviará esa firma (no un archivo de audio) a los servidores de Shazam para su identificación (Shazam es un servicio propiedad de Apple). Si el usuario no solicita la identificación de la música, o tan pronto como lo haga, la firma especial se borra “de inmediato” del reloj.
La función de resumen, conocida como “Siri Recap”, puede configurarse para que esté siempre activa y genere resúmenes de cualquier conversación relevante, o bien puede programarse para que escuche en determinados momentos del día. Un modelo de IA específico determina cuándo se produce el habla sin grabar ni transcribir ningún dato. Si detecta una conversación, el audio se almacena en un búfer protegido dentro del Secure Exclave del Apple Watch. Luego el reloj lo cifra y, a continuación, lo transmite mediante el emparejamiento Bluetooth seguro especial de Apple al Secure Exclave del iPhone del usuario. A continuación, el audio se elimina inmediatamente del Apple Watch.
El iPhone usa modelos locales de reconocimiento de voz y de lenguaje integrados en el dispositivo para transcribir el audio y, a continuación, generar una versión minimalista de la transcripción que elimina elementos no esenciales, como palabras de más y frases repetidas. A continuación, el audio sin procesar también se elimina inmediatamente del teléfono. El último paso en el iPhone es un modelo de seguridad que “filtra el texto para omitir términos potencialmente dañinos”, según Apple. A partir de ahí, el resumen de la conversación se cifra y el iPhone lo envía a Private Cloud Compute.
“También se envía información contextual para mejorar la calidad del resumen”, destaca Apple. “Por ejemplo, los datos de 'Reproduciendo ahora' ayudan al modelo a comprender que el habla puede provenir de música o de un podcast. Los datos del calendario pueden ayudar a generar títulos precisos para los resúmenes. Las etiquetas de ubicación de alto nivel, como ‘casa’, ‘trabajo’ y ´colegio´, junto con información sobre la localidad (ciudad, estado y país), añaden contexto al resumen. También pueden incluirse categorías de puntos de interés como ´tienda de comestibles' o ´parque'. No se incluyen la ubicación precisa ni los puntos de interés específicos”.
Por último, la transcripción condensada se procesa a través de los modelos base de Apple en Private Cloud Compute para crear un título y un resumen, que luego se cifran y se envían de vuelta al iPhone y al Apple Watch. Apple indica que Siri Recap está diseñado para eliminar de sus resúmenes información confidencial, como datos financieros, números de identificación u otros identificadores personales.
La función “Live Rewind”, que permite a los usuarios solicitar una versión de texto de los últimos 15 segundos de lo que se ha dicho en su entorno, utiliza el búfer Secure Exclave para almacenar el audio de forma continua y progresiva, de modo que el sonido antiguo se sustituye por audio nuevo y no se acumula. Para obtener una transcripción a través de “Live Rewind”, los usuarios deben pulsar dos veces la “Digital Crown” del Apple Watch cada vez. Una vez activada, el reloj envía los últimos 15 segundos de audio almacenado en el búfer de su Secure Exclave al Secure Exclave del iPhone emparejado. Si el iPhone no está disponible, la transferencia fallará y el audio se eliminará automáticamente. (Siri Recap cuenta con mecanismos de seguridad similares en caso de que falle la transferencia del reloj al iPhone.) Si la transferencia se realiza correctamente, el iPhone lleva a cabo el procesamiento de reconocimiento de voz en el propio dispositivo para generar una transcripción y, a continuación, elimina el audio y envía el texto de vuelta al Apple Watch. Los usuarios leen la transcripción y, a continuación, pueden descartarla o guardarla en la aplicación de Siri.
¿Y la privacidad de los demás?
Es difícil ignorar que, a pesar de todas estas medidas de protección de datos, cualquiera que lleve un nuevo Apple Watch podría estar utilizando la “inteligencia de audio” para, por ejemplo, escuchar una sesión íntima en la que te desahogas, una conversación familiar privada o un desliz accidental sobre un secreto. Para intentar mitigar las violaciones flagrantes de la privacidad, Apple sostiene que el reloj emite un sonido audible cuando su propietario inicia una transcripción de Live Rewind para alertar a otras personas, incluso si está en modo silencioso o emparejado con auriculares. Además, las funciones están diseñadas para omitir o filtrar información que pueda identificar a los hablantes. Pero el alcance y la amplitud de estas herramientas son realmente notables.
Apple ha realizado una inversión significativa a lo largo de muchos años en su infraestructura segura de procesamiento de IA, mucho más allá de lo que ha hecho casi cualquier otra empresa. Las nuevas funciones de audio ponen de relieve, sin embargo, que, con el tiempo, la superficie de ataque de la IA (o la enorme cantidad de servicios y sistemas que podrían contener fallos o errores y ser objeto de ataques) está creciendo más rápido de lo que se pueden comprender sus implicaciones.
Artículo originalmente publicado en WIRED.com. Adaptado por Mauricio Serfatty Godoy.