Nuestros dispositivos inteligentes responden a comandos de voz, verifican nuestros latidos cardíacos, rastrean nuestro sueño, traducen texto, nos envían recordatorios, capturan fotos y videos y nos permiten hablar con familiares y amigos en continentes distantes. Ahora, imagina potenciar esas capacidades. Mantener conversaciones en profundidad y en lenguaje natural sobre consultas académicas o personales; revisar nuestros signos vitales a través de una base de datos global para detectar problemas de salud inminentes; contar con enormes bases de datos que ofrecen traducción integral en tiempo real entre dos o más personas que hablan diferentes idiomas; y conversar con software de GPS que ofrece detalles sobre las mejores hamburguesas, películas, hoteles o lugares para observar a la gente a lo largo de tu ruta. Aprovechando el poder seductor de los grandes modelos de lenguaje y el procesamiento del lenguaje natural, hemos presenciado un tremendo progreso en las comunicaciones entre nosotros y la tecnología en la que cada vez más confiamos en nuestra vida diaria. Pero ha habido un obstáculo cuando se trata de inteligencia artificial y nuestros dispositivos portátiles. Los investigadores de Apple dicen que están listos para hacer algo al respecto. El problema es la memoria. Los grandes modelos de lenguaje necesitan mucha memoria. Con modelos que requieren almacenamiento de potencialmente cientos de miles de millones de parámetros, los teléfonos inteligentes comúnmente utilizados, como el iPhone 15 de Apple con escasos 8 GB de memoria, quedarán muy lejos de la tarea. En un artículo subido al servidor de preimpresión arXiv el 12 de diciembre, Apple anunció que había desarrollado un método que utiliza transferencias de datos entre la memoria flash y la DRAM que permitirán que un dispositivo inteligente ejecute un potente sistema de inteligencia artificial. Los investigadores dicen que su proceso puede ejecutar programas de IA dos veces más grandes que la capacidad de la DRAM del dispositivo y acelerar las operaciones de la CPU hasta en un 500%. Según ellos, los procesos de la GPU pueden acelerarse hasta 25 veces más que los enfoques actuales. «Nuestro método implica la construcción de un modelo de costos de inferencia que armoniza con el comportamiento de la memoria flash, lo que nos guía para optimizar en dos áreas críticas: reducir el volumen de datos transferidos desde la flash y leer datos en fragmentos más grandes y más contiguos», dijeron los investigadores en su artículo titulado «LLM en un instante: inferencia eficiente de modelos de lenguaje grandes con memoria limitada». Los dos técnicas que utilizaron fueron: Ventaneo, que reduce la cantidad de datos que deben intercambiarse entre la memoria flash y la RAM. Esto se logra reutilizando resultados de cálculos recientes, minimizando las solicitudes de E/S y ahorrando energía y tiempo. El agrupamiento por fila y columna, que logra una mayor eficiencia al digerir fragmentos más grandes de datos a la vez desde la memoria flash. Los dos procesos, según los investigadores, «contribuyen de manera colectiva a una reducción significativa en la carga de datos y a un aumento en la eficiencia del uso de la memoria». Añadieron: «Este avance es particularmente crucial para implementar LLM avanzados en entornos con recursos limitados, ampliando así su aplicabilidad y accesibilidad». En otro avance reciente, Apple anunció que había diseñado un programa llamado HUGS que puede crear avatares animados con solo unos segundos de video capturados desde una sola lente. Los programas actuales de creación de avatares requieren múltiples vistas de una cámara. El informe, «HUGS: Manchas gaussianas humanas», se subió a arXiv el 29 de noviembre. Según Apple, su programa puede crear avatares realistas bailando en tan solo 30 minutos, mucho menos que los dos días requeridos por los enfoques populares actuales.
by admin 0 Comments
Deja una respuesta