Nvidia y Microsoft finalmente solucionan un gran problema de Copilot+. Veamos, cuando se anunció hace unas semanas muchos se preguntaban por qué no se podía ejecutar las aplicaciones de IA en sus respectivas GPU. Ahora, han dado la respuesta en Computex 2024.
Ambos se encuentran trabajando en una interfaz de programación de aplicaciones (API) que brindara la posibilidad de a desarrolladores de ejecutar aplicaciones aceleradas por IA en tarjetas gráficas RTX. Evidentemente, incluye varios modelos de lenguaje pequeño (SLM) que también forman parte del tiempo de ejecución de Copilot.
Gracias al kit de herramientas, los desarrolladores van a poder permitir que las apps se ejecuten de forma local en su GPU en lugar de la NPU. Esto, evidentemente, nos brindará aplicaciones más potentes en el futuro (aplicaciones IA) debido a que las capacidades de las GPU (generalmente) son mucho más potentes que las de NPU. El tema es que, si a esto le sumamos que, si se ejecutan mediante la GPU en la misma PC, ya no lo haría bajo el paraguas de Copilot+.
Nvidia y Microsoft enfrentan el enorme problema de Copilot+
Veamos, las PC con Copilot+ en la actualidad necesitan una unidad de procesamiento neuronal, ósea NPU. Esta tiene que ser capaz de realizar, aunque sea, 40 teras de operaciones por segundos (TOPS). En la actualidad, únicamente Snapdragon X Elite es el que cumple con este complicado requisito. A pesar de eso, las GPU en realidad tienen una capacidad de procesamiento infinitamente superior, incluso los modelos más económicos y bajos alcanzan 100 TOPS, así que evidentemente la diferencia es notable.
Entonces, además de esto, la nueva API tiene capacidades de generación aumentada de recuperación (RAG) al tiempo de ejecución de Copilot. En pocas palabras, para resumirlo, RAG brinda al modelo de IA acceso a información muy específica de forma local, lo que, evidentemente, dará soluciones más rápidas y precisas.
Otra cosa que se anunció fue el RTX AI Toolkit. Es una suite para desarrolladores que llegará este mes. Tiene varias herramientas y SDK que brinda la posibilidad a los desarrolladores de ajustar modelos de IA para apps específicas. Nvidia comenta que cuando usamos RTX AI Toolkit, los desarrolladores podremos crear modelos cuatro veces más rápido y más pequeños en comparación con las soluciones de código abierto.