Si deseamos ejecutar Large Lenguage Models (LLM) en un PC portátil con Snapdragon X Elite, lo mejor sin dudas es LM Studio. Los LLM como Google Gemini, ChatGPT y Microsoft Copilot se ejecutan justamente en la nube. Esto significa que se estaría ejecutando en otro ordenador, no en el nuestro. A su vez, son bastante caros de ejecutar y por eso mismo tienen una opción de pago que tiene un precio de unos $20 mensuales. El tema es que ahora, LM Studio, nos brinda la posibilidad de ejecutar una gran cantidad de modelos de forma local sin ninguna clase de problema.
Es más, ya somos conscientes de lo fuerte que ha penetrado esta tecnología a nuestras vidas, que hasta la IA cambiará para siempre el uso del iPhone de maneras que nunca nos hubiéramos imaginado. De esta forma, es adaptarse o simplemente dejarse pisar por una tecnología que no tiene intenciones de detenerse.
Ejecutar LLM con LM Studio en un PC portátil Snapdragon X Elite
Entonces, ahora mismo, LM Studio Snapdragon X Elite únicamente se ejecuta en la CPU. Sin embargo, dentro de poco estará disponible para ejecutarse en la NPU. De esta forma, podemos jugar con varias configuraciones en LM Studio para que de esta manera se ejecute de forma más veloz en al CPU. Y esta compatibilidad con la NPU debería dar como resultado que todo sea mucho más rápido. Incluso si no fuera así, se ejecutaría de forma sumamente eficiente como mínimo.
A su vez, Qualcomm, comento en varias ocasiones que las capacidades de inteligencia artificial del Snapdragon X Elite, permiten ejecutar modelos de forma local de hasta 13 mil millones de parámetros. Contamos con varios modelos como Llama 3 y WizardLM con 13 mil millones de parámetros y en realidad, existen varios LMM que se encuentran entrenados por la comunidad que estaría en el mismo límite. A su vez, los modelos que se ejecutan con LLM Studio, tienen la capacidad de producir cualquier resultado, incluso el contenido para el que modelos como ChatGPT necesitarían “liberación”.
En caso de que desees probar LM Studio en Snapdragon X Elite, es posible hacerlo desde aquí. Aunque debemos advertir que actualmente se encuentra en una versión muy preliminar, esto significa que podemos encontrarnos alguno que otro inconveniente.
¿Tienes alguna pregunta o problema relacionado con el tema del artículo? Queremos ayudarte.
Deja un comentario con tu problema o pregunta. Leemos y respondemos todos los comentarios, aunque a veces podamos tardar un poco debido al volumen que recibimos. Además, si tu consulta inspira la escritura de un artículo, te notificaremos por email cuando lo publiquemos.
*Moderamos los comentarios para evitar spam.
¡Gracias por enriquecer nuestra comunidad con tu participación!