La situación con la inteligencia artificial está a la orden del día, no podemos parar de hablar de esta y todos están fascinados por lo que puede lograr dicha tecnología. Microsoft, Google, Meta, OpenAI son algunas de las grandes compañías que se encuentran detrás de lo que disfrutamos día a día. Aunque la inteligencia artificial de código abierto, están dando una buena batalla y son una alternativa a considerar. Ahora Meta, quien busca enfrentarse a ChatGPT y Bard, planea hacerlo con LIMA, una potente IA que sería una variante del modelo LLaMa.
En realidad, LIMA es una variante bastante interesante del modelo LLaMa de Meta. Como podemos apreciar en un estudio de meta, los modelos de lenguaje se entrenan en dos etapas. La primera de estas etapas consiste en un entrenamiento sin supervisión que utiliza una buena cantidad de texto. Sin ninguna clase de filtro que permite aprender dentro de un escenario más general.
Mientras que la segunda etapa es una especie de depuración de la anterior. En donde se entrena con más detalles para ciertas tareas específicas o preferencias del usuario.
LIMA: un modelo de lenguaje basado en LLaMa
Entonces, Meta hizo justamente esto con LIMA, una IA que busca enfrentarse a ChatGPT de OpenAI y Bard de Google. Quienes están realizando inversiones millonarias en esta tecnología para mantenerse en lo más alto del sector. Evidentemente, Meta no quiere, ni puede quedarse atrás.
Como comentamos anteriormente, Less Is More for Alingment (LIMA) es un modelo de lenguaje que se encuentra basado en LLaMa con 65 millones de parámetros y que con menos de 1.000 prompts se logra comportar de manera correcta. Lo más interesante del asunto, es que estamos hablando de que no fue necesario ese “refuerzo” ni un modelado basado en preferencias humanas y el resultado fue impresionante.
Este modelo fue desarrollado por Meta, aunque con una ayuda significativa de la Universidad Carnegie Mellon, la Universidad del Sur de California y Universidad de Tel Aviv. Todos concuerdan en que el rendimiento de LIMA es impresionante y que ha logrado seguir formatos de respuestas con muy pocos ejemplos disponibles para su entrenamiento. Incluso, es posible realizar algunas tareas para las cuales ni siquiera fue entrenado.
Lo más interesante de este asunto es que llega al mismo nivel que ChatGPT o Bard, incluso se podría decir que los supera. Teniendo en cuenta que las respuestas de LIMA han sido un 43% mejores en el caso de GPT-4 y un 58% en el caso de Bard.
¿Nos olvidamos de RLHF?
Pero la situación aquí toma proporciones más grandes cuando, gracias a este estudio, nos percatamos de que el uso de la técnica “Reinforcement Learning from Human Feedback” (RLHF) no es tan imprescindible como pensábamos.
En pocas palabras, este sistema usa humanos para optimizar los resultados de la IA mientras se entrena. Se trata de un proceso demasiado costoso que usan las compañías para que sus modelos de lenguaje sean más precisos.
Si bien, desde Meta aseguran que en esta etapa de entrenamiento es mejor “más calidad que cantidad”. También comentan que desarrollar esta serie de datos de alta calidad no es precisamente sencillo y no en todos los casos es una opción.