Desde que hiciéramos aquella introducción a los chatbots impulsados por Inteligencia Artificial, hace ya casi 4 años, estos softwares impulsados por grandes modelos de lenguaje, LLM, se han vuelto más y más populares. Le deben esta fama probablemente a su potencial, pero también a la enorme capacidad de adaptación que demuestran. Estos chatbots locales de LLM para tu PC con poca RAM son ideales para tener el primer acercamiento a ellos.
Cuando imaginamos un chatbot de IA ejecutándose, lo primero que pensamos es que requiere de recursos exorbitantes. Y aunque no es así necesariamente, haces bien en creer que demandan cierto hardware.
¿Qué pasa entonces? Si tu PC tiene poca RAM no podrá ejecutar todos los chatbots de IA.
¡Recurre a los chatbots locales de LLM! 💡
Es una buena idea, ya que los chatbots locales de LLM funcionan en tu PC con sólo descargarlos y configurarlos. Algunos modelos interesantísimos pueden funcionar en dispositivos con tan sólo 4 GB de RAM. Es decir, podrás mejorar tu eficiencia diaria y alcanzar tus objetivos sin tener que invertir en un equipo con 16 GB.
Por supuesto, tendrás que olvidarte de ChatGPT y algunas de sus principales alternativas, pero aún así hay opciones que colmarán tus expectativas en tal sentido. Los chatbots locales de LLM son más seguros que los chatbots online, los cuales muchas veces son seleccionados por aquellos que tienen memorias RAM limitadas -como en este caso-.
Es decir, no sólo podrás acceder a los beneficios de los chatbots basados en Inteligencia Artificial sino que además mantendrás todos tus datos personales más protegidos y privados. Puede que pierdas un poco de potencial, pero si no tienes experiencia con estos modelos de lenguaje será más que suficiente para que puedas acostumbrarte a ellos.
Los ataques de phishing y malware con chatbots de IA son otra de las amenazas latentes con los utilizas online.
3 chatbots locales ideales, para tu PC con poca RAM
DistilBERT y ALBERT, dos básicos
DistilBERT y ALBERT son dos de los chatbots más básicos para acercarte a ellos. Son ligeros, porque han sido diseñados para ser muy eficientes en cuanto al uso de memoria y potencia de procesamiento. Y, como es lógico, lamentablemente esto limita sus poderes de chatbot para tareas complejas. Aún así, son útiles para principiantes.
Para DistilBERT, los desarrolladores de Hugging Face incorporaron una gran cantidad de potencia en un modelo pequeño y eficiente al optimizar su diseño. En tanto, ALBERT no tiene el mismo diseño de funcionamiento. Independientemente de los detalles, en los que no vamos a entrar, podemos recomendarte ambos.
Si eso te parece demasiado restringido, o tienes un PC con 8 GB o más, puedes pasar de los «BERT» e ir directamente con los modelos GPT-2 de OpenAI, que son como «las navajas suizas» del mundo de la IA local. Suponiendo que así sea, recuerda que hay versiones de GPT-2 de OpenAI que consumen pocos recursos.
GPT-Neo 125M, una evolución de los anteriores
Si tuviéramos que destacar solamente un chatbot con IA local o LLM nos quedaríamos con GPT-Neo 125M por su infinita personalización. Desarrollado por los respetados desarrolladores de EleutherAI, podríamos definirlo como «primo-hermano» de GPT-2. Si bien se mueven en ambientes distintos, no difieren tanto en cuanto a cualidades.
Neo 125M logra equilibrar el rendimiento y el compromiso de los recursos del sistema. El rendimiento de este modelo está a la par con GPT-2, pero puede resultar más eficiente en algunas circunstancias. Si GPT-2 ponía en jaque tu PC, puede que este lenguaje corra sin problemas. Eso sí, con un mínimo de 8 GB de RAM. Por debajo, no te responderá.
¿Cómo empezar a usar chatbots locales de LLM?
Administrar tu propio chatbot es más fácil de lo que crees. Primero, debes saber qué puede hacer tu PC. Comprueba cuánta memoria RAM tienes y qué tan rápido responde a las acciones que realizas. Con esta información ya, sabrás cuál de los chatbots de IA locales es el que más se adapta a la capacidad de tu dispositivo. Es mejor que comiences siempre con un chatbot de IA local más básico y que luego vayas escalando, para evitar que se bloquee o se cuelgue.
DistilBERT o ALBERT son lenguajes para empezar y más tarde pasar a GPT-2. O al menos, eso haríamos nosotros.