Cómo ejecutar un chatbot de IA en tu propia computadora

No es exagerado decir que los grandes modelos de lenguaje (LLM) que impulsan los bots de IA como ChatGPT y Gemini están cambiando el mundo. Muchos de nosotros ya confiamos en ellos para programar, escribir, resumir y buscar en internet. Sea cual sea el rumbo que tome la IA en los próximos años, los LLM formarán parte de ese futuro.

Si usas ChatGPT, Claude, Perplexity o cualquier otra plataforma de IA, estás utilizando un LLM. Lo que no todo el mundo sabe es que estos LLM se pueden ejecutar de forma local, en tu propia computadora. Las principales ventajas son el acceso sin conexión y una mayor privacidad, ya que no envías nada a la nube para que alguien más lo analice o revise.

Además, no tienes que pagar ninguna cuota mensual a empresas de IA ni te aplicarán tarifas por uso. Hay numerosos LLM disponibles para descargar de forma gratuita, incluso de grandes empresas como Meta y Google. Aunque no suelen ser tan avanzados ni tan rápidos como los LLM de las aplicaciones de pago, son lo suficientemente eficaces para el uso diario, y puedes elegir entre ellos según tus necesidades.

Esto implica un mayor mantenimiento y se pierde parte de la comodidad que supone simplemente abrir la aplicación de ChatGPT. (Por ejemplo, tendrás que encargarte tú de las actualizaciones.) Sin embargo, obtienes un sistema de IA más personalizado y privado, y no es difícil ponerse en marcha.

Lo que necesitas para empezar

Puedes ejecutar grandes modelos de lenguaje (LLM) locales en Windows, macOS y Linux, aunque macOS suele ser la plataforma preferida por la mayoría de los entusiastas de la IA. Todo está más unificado y es más coherente en las Mac. A diferencia de las PC con Windows, solo las fabrica una empresa. Y los chips Apple Silicon combinan la CPU, la GPU y la RAM, algo que gusta a los modelos de IA.

Sea cual sea la plataforma que elijas, disponer de mucha RAM ayuda. El mínimo imprescindible son 8 GB. Aunque si eso es todo lo que tienes, tendrás limitaciones en cuanto al tamaño de los LLM que puedes ejecutar y a su velocidad de funcionamiento. Dieciséis gigas es mejor, y se necesitan 32 o más si quieres utilizar los modelos más grandes y rápidos. Para obtener los mejores resultados, necesitas mucha VRAM en una GPU dedicada. Cualquier cantidad superior a 8 GB marcará la diferencia, ya que este tipo de memoria está optimizada para el tipo de tareas que realizan los modelos de IA.

Un chatbot de IA como ChatGPT depende de la nube.

Foto: David Nield

Si usas Windows, una GPU dedicada de Nvidia ayuda mucho: los chips gráficos son mejores para ejecutar procesos de IA que los procesadores estándar, lo que explica en parte por qué Nvidia y el auge de la IA están tan estrechamente vinculados. Estas tarjetas gráficas dedicadas también cuentan con su propia RAM, lo que da a los modelos de IA un espacio adicional para el procesamiento.

Si bien no existe una especificación mínima para ejecutar un modelo LLM local, contar con la mayor cantidad de RAM posible y una tarjeta gráfica dedicada sin duda ayudará. Además, necesitarás un software para ejecutar el modelo, así como el modelo en sí. Existen numerosas opciones para ambos, por lo que puedes elegir según tus necesidades.

Hugging Face ofrece más de 3 millones de modelos para descargar.

Foto: David Nield

Para quienes se inician en esto, LM Studio Bionic se considera generalmente la mejor opción de aplicación de IA para Windows y macOS, y su uso es gratuito. Otras opciones populares y de confianza son vLLM, Llama.cpp, Ollama y GPT4All, que también están disponibles para varios sistemas operativos. Sin embargo, estos programas son un poco más técnicos y complejos.

Una vez elegida la aplicación de IA, la siguiente decisión es seleccionar un LLM. Los programas de software que hemos mencionado te orientarán hacia algunas opciones, y también existen repositorios en línea de modelos, siendo el más conocido Hugging Face (que cuenta con más de 3 millones de modelos disponibles; toda una selección).

Cómo configurar un LLM local

Existen multitud de configuraciones posibles en lo que respecta a los LLM locales, pero te guiaremos paso a paso por el proceso de configuración de LM Studio Bionic en Windows, para que te hagas una idea de cómo funciona. Una vez que hayas descargado el archivo de instalación de la página web y tengas LM Studio Bionic en funcionamiento, haz clic en Crear proyecto para empezar. Luego ponle un nombre a tu primer proyecto.

Se abrirá una ventana de conversación en blanco: si haces clic en Elegir un modelo en el cuadro de diálogo y, a continuación, en Obtener modelos locales. Accederás al selector principal de modelos de LM Studio Bionic. Cada uno de los LLM disponibles aparece en la lista junto con su tamaño, su popularidad y algunos detalles. Presta atención a las “selecciones del equipo” si quieres algunas recomendaciones para empezar. Los modelos más pequeños no serán tan potentes, pero se descargarán más rápido y ocuparán menos espacio en tu sistema.

El selector de modelos dentro de LM Studio.

Foto: David Nield

De vuelta en la interfaz de chat, todo funciona de forma similar a una aplicación estándar de chatbot con IA. En el cuadro de entrada de la parte inferior puedes elegir entre tus modelos de IA (si tienes más de un LLM instalado), y a la izquierda de dicho cuadro encontrarás un ícono "+" (más) para enviar imágenes y archivos (si el modelo actual lo admite).

A la izquierda de la interfaz se encuentra el panel de navegación, donde puedes cambiar entre tus proyectos. A través del enlace Configuración (parte inferior izquierda) del panel de navegación, accederás a la pantalla de preferencias de LM Studio Bionic. Aquí hay muchas formas de personalizar el software, desde cómo se gestionan los chats eliminados hasta los elementos de la interfaz en pantalla.

La interfaz de LM Studio, ejecutándose de forma privada y sin conexión.

Foto: David Nield

Haz clic en Configuración y luego en Biblioteca para gestionar tus modelos existentes, o en la opción de menú Explorar para encontrar otros nuevos. Si necesitas compatibilidad con imágenes y documentos, busca modelos “multimodales”.

La última parte de la interfaz de LM Studio que es importante conocer es la barra lateral derecha. Se puede mostrar u ocultar mediante el botón situado en la esquina superior derecha. Esta barra te ofrece opciones adicionales para gestionar archivos entre proyectos y, si es necesario, permitir que el programa acceda al sistema de archivos de tu computadora.

Artículo originalmente publicado en WIRED.com. Adaptado por Mauricio Serfatty Godoy.