Chat with RTX es un LLM que podrás ejecutar en local y personalizarlo con contenido propio (documentos, notas, vídeos u otros datos).

 

El fundador de Nvidia, Jensen Huang, pretende “democratizar” el uso de los modelos LLM Open Source y que se ejecuten de forma local. Además, pretende dar un paso más allá en el tema de la privacidad, permitiendo que para el acceso a los archivos, ya no sea necesario subirlos a la red.

 

Sin duda, se abren otras posibilidades para seguir interactuando con nuevos chatbots, que se acabarán convirtiendo en compañeros imprescindibles para nuestra productividad diaria.

La página oficial de Nvidia nos recuerda que estamos ante una versión DEMO. Por lo tanto, es posible que experimentemos problemas durante la instalación, límites de palabras en solicitudes de resúmenes o situaciones en las que el programa no responda.

Nvidia ya se encuentra en proceso de corregir estos errores para mejorar la experiencia de usuario.

 

Web oficial: Chat con RTX

 

GitHub para desarrolladores: GitHub

 

Página de descarga: Chat con RTX

 

El archivo con un tamaño de 35.1 GB requiere cumplir unos requisitos mínimos para funcionar adecuadamente en un ordenador con Windows.

 

Requisitos mínimos

 

  •  
    • Plataforma: Windows

 

    • GPU: NVIDIA GeForce™ RTX Serie 30 o 40 o GPU NVIDIA RTX™ Generación Ampere o Ada con al menos 8GB de VRAM

 

    • RAM: 16GB o más

 

    • Sistema Operativo: Windows 11

 

    • Drivers: 535.11 o posterior
Novedades: Chat with RTX versus ChatGPT

— El chatbot se ejecuta localmente.

— Se puede utilizar sin Internet.

— Los resultados de búsquedas son muy rápidos.

— Los datos del usuario permanecen privados.

¿Qué podrás hacer con Chat con RTX?

— Resumir.

— Buscar documentos en los archivos de tu PC.

— Buscar en vídeos y listas de reproducción de YouTube.

Modelos de lenguajes disponibles IA
  • Llama 2 13B int4 : hasta 3900 tokens.
  • Mistral 7B int4: hasta 7168 tokens.
Video ejemplo oficial – ¿Cómo funciona Chat con RTX?