Nvidia acaba de lanzar Nemo Guardrails para prevenir respuestas inapropiadas en Chatbots

La inteligencia artificial (IA) es una tecnología que se está desarrollando a pasos agigantados. Una de las aplicaciones de la IA son los chatbots, que pueden utilizarse para mejorar la atención al cliente o para facilitar la interacción entre los usuarios y las empresas. Sin embargo, estos chatbots no siempre son precisos ni apropiados en sus respuestas, lo que puede generar problemas para los usuarios y para las empresas. Por eso, Nvidia ha lanzado NeMo Guardrails, un software de código abierto que permite establecer límites para los modelos de chatbots.

Tres tipos de guardrails para modelos de chatbots

El software NeMo Guardrails permite establecer tres tipos de límites o guardrails para los modelos de chatbots basados en grandes modelos de lenguaje (LLMs, por sus siglas en inglés):

-Topical guardrails

Este tipo de límites evita que el chatbot explore temas que no son necesarios o deseables para el uso previsto. Por ejemplo, un asistente de servicio al cliente no debe responder preguntas sobre el clima. Estos límites también son útiles para evitar que los chatbots divulguen información confidencial de la empresa, como sucedió con Bing Chat.

-Safety guardrails

Los límites de seguridad son esenciales para evitar la difusión de información inexacta o inapropiada por parte de los chatbots. Con NeMo Guardrails, los desarrolladores pueden reforzar las prohibiciones sobre el uso de lenguaje inapropiado y fuentes poco fiables. Esto es especialmente importante para evitar la difusión de información errónea o engañosa.

-Security guardrails

Por último, los límites de seguridad restringen el acceso de los chatbots a aplicaciones externas que se consideran inseguras. Esto es importante para evitar que los chatbots sean utilizados para fines maliciosos, como el phishing.

-Facilidad de uso para desarrolladores

NeMo Guardrails es fácil de usar para los desarrolladores de software, ya que funciona con una amplia gama de aplicaciones habilitadas para LLM y es compatible con las herramientas que utilizan los desarrolladores de aplicaciones empresariales. Nvidia afirma que prácticamente todos los desarrolladores de software podrán utilizar este software.

La creación de NeMo Guardrails por parte de Nvidia es un paso importante para garantizar que los chatbots basados en IA proporcionen respuestas precisas, apropiadas y seguras. Este software es una herramienta valiosa para las empresas que desean utilizar chatbots para mejorar la atención al cliente y la interacción con los usuarios.