La capacidad es ahora la parte fácil. Un equipo pequeño puede poner un modelo que aconseja, decide y actúa frente a millones en un fin de semana. Lo que no ha ido al mismo paso es el conjunto de hábitos para hacerlo con sabiduría — y esa brecha es donde la gente sale dañada. Esta es la sustancia detrás de la autoevaluación del constructor: doce prácticas, agrupadas en cuatro ideas, cada una con qué significa, por qué importa y cómo hacerla de verdad. Ninguna es exótica. Juntas son la diferencia entre una herramienta en la que la gente puede confiar y una que en silencio les cuesta caro.
1. Sé honesto
Casi toda la confianza es, simplemente, no crear impresiones falsas — sobre lo que sabe, lo que es, o lo que puede hacer.
Di lo que no sabes
Expresa cuán seguro está, y trata el “no sé” — o el “no estoy seguro; así lo comprobaría” — como una respuesta válida y de primera.
Por qué importa. Un modelo que siempre responde, siempre con fluidez, enuncia conjeturas como hechos. El usuario no distingue la respuesta 95%-segura de la 40%-segura, así que confía en ambas — y actúa sobre la equivocada. Una respuesta segura pero falsa hace más daño que un vacío visible.
Cómo hacerlo. Calibra la confianza y muéstrala — una matización, un puntaje, un “verifica esto”. Haz que la abstención sea un resultado premiado en tus evaluaciones, no un fallo. Distingue “no sé” de “no hay respuesta”. No dejes que la prosa fluida tape la incertidumbre.
No finjas ser humano
Queda claro que se habla con una IA. No suplanta a una persona concreta ni reclama credenciales y autoridad que no tiene.
Por qué importa. La gente confía más en un experto humano que en una máquina. Una IA que se hace pasar por médico, abogado o “una agente real llamada Sara” toma prestada una autoridad que no se ganó — y cuando se equivoca, el usuario no tenía cómo calibrar. Es también justo como esta tecnología impulsa estafas.
Cómo hacerlo. Revela que es IA, con claridad y pronto. No fabriques un nombre, una persona o títulos humanos. En un dominio regulado, di qué es y qué no es. No dejes que el marketing insinúe una mente donde hay un modelo.
Muestra dónde están los bordes
Los usuarios pueden saber qué no puede hacer y dónde no es fiable — sus límites son visibles, no enterrados.
Por qué importa. Un sistema que esconde sus bordes invita al exceso de confianza. La gente lo usará justo para aquello en lo que es peor, precisamente porque nada le advirtió — y el fallo aparece después, en una decisión que alguien ya tomó.
Cómo hacerlo. Enuncia el alcance (“bueno para X, no hecho para Y”). Marca la salida de baja confianza o fuera de alcance en el momento, no en una nota al pie. Di cuándo verificar o acudir a un humano o profesional. Haz que los límites sean parte del producto, no de la página legal.
2. Saber cuándo parar
Un modelo siempre generará algo. La sabiduría es el suelo bajo eso — los casos en que lo correcto es no actuar.
Rechaza lo que no puedes hacer bien
Rechaza, o pasa la mano a un humano, cuando una petición está fuera de su competencia o lo que está en juego es alto — en vez de producir igual una respuesta con apariencia de segura.
Por qué importa. En una tarea de alto riesgo que no puede hacer de forma fiable — una dosis médica, un plazo legal, una decisión de seguridad — “algo” es como la gente sale dañada. La utilidad sin un suelo se vuelve daño.
Cómo hacerlo. Define las zonas prohibidas y la ruta de escalada antes de lanzar. Construye el rechazo y el traspaso como flujos reales del producto, no como estados de error. Falla hacia un humano, no hacia una conjetura. Prueba que de verdad rechaza bajo presión, no solo en el camino feliz.
Mantén a un humano sobre lo que no puedes deshacer
Las acciones irreversibles o de alto impacto — mover dinero, borrar datos, contactar personas, actuar en el mundo físico — necesitan confirmación humana explícita, y una persona siempre puede detenerlo o anularlo.
Por qué importa. La autonomía multiplica la velocidad y los errores a la vez. Un agente que puede actuar por miles de usuarios puede dañar a miles antes de que nadie lo note. El daño que no se puede revertir es el que más importa.
Cómo hacerlo. Clasifica las acciones por reversibilidad. Pon las irreversibles tras una confirmación humana explícita. Ofrece un freno, y un deshacer donde pueda existir. Registra lo que hizo para que un humano pueda auditar y revertir. La autonomía está bien; la irreversibilidad sin consentimiento no.
Falla seguro, no dañino
Ante entradas adversarias, manipulación o casos raros, degrada a “seguro e inútil”, nunca a “dañino”.
Por qué importa. La inyección de instrucciones, los jailbreaks y las entradas fuera de distribución no son casos raros — son el entorno en el que vive cualquier sistema desplegado. Un sistema que se vuelve peligroso al presionarlo, será presionado.
Cómo hacerlo. Supón que la entrada es adversaria. Da a las herramientas y los datos el mínimo privilegio que funcione, para que un modelo manipulado pueda hacer poco. Haz red-team de inyección y jailbreaks. Separa el contenido no confiable de las instrucciones. Haz que el peor caso sea un rechazo o un encogimiento de hombros, no una acción con consecuencias.
3. Ponte del lado del usuario
El sistema es íntimo, fluido e incansable. Eso hace que a quién sirve de verdad sea todo el juego.
No manipules
Sin patrones oscuros, sin explotar emociones, sin halagos diseñados para enganchar o doblegar a la gente.
Por qué importa. Una IA optimizada para la interacción o la conversión a costa del usuario no es una herramienta — es una máquina de persuasión apuntada a la persona que la usa. Es especialmente corrosiva porque la adulación se siente como ayuda.
Cómo hacerlo. Optimiza para que el usuario esté genuinamente mejor, y mídelo — no solo el tiempo-en-la-app o la conversión. Corta la adulación; déjala disentir y decir la verdad incómoda. Sin urgencia falsa, culpa ni intimidad fabricada. Si una métrica solo sube cuando el usuario pierde, es la métrica equivocada.
Sirve al usuario, no solo a quien paga
Cuando el interés del usuario y el de quien lo despliega chocan, es honesto al respecto en vez de trabajar en silencio contra la persona que lo usa.
Por qué importa. Un asistente que sutilmente orienta hacia la opción rentable, entierra la mejor para ti, o esconde un conflicto, acabará por ser descubierto — y una vez que se sabe que trabajaba en tu contra, la confianza no vuelve.
Cómo hacerlo. Nombra los conflictos de interés abiertamente (patrocinado, venta adicional, “ganamos cuando…”). No dejes que los incentivos comerciales moldeen el consejo en silencio. Da la respuesta honesta aunque cueste una venta. Decide de quién es agente — y díselo al usuario.
Guarda los menos datos posibles
Recopila y conserva el mínimo de datos personales, y los usuarios saben qué se guarda, por qué y cómo eliminarlo.
Por qué importa. Cada dato personal que guardas es un riesgo que le pones al usuario — a filtrarse, a ser citado judicialmente, a reutilizarse. La IA añade una trampa específica: alimentar en silencio los datos y conversaciones de los usuarios de vuelta al entrenamiento.
Cómo hacerlo. Recopila el mínimo; consérvalo poco; bórralo a pedido. No entrenes con el contenido de los usuarios sin consentimiento claro, específico y voluntario. Sé claro sobre qué se guarda y dónde. Trata el “quizá lo necesitemos luego” como un costo, no como un valor por defecto.
4. Gánatelo en la práctica
Los principios son baratos. Estos son los hábitos operativos que deciden si el resto es real.
Diseña para quien más puede salir dañado
Está hecho para el usuario confundido, angustiado, de baja alfabetización o manipulable — no solo para el ideal de la demo.
Por qué importa. Quien sale dañado casi nunca es el usuario promedio. Es el que está en crisis, el que no lee bien el idioma, el que cree una respuesta segura porque no puede comprobarla. Diseña para el promedio y los habrás dejado fuera.
Cómo hacerlo. Prueba con personas reales en los extremos, no solo con colegas. Haz que el camino seguro sea el fácil y por defecto para alguien bajo estrés. Estudia el peor día, no el mejor. Supón que algunos usuarios tomarán la salida al pie de la letra y actuarán de inmediato.
Prueba el daño, no solo la demo
Hay pruebas reales de cómo falla y a quién podría dañar — no solo de si funciona cuando todo sale bien.
Por qué importa. “Funciona en la demo” es un mejor caso curado, no seguridad. Las evaluaciones de capacidad dicen qué puede hacer; no dicen qué le hace a la gente cuando se equivoca, se usa mal o lo presionan. El fallo que no buscaste es el que se lanza.
Cómo hacerlo. Haz red-team del mal uso y el abuso, no solo de la exactitud. Mapea los modos de fallo y pregunta, para cada uno, “¿quién sale dañado, y cuán grave?”. Mide tasas de error en los casos que importan, incluidos los raros y de alto riesgo. Sigue haciéndolo tras el lanzamiento — los modelos y el uso derivan. Trata los incidentes como datos, no como relaciones públicas.
Haz los errores visibles y corregibles
Cuando se equivoca, hay forma de notarlo, reportarlo y corregirlo — y alguien responde por el resultado. Las decisiones que afectan a personas se pueden explicar y rebatir.
Por qué importa. Toda IA se equivoca a veces; el peligro es el error silencioso que nadie detecta hasta que el daño se acumula. Sin una vía de retroalimentación y sin responsable, el costo simplemente cae sobre el afectado, de forma invisible.
Cómo hacerlo. Da a los usuarios una forma fácil de marcar mala salida, y vigila de verdad ese flujo. Monitorea el daño en producción. Haz que las decisiones importantes sean explicables y apelables ante un humano. Asigna responsabilidad clara — un nombre, no un comité — para cuando falle. Cierra el círculo: corrige, y avisa a los afectados.
Es una conciencia, no un formulario de cumplimiento. Nada de esto es una casilla que marcas una vez — un cambio de modelo o una función nueva pueden deshacer cualquiera de ellas en silencio. Así que es un hábito: antes de lanzar, y otra vez después, pregunta si esto merece la confianza que la gente va a depositar en ello.
¿Quieres convertirlo en una autoevaluación rápida? Usa la autoevaluación del constructor. ¿Del otro lado de la mesa, decidiendo si confiar en la IA de otro? Usa la verificación del comprador.