La calidad de datos en la nube está chocando con un límite operativo: las reglas manuales proliferan, se vuelven frágiles y terminan exigiendo mantenimiento permanente. Srinivas Chippagiri afirma que, cuando crecen los datos, aumentan las fuentes y cambian los esquemas, los equipos terminan administrando miles de reglas que alguien debe escribir, ajustar y vigilar.
Ese costo silencioso, dice, es el punto en el que muchos programas dejan de escalar. Su argumento central es que las herramientas basadas en reglas sí aportan valor, pero solo detectan los problemas que alguien imaginó de antemano. En la práctica, quedan fuera fallas como un lote que llega con retraso, un campo renombrado por un servicio aguas arriba o una distribución que se desvía lentamente hasta degradar un modelo.
Chippagiri propone llevar la supervisión de calidad desde reglas hacia sistemas autónomos capaces de perfilar los datos, aprender qué es normal y marcar desviaciones sin que un humano codifique cada expectativa. En su trabajo de investigación, afirma que combinaron perfilado estadístico con aprendizaje automático en almacenes y lagos de datos en la nube. Entre los bloques citados figuran modelos no supervisados como bosques de aislamiento y autoencoders, además de tratar la deriva de esquema como una señal de primer orden.
El autor dice que, en bancos de prueba revisados por pares, ese enfoque detectó incidencias con mayor precisión y con muchas menos falsas alarmas que las bases de referencia basadas en reglas. También sostiene que resistió mejor escenarios simulados de deriva de esquema, donde las herramientas estáticas se deterioraron con rapidez.
La reducción de falsas alarmas ocupa un lugar central en su tesis. Advierte que un sistema que llora lobo erosiona la confianza y alimenta la fatiga de alertas. En otras palabras: si el monitoreo no discrimina bien, el personal deja de mirar, y el retorno operativo desaparece.
El paso siguiente sería permitir que el sistema no solo detecte, sino que actúe: poner en cuarentena un lote defectuoso o revertir un cambio de esquema en una tubería viva. Para eso, Chippagiri menciona el aprendizaje por refuerzo como una vía para mejorar decisiones de remediación con el tiempo, pero insiste en que el riesgo inicial es alto y que el radio de impacto debe estar limitado desde el arranque.
Ahí aparecen dos problemas que, según él, la industria subestima: la explicabilidad y el cumplimiento normativo. Sostiene que, en sectores regulados, un agente que actúa sobre datos sensibles abre preguntas de gobierno corporativo que el cifrado, TLS y el control de acceso no resuelven por sí solos. Su receta incluye privilegio mínimo a través de IAM en la nube, perímetro acotado y supervisión humana.
El fondo económico es claro: la automatización puede elevar productividad, pero solo si reduce el costo de vigilancia sin crear nuevos riesgos sistémicos. Capital busca reglas claras, no sistemas que prometen autonomía y luego trasladan el error al contribuyente o al cliente corporativo. En la nube, como en cualquier mercado, la tecnología útil es la que escala sin inflar la burocracia ni multiplicar la incertidumbre.
El mercado ya votó por menos fricción y más confiabilidad. La próxima frontera no será solo detectar fallos, sino hacerlo con disciplina, trazabilidad y límites de responsabilidad bien definidos.