Cuando los algoritmos fallan....y deciden por nosotros.

 

Entrevista: “Cuando los algoritmos fallan… y cuando simplemente hacen lo que deben”

Charlie: Hoy tenemos con nosotros al profesor Dr. Alan Serrano, experto en sistemas computacionales y ética algorítmica. Profesor, empecemos por lo más famoso: ¿cómo pudo el ordenador Deep Blue derrotar a Garry Kasparov en 1997?

---

🧠 1. Deep Blue vs. Kasparov (1997)

Dr. Serrano:
Mira, Charlie, Deep Blue era una máquina muy especializada. No era “inteligente” en el sentido humano; no entendía el ajedrez como un Gran Maestro. Lo que tenía era una potencia de cálculo descomunal para la época.

Charlie: ¿Qué hacía exactamente?

Dr. Serrano:
• Evaluaba más de 200 millones de posiciones por segundo.
• Tenía heurísticas y conocimiento básico sobre ajedrez programado por expertos humanos.
• Y lo más importante: no se cansaba, no dudaba, no se ponía nervioso, y no sufría presión psicológica.

Kasparov era brillante, pero humano. Deep Blue podía explorar posibles jugadas en una profundidad estratégica imposible para un ser humano. Su “inteligencia” era fuerza bruta optimizada.

---

⚖️ 2. El programa judicial y las sentencias desiguales

Charlie: Ahora, algo más inquietante. ¿Cómo es posible que un programa judicial determinara que un joven de 19 años que tuvo una relación consensuada con una menor recibiera 19 años de cárcel por “posibilidad de reincidencia”, mientras un hombre blanco de 36 años, culpable de una violación, recibiera una pena más leve por tratarse de “su primer delito”?

Dr. Serrano:
Esto es un ejemplo clásico —aunque trágico— de sesgo algorítmico en modelos predictivos de riesgo criminal.

Charlie: ¿Sesgo? ¿Cómo aparece un sesgo si la máquina debería ser imparcial?

Dr. Serrano:
Porque la máquina aprende de datos históricos, y los datos históricos reflejan sesgos humanos. Por ejemplo:

• Si las bases de datos incluyen que personas jóvenes de ciertos grupos fueron históricamente etiquetadas como “más propensas a reincidir”, el programa replicará ese patrón.

• Si el sistema judicial ha tendido a tratar con más benevolencia a ciertos perfiles —como hombres adultos blancos en algunos contextos—, los algoritmos entrenados con esos datos aprenden y amplifican esa tendencia.

En estos sistemas se usan modelos llamados “puntajes de riesgo”.
El problema es que esos puntajes no miden la peligrosidad real, sino patrones estadísticos contaminados por prejuicios.

Charlie: ¿Entonces el algoritmo no es neutral?

Dr. Serrano:
Exacto. Un algoritmo no es mejor que los datos que le das. Y si los datos son injustos, el resultado es injusto.

---

🩺 3. El sistema médico que confundió una luxación de codo con una ITS

Charlie: ¿Y cómo puede ocurrir que un programa de inteligencia artificial confunda una luxación de codo con una infección de transmisión sexual en los genitales? ¡Parecen cosas totalmente distintas!

Dr. Serrano:
(Ríe) Suena absurdo, pero tiene explicación técnica.

Muchos sistemas médicos actuales se basan en aprendizaje automático, especialmente redes neuronales. Son extremadamente poderosas, pero también muy “literalistas”. Sus fallos suelen venir de:

1. Entrenamiento insuficiente o de mala calidad:
   Si las imágenes están mal etiquetadas, son pocas, o no representan bien los casos reales, la red aprende asociaciones equivocadas.

2. Falta de contexto clínico:
   La IA solo ve píxeles, no entiende el cuerpo humano. Si la imagen está mal recortada, con mala iluminación, ángulos extraños, o acompañada de metadatos erróneos, la IA puede detectar patrones irrelevantes.

3. Sobreajuste:
   El sistema memoriza patrones superficiales del entrenamiento, en vez de aprender conceptos médicos.

4. Ausencia de supervisión humana adecuada:
   Muchos modelos se prueban en condiciones ideales, pero fallan cuando se enfrentan a casos reales, que son mucho más variados.

Charlie: Entonces… ¿la IA “se equivoca” porque no entiende nada realmente?

Dr. Serrano:
Exacto. No razona. Solo procesa correlaciones. Por eso, sin médicos que la supervisen, puede hacer diagnósticos desastrosos.

---

🧩 Reflexión final

Charlie: Profesor, viendo estos tres casos, ¿cuál es la lección general?

Dr. Serrano:
Que las máquinas no son sabias ni neutrales.
Son herramientas. Muy poderosas, sí, pero dependientes:

• de cómo las diseñamos,

• de los datos que les damos,

• y de los límites que les imponemos.

Deep Blue ganó porque la tarea era perfecta para una máquina.
El sistema judicial falló porque aprendió de datos injustos.
El sistema médico se equivocó porque carecía de comprensión real.

Charlie: Y así seguimos aprendiendo dónde pueden ayudarnos los algoritmos… y dónde pueden hacernos daño.

Dr. Serrano: Así es. La clave no es temer a la IA, sino usar inteligencia humana para supervisarla.

---