Ética de la IA: ¿quién responde cuando decide el algoritmo?

La leyenda judía del golem: un ser de arcilla cobrado por un sabio con una palabra sagrada escrita en su frente. Sirve, obedece, protege… y un día se descontrola, porque no puede decir "no puedo": solo sabe hacer lo que sabe hacer. El relato es el mejor manual de la era algorítmica: nosotros escribimos la palabra en la frente (la función objetivo) y después nos asombra que la criatura aplaste cosas persiguiéndola. Un modelo no "entiende" lo que optimiza: lo optimiza.

Y esta vez el golem no es una criatura solitaria: es una red de decisiones delegadas — quién ve tu anuncio, a quién cita el juez ("risk assessment"), qué currículo se lee, qué playlist te hunde. Cada una es administrativamente legible ("el sistema así lo puntuó") y moralmente huérfana: nadie la firmó con su nombre. Ahí nace la pregunta de esta lección, la más práctica de todo el curso: ¿a quién reclamas cuando decide el algoritmo?

Adela Cortina: la filósofa que pregunta "para qué"

Adela Cortina (Valencia, 1947), catedrática de Ética, primera mujer en la Real Academia de Ciencias Morales y Políticas de España, acuñó en los noventa una palabra que los sociólogos siguen usando: aporofobia — el rechazo al pobre como tal, el desprecio que no discrimina por raza o género sino por no aportar. De ahí a su ética "mínima": la moral no es un máximo de perfección sino lo que no podemos tolerarnos (no matar, no mentir, no humillar), y las profesiones son oficios — "hacer con otros" — definidos por un fin interno (curar, enseñar, juzgar), no solo por procedimientos.

Aplicado a la IA, Cortina propone el tamiz de la eticidad: toda tecnología es un medio que pregunta dos cosas — ¿para qué? (¿contribuye a "vivir mejor juntos" o redirige la vida hacia consumir y medir?) y ¿con quién? (¿sumamos a los afectados a la deliberación o deciden cuatro ingenieros y un comité de riesgos?). Su adversario tiene nombre: tecnopatía, la obsesión por lo técnicamente posible que deja de preguntar por lo humanamente deseable; y su tesis es aristotélica: la técnica no es neutra, forma personas — te acostumbra a ser usuario calificado, cliente perfilado, expediente.

Y la palabra clave para el golem: explicabilidad. Si un sistema decide sobre ti y no puedes pedir razones, no hay ética posible: no hay a quién agradecer, ni a quién corregir, ni a quién protestar. La opacidad no es un defecto técnico: es una decisión política disfrazada de matemática. De ahí su propuesta de aliados (¡no enemigos!): ingenieros, empresas, administrados — "citoyens" deliberando — coordinados por una gobernanza que no deje la ética en "manual de estilo" corporativo.

Sesgos, caja negra y responsabilidad difusa

El sesgo no es un fantasma: es aritmética social. Un modelo entrenado con decisões humanas hereda sus patrones (el juzgado que "predice reincidencia sobrerreprueba a negros", el reclutador que penalizó currículos con la palabra "women's"), porque aprende qué se hacía, no qué debía hacerse. Y la caja negra agrava todo: el deep learning no "explica" — funciona, y cuando funciona desigual, nadie sabe por qué caso particular. Resultado: una responsabilidad difusa — ingeniera, dataset, empresa, regulador — que en la práctica equivale a responsabilidad nula.

Aquí Foucault (tu vecino de curso) entra solo: los algoritmos son poder disciplinario sin vigilante — normalizan puntuando, y te hacen autocorregirte para "subir en el sistema" (creadores optimizando su alma para el feed, personas CV-oseando su vida). Pero con una variante: el panóptico tenía torre; aquí a veces ni el ingeniero sabe qué mira el modelo. Y con el añadido de Cortina: ese poder no se combate solo con transparencia (nadie lee 10 mil páginas de términos), sino con líneas rojas decididas democráticamente y con profesionales formados para decir que no — el "no puedo" que al golem le falta.

El presente: tu plaza pública ya es algorítmica

Actualiza el golem a agentes: sistemas que ya no "recomiendan" sino que actúan — negocian, contratan, redactan, responden. La pregunta de "quién responde" se afila: ¿firma el proveedor, el desplegador, el usuario que "solo pidió algo"? Y el debate regresa al foro: regulación (el AI Act europeo, "sesgo inaceptable" como delito), litigio (los primeros casos de discriminatorio algorítmico), contrapoder ciudadano (auditorías independientes, datasets sindicales). La filosofía aquí no "opinó": proveyó el vocabulario — dignidad, fin interno, explicabilidad, eticidad — con que se redactan esas leyes.

Y una sospecha final, casi borgesiana: si el golem decide, ¿quién vigila al optimizador? ¿Qué función objetivo tiene la empresa que diseña tus objetivos? Aquí Baudrillard (ayer) y Foucault (semana pasada) se cruzan con Cortina: la tecnología que "sirve" puede estar produciendo usuarios servibles. La ética de la IA no es un apéndice del curso: es el curso completo aplicado a la infraestructura de tu vida.

Siguiente: Ecoética: ¿la naturaleza tiene derechos o solo precios? — Cortina acabó preguntando "¿con quién decidimos?". La ecoética radicaliza: ¿entran a la deliberación los que no pueden hablar — el río, el bosque, las generaciones que no nacieron? Aldo Leopold toma la palabra.