Ética aplicada: algoritmos, biósfera y tu dinero

Llevabas dieciocho objetos de estudio aprendiendo a juzgar: Aristóteles te daba un carácter, Kant un test de universalización, Confucio un rito, el Buda una visión, Rawls una elección a ciegas. Todos partían de una premisa compartida: hay un agente que decide y un afectado a quien la decisión cae encima. La tecnología del siglo XXI rompió esa premisa. Un sistema de recomendación de crédito te niega un préstamo sin que sepas quién decidió; un reconocimiento facial te marca como sospechoso sin que nadie haya mirado tu cara; un coche autónomo tiene que elegir, en una fracción de segundo y antes de que exista el accidente, a quién golpea si no puede evitarlo; una donación de diez dólares tuya en México salva, según evaluaciones serias, una vida real en África, mientras tu compra de ropa barata sostiene un sufragio de miseria del que nunca oirás hablar. En todos los casos el principio moral baja al suelo: se convierte en código que alguien escribe, ley que alguien vota o dinero que alguien mueve. Aquí probaremos los cuatro criterios del OA anterior sobre los tres terrenos donde hoy se juegan la conducta de verdad —la máquina, la biosfera y el dinero— y veremos qué falla primero.

El principio y los mecanismos: sesgo, riesgo, biosfera y distancia

El principio: cuando no hay un humano decidiendo en el momento crítico, hay que insertar el criterio —y hacerlo de forma que alguien pueda examinarlo y discutirse—. Mecanismo 1 — sesgo algorítmico: un modelo aprende patrones de datos históricos; si esos datos vienen de decisiones humanas discriminatorias (quién fue arrestado, a quién se contrató), el sistema replica la injusticia con aire de matemática —la neutralidad estadística oculta el legado social—. El caso canónico es COMPAS, la herramienta que usaban tribunales de Florida para estimar el riesgo de reincidencia: ProPublica demostró (2016) que cometía errores con sesgo racial — marcaba de mayor riesgo a acusados negros inocentes y de menor a blancos reincidentes — sin que los ingenieros hubieran programado «raza» en ningún campo. Mecanismo 2 — el dilema del tranvía escalado: en el coche autónomo el tranvía filosófico (elegir entre matar a uno o a cinco) se convierte en líneas de código que alguien debe escribir y auditar; el proyecto Moral Machine del MIT (2018) recogió casi cuarenta millones de decisiones de personas de 233 países sobre a quién es «menos malo» atropellar (anciano o niño, mujer u hombre, perro o humano, delgado o en situación de obesidad) y mostró dos cosas: que las respuestas divergen culturalmente y que ningún criterio es consensuado. Mecanismo 3 — biosfera y animales: la ética ambiental (Naess: el valor no está solo en el humano; Leopold: «una cosa es correcta cuando tiende a preservar la integridad, la estabilidad y la belleza de la comunidad biótica») y el debate sobre derechos animales (Singer: el utilitarismo cuenta el sufrimiento del cerdo; Regan: los animales son sujetos de una vida con derechos) obligan a una moral que ya no es solo entre humanos. Mecanismo 4 — el dinero lejano: Singer usa la comparación del niño que se ahoga en el estanque: si salvarlo te arruina el traje y aun así saltas, ¿por qué no donas lo que te cuesta un traje a una ONG que sí salva una vida real con esa cifra? La evaluación de GiveWell (contra la malaria con mosquiteras tratadas) muestra que la misma donación puede tener eficacias que varían por orden de magnitud —la distancia geográfica y la inercia emocional no son razones morales—. Los cuatro mecanismos comparten un punto: el criterio se puede fallar de forma medida y auditada — y por eso, corregirlo.

Acción y consecuencias comprobadas

Verificaciones: del lado institucional, el Reglamento General de Protección de Datos de la UE (2016, en vigor 2018) reconoció por primera vez un derecho a no ser objeto de una decisión basada únicamente en tratamiento automatizado que produzca efectos jurídicos — el artículo 22; en Nueva York, la Local Law 144 (2021) obliga a auditorías de sesgos anuales y a publicar su resumen para las herramientas de contratación algorítmica, la primera ley de este tipo en el mundo; la Ley de Inteligencia Artificial de la UE (2024) clasifica los sistemas por nivel de riesgo (inaceptables los sociales y de manipulación subliminal, alta exigencia los críticos como empleo y biometría); en clima, el Tribunal Constitucional de Karlsruhe (2021) falló que la ley climática alemana vulneraba la libertad de las generaciones futuras por postergar el esfuerzo, y ordenó reforzar los objetivos antes de 2030 — un principio de justicia intergeneracional (Rawls, capítulo sobre ahorro) hecho sentencia; en altruismo, la evaluación de GiveWell y la Against Malaria Foundation demostraron con datos que donar a intervenciones concretas salva vidas por fracciones de lo que cuesta una donación instintiva, y movieron ya miles de millones de dólares. Estragos y trampas: COMPAS siguió usándose durante años en decenas de tribunales de distintos estados pese al reportaje de ProPublica, porque la herramienta era cómoda, barata y su opacidad útil; el reconocimiento facial ha producido detenciones erróneas de personas negras (Robert Williams en Detroit, 2020; Michael Oliver en Washington) y la investigación de Buolamwini y Gebru (2018) documentó que los sistemas comerciales clasificaban peor los rostros de mujeres de piel oscura; y en consumo y ambiente la trampa es el greenwashing: el marketing vende «culpa resuelta» con una etiqueta, mientras las cadenas de suministro no cambian, y el discurso de la huella de carbono personal —popularizado por una petrolera en 2005— desplazó la responsabilidad del productor al individuo.

El careo: la ética deja de ser individual

Tres frentes. Primero, con el contrato y la justicia (R03, Rawls): el coche autónomo es un contrato social escrito en código. La regla con la que frena afecta a todos, incluidos los que no la eligieron — ciclistas, peatones, niños, conductores de otros coches—. Por eso el debate público europeo de 2017 (Alemania constituyó una Comisión de Ética sobre vehículos autónomos con once principios) es un careo rawlsiano: nadie aceptaría a ciegas un código que sacrificara sistemáticamente a su grupo. Segundo, con la sospecha (R04) y con la distancia: el sesgo algorítmico es la prueba empírica de que «el orden heredado» se reproduce aunque nadie lo nombre; el modelo aprende de los datos del mundo, y el mundo viene viciado. Aquí la sospecha se vuelve diseño: ¿auditar y publicar el criterio basta, o se institucionaliza la injusticia con una pátina de estadística? Tercero, con el rostro y el cuidado (Lévinas, Gilligan): Singer cuenta vidas en cifras; el rostro de Lévinas se rebela ante eso mismo — no puedo tratar a una niña concreta como «una unidad de eficacia» —, y el cuidado recuerda que la donación no reemplaza sostener los vínculos de al lado. Pero la sospecha vuelve: ¿no es el «rostro» una coartada emocional para no mirar el costo real de mi consumo?, ¿y no es el cuidado a «los míos» otra forma del gradiente que el Buda y Jesús rompieron? El OA cierra el curso sin resolverlo, y con una pregunta práctica: si mañana tuvieras que escribir la regla con la que el sistema de tu ciudad reparta un recurso escaso, ¿qué criterio de los cuatro dejarías fuera y estarías dispuesto a defenderlo en voz alta ante los que pierden? Ese es el examen: no saber la respuesta buena, sino poder sostener la que das.

Siguiente: El gran careo: clasificación y confrontación de todos los principios — subimos al ring. Los veinte principios del curso (virtud, deber, utilidad, amor, sospecha, rito, no-yo, pacto, equidad, diálogo, rostro, cuidado, algoritmo...) se enfrentan en casos reales donde no coinciden. Construirás la taxonomía completa y dictaminarás, con evidencia, qué principio resiste cada golpe.