Ética en IA y automatización

📐 Fundamento

Ejemplos famosos de sesgo algorítmico:

1. COMPAS (sistema judicial USA, 2016):

Algoritmo predicción de reincidencia criminal. ProPublica encontró:

• Personas afroamericanas tenían 2x más probabilidad de ser clasificadas erróneamente como "alto riesgo".
• Personas blancas tenían 2x más probabilidad de ser clasificadas erróneamente como "bajo riesgo".

Causa: datos de entrenamiento reflejaban arrestos históricos sesgados (más policías → más arrestos en barrios pobres → más datos de "criminalidad").

2. Amazon hiring tool (2018):

Algoritmo para filtrar CVs. Penalizaba menciones de "mujeres" (e.g., "capitana del equipo femenino"). Causa: entrenado con CVs de la última década, dominados por hombres.

Amazon canceló el proyecto. Pero el sistema funcionó internamente por años.

3. Apple Card (2019):

Steve Wozniak y otros reportaron que Apple Card daba a sus esposas 10x menos crédito a pesar de cuentas conjuntas. Causa: nadie sabe — el algoritmo era una "caja negra" incluso para Apple.

4. Facial recognition (Joy Buolamwini, 2018):

Sistemas comerciales de reconocimiento facial:

• Hombres blancos: error 0.8%.
• Mujeres negras: error 34.7%.

Causa: datasets de entrenamiento dominados por rostros blancos masculinos.

5. ChatGPT y traducción (2024):

Frases en idiomas con género neutro (turco) traducidas al inglés introducen estereotipos: "O bir doktor" (de género neutro) → "He is a doctor". "O bir hemşire" (neutro) → "She is a nurse".

Patrones comunes:

📐 Fundamento

Áreas críticas:

Marco para evaluar si una IA debe usarse:

1. ¿Cuál es el costo de un error?

   • Bajo (recomendar película) → IA OK.
   • Alto (negar tratamiento médico) → muy alto el listón.

2. ¿Hay supervisión humana?

   • "Human in the loop": IA recomienda, humano decide.
   • "Human on the loop": IA decide, humano puede revertir.
   • "Human out of the loop": IA decide sin supervisión.

3. ¿Se puede explicar la decisión?

   • SHAP, LIME (cap. 5 de IA515).
   • Modelos inherentemente interpretables vs caja negra.

4. ¿Hay derecho de apelación?

   • El afectado puede pedir revisión humana.

5. ¿Se audita regularmente por equidad?

El "right to explanation" del GDPR:

Art. 22: ciudadanos UE tienen derecho a no ser sujetos a decisiones basadas únicamente en procesamiento automatizado que produzcan efectos legales o significativos.

→ Si rechazás un crédito por algoritmo, debe haber proceso de revisión humana.

Caso: SyRI (Países Bajos, 2014-2020):

Sistema gubernamental para detectar fraude en welfare. Después de uso por años:

• Tribunal lo declaró ilegal por violar privacidad.
• Discriminaba sistemáticamente a inmigrantes y personas pobres.
• 26,000 familias acusadas falsamente de fraude.
• Algunas perdieron custodia de hijos.

Resultado: dimisión del gobierno holandés en 2021.

📐 Fundamento

Deepfake: video/audio/imagen sintética creada con IA, indistinguible de real.

Aplicaciones legítimas:

• Doblaje de películas en otros idiomas con voz original.
• Educación: "ver" eventos históricos recreados.
• Accesibilidad: sintetizar voz de alguien que perdió la suya.

Aplicaciones maliciosas:

• Pornografía no consensuada: estimaciones 2023: 96% de deepfakes son pornografía no consensuada de mujeres reales.
• Fraude financiero: "secuestro virtual" (voz clonada del hijo pidiendo rescate). Casos reales en 2023-2024.
• Desinformación política: Zelenskyy deepfake en marzo 2022 pidiendo a tropas rendirse (rápidamente desacreditado).
• Ingeniería social: CFO de empresa transfirió $25M tras videollamada deepfake con CEO (2024).

Cómo detectarlos (cada vez más difícil):

2018: artefactos visibles, parpadeo extraño.
2022: muy buenos en cara, errores en manos/pelo.
2024: casi indistinguibles de reales.
2026: probablemente indistinguibles para humanos.

Detectores automáticos también existen (Microsoft Authenticator, Intel FakeCatcher), pero hay carrera permanente entre detección y generación.

Marco regulatorio:

• EU AI Act (2024): deepfakes deben ser etiquetados.
• California (2019): ilegal usar deepfakes en propaganda electoral 60 días antes de elecciones.
• Corea del Sur (2024): criminalización de deepfake porn no consensuada.

Ética del desarrollo de modelos generativos:

Si trabajás en una empresa de IA generativa (Stability AI, Runway, etc.):

• ¿Tu modelo puede generar contenido dañino?
• ¿Hay safeguards técnicos (watermarking, content filtering)?
• ¿Hay términos de uso claros?
• ¿Cómo respondés a abuso?

📐 Fundamento

Lecciones de revoluciones tecnológicas pasadas:

La diferencia con IA:

Velocidad. Las revoluciones anteriores tardaron décadas; la IA puede transformar industrias en años. Las personas no tienen tiempo de re-entrenarse.

Posiciones éticas:

Postura "tech-optimista":

• "La tecnología siempre creó más trabajos de los que eliminó."
• "La gente se reentrenará."
• "Productividad sube, todos ganan."

Crítica: ignora la transición. La gente desempleada hoy no se beneficia del crecimiento futuro. Y "los trabajos creados" requieren skills muy distintos de los eliminados.

Postura "tech-cautelosa":

• Necesitamos reconvertir activamente la fuerza laboral.
• UBI (Universal Basic Income) o variantes.
• Impuestos a la automatización para financiar transición.
• Tiempo: políticas públicas planificadas.

Postura "tech-luddita":

• Algunas automatizaciones no deberían hacerse aunque sean técnicamente posibles.
• Ej: automatizar trabajo creativo de artistas (Stable Diffusion, etc.) — destruye industrias enteras.

Como ingeniero, ¿qué considerar?

Antes de construir un sistema que automatice trabajo:

1. ¿Quiénes pierden el empleo? Cuántas personas, qué demografía.
2. ¿Quiénes ganan? Empresa, accionistas, consumidores.
3. ¿Hay forma de aumentar productividad sin reemplazar? "AI-assisted" en lugar de "AI replacement".
4. ¿La empresa tiene plan para los desplazados? Reentrenamiento, severance.
5. ¿Es éticamente justificable el balance?

Caso: cajeras de supermercado vs self-checkout vs Amazon Go.

Self-checkout: mismo cajero supervisa 4-6 cajas → 4x menos empleos. Amazon Go: 0 cajeros, sensores y CV.

¿Es bueno? Depende:

• Para Amazon: $$$.
• Para clientes: más rápido (algunos prefieren).
• Para cajeras: pérdida de empleo en industria de baja calificación → impacto desproporcionado en mujeres y personas de bajos recursos.

No hay una respuesta correcta — pero las decisiones ya se tomaron sin debate público real.

📐 Fundamento

El debate de AGI (Artificial General Intelligence):

Algunos investigadores (Yoshua Bengio, Geoffrey Hinton, Stuart Russell) advierten que IA suficientemente avanzada podría:

• Tener objetivos no alineados con humanos.
• Ser difícil de controlar una vez desplegada.
• Acumular poder/recursos para sus objetivos.
• Eventualmente ser amenaza existencial.

Otros (Yann LeCun, Andrew Ng) consideran esto exagerado: "los modelos actuales no entienden, y AGI está lejos".

Carta abierta de marzo 2023:

"Los laboratorios de IA deberían pausar inmediatamente por al menos 6 meses el entrenamiento de sistemas de IA más poderosos que GPT-4."

Firmada por 33,000 personas, incluyendo Musk, Wozniak. No se cumplió.

Argumentos:

PRO pausa:

• Riesgos no entendidos completamente.
• Carrera competitiva fuerza acelerar sin debido cuidado.
• Falta de regulación.

CONTRA pausa:

• Solo cumplirían los firmantes; otros (China) seguirían.
• Tecnología tiene beneficios masivos (medicina, ciencia).
• Los riesgos son hipotéticos.

Alignment problem:

Cómo asegurar que IA siga los valores humanos. Es técnicamente difícil:

• ¿Qué valores? (no hay consenso).
• ¿Cómo expresarlos a una máquina?
• ¿Cómo verificar que efectivamente los sigue?

Empresas (Anthropic, OpenAI, DeepMind) tienen equipos de alignment, pero el problema sigue abierto.

EU AI Act — el primer marco regulatorio:

(Cubierto en cap. 5 de IA515.)

Niveles de riesgo:

• Inaceptable: prohibido (social scoring, manipulación subliminal).
• Alto riesgo: regulado (educación, empleo, justicia).
• Riesgo limitado: transparencia (deepfakes, chatbots).
• Mínimo: libre.

Modelos foundation (GPT-4, Claude, Gemini): regulados por separado debido a su poder y aplicabilidad amplia.