Cuando la verdad depende de quién lee
Empecemos con una pregunta
¿quién tiene razón?
Head of AI Engineering en T-Systems Iberia.
Investigador en NLP y sesgo mediático.
Head of AI Engineering en T-Systems Iberia. Liderando proyectos de NLP e IA en producción.
NLP, detección de sesgo mediático, perspectivismo, IA confiable y agentic AI.
Bootcamps, charlas y divulgación. Defensor del open source y open science.
Por qué NLP no tiene respuestas únicas
LeWiDi, Manifiesto, modelos multi-perspectiva
El problema computacional y cómo abordarlo
Federated Learning y privacidad
Multi-agente como sistema distribuido
¿Por qué las máquinas no entienden lo que leemos?
El lenguaje humano es ambiguo, contextual, y está cargado de intención, cultura e historia. Dos personas pueden leer la misma frase y entender cosas distintas.
Eso no es un fallo. Es la naturaleza del lenguaje.
"Las autoridades aseguran que la situación está controlada." ¿Informan o tranquilizan? ¿Es un hecho o un intento de minimizar? Depende de quién lo lea.
"La película es interesante." ¿Positivo o neutro? Depende de quién lo diga, cómo, y a quién. No hay respuesta objetiva.
Natural Language Processing intenta que las máquinas procesen este lenguaje ambiguo y subjetivo. Traducir, resumir, clasificar. Pero... ¿qué pasa cuando no hay una respuesta correcta?
Textos en bruto
Humanos etiquetan
Gold label
Entrena con labels
Accuracy, F1...
Todo el pipeline depende de un supuesto: que existe una respuesta correcta.
¿Pero qué pasa cuando no la hay?
NER: "Madrid" → LOC
POS: categorías definidas
Parsing: estructura determinista
κ > 0.8 · Gold label tiene sentido
Sentiment: "El film es interesante" → ¿positivo?
Hate speech: depende del contexto cultural
Media bias: ¿sesgado para quién?
κ < 0.4 frecuente · Gold label destruye información
"Según un reciente estudio, el café podría tener efectos negativos en la salud cardiovascular a largo plazo."
Gold label = Alarmista (3/5).
¿Pero los otros 2 se equivocaron?
Cohen's κ = (po - pe) / (1 - pe)
En tareas subjetivas κ < 0.4 es habitual
Votación mayoritaria. Adjudicación por experto. Filtrar anotadores "malos".
Se silencian las minorías.
El modelo aprende solo la perspectiva dominante. La variabilidad legítima se pierde para siempre.
Preservar todas las anotaciones. Modelar la distribución. Predecir incertidumbre.
El modelo refleja la diversidad humana.
Mejor calibración. Más justo para grupos minoritarios. Reconoce la subjetividad inherente.
¿ignoramos al tercero
que lo ve sospechoso?
En NLP hacemos exactamente eso. Cada día. Con millones de textos.
De la gold label a la distribución: un cambio de paradigma
Gold label era
Mayoría vota. Un label. Fin. "Los anotadores malos se filtran."
Primeras dudas
Crowdsourcing masivo (MTurk). Desacuerdo sistemático, no aleatorio.
LeWiDi (SemEval)
Primer shared task que evalúa contra distribuciones. Cambio de paradigma.
Manifiesto
Cabitza et al.: llamada formal a abandonar la ground truth en tareas subjetivas.
Integración
LLMs + perspectivismo. Multi-annotator fine-tuning. El campo se mueve rápido.
La noción de ground truth es un artefacto dañino. Para muchas tareas, es una construcción social que refleja la perspectiva del grupo dominante.
En tareas subjetivas no hay verdad objetiva. La agregación crea ilusión de consenso.
El desacuerdo es información sobre complejidad, no ruido.
Demografía, ideología y experiencia son variables relevantes.
Distribuciones, no clasificaciones binarias. Humildad epistémica.
No contra gold labels artificiales.
Documentar qué perspectivas se privilegian. Model Cards, Datasheets.
Shared task que evalúa modelos contra la distribución completa de juicios humanos, no contra la mayoría.
CED = -Σ p_real(y)·log(p_pred(y))
Penaliza sobreconfianza. Mide distancia real entre distribución predicha y distribución humana.
Hard → soft mejora todos los modelos sin cambios de arquitectura.
Textos controvertidos son también los más difíciles para los modelos.
5 anotadores diversos > 20 similares. La homogeneidad enmascara sesgo.
Soft labels actúan como regularizador natural. Mejor generalización cross-dataset.
Dermatología: ¿es melanoma? Interobserver κ ≈ 0.56. Radiología: desacuerdo clínico legítimo y frecuente. Conducción autónoma: ¿es peligroso? Percepción de riesgo subjetiva.
Ratings subjetivos (1-5 estrellas). User embeddings ≈ annotator embeddings. Cold start = annotator desconocido. ¿Para quién optimizamos la fairness?
COMPAS: predicción de reincidencia. Jueces discrepan entre sí. Hiring algorithms: "buen candidato" es subjetivo. Content moderation: normas culturales variables.
Patrón común: cuando la tarea involucra juicio humano, la "verdad" no es un punto sino una distribución.
Gordon et al. (2022): en lugar de un modelo que aprende una verdad, un jurado de modelos que aprende perspectivas.
Captura la perspectiva individual de cada anotador. Puede predecir cómo un nuevo anotador etiquetaría un texto. Encoder compartido evita sobreajuste.
En datasets de hate speech: mejora 8-15% en CED vs. hard labels. Mejor calibración. El modelo "sabe lo que no sabe".
Mixture of Experts: cada expert = una perspectiva. Router aprende cuándo activar cada perspectiva. Similar a multi-head attention.
El problema, las formas, y cómo abordarlo computacionalmente
"Presentar información de manera no justa ni objetiva, mediante técnicas que distorsionan la realidad: omitir detalles, enfatizar un lado, o usar lenguaje que favorece ciertos intereses."
No es solo mentir. Es contar la verdad de forma que favorezca una narrativa. Por eso es tan difícil de detectar: los hechos pueden ser correctos y la noticia seguir siendo sesgada.
Spin — sesgo inconsciente del periodista, cultura editorial, inercia
Intencional — propaganda, agenda-setting, framing deliberado para influir
Statement bias — lo que dice el texto (word choice, framing)
Coverage bias — qué eventos cubre y cuáles ignora
Gatekeeping bias — qué fuentes y voces incluye o excluye
4.9B
usuarios en redes sociales
24/7
ciclo de noticias digital
∞
contenido IA generativa
Cámaras de eco · polarización · solo el 40% confía en los medios (Reuters 2024) · desinformación sanitaria masiva
Evento: reforma laboral aprobada por el gobierno
"El Gobierno aprueba la histórica reforma que moderniza el mercado laboral"
→ Sensationalism + subj. adjectives
→ Source selection: solo gobierno
→ Omission: impacto en temporales
"La polémica reforma laboral impuesta por el Ejecutivo entra en vigor"
→ Labeling / word choice
→ Source selection: solo oposición
→ Omission: objetivos económicos
Ambos reportan hechos reales. El sesgo está en el CÓMO, no en el QUÉ.
15+ esquemas distintos en la literatura. Sin benchmark unificado. Cada paper reinventa la rueda.
Mayoría USA-centric. Pocos en español. Contextos políticos no transferibles.
BERT en MBIC → F1=0.76. Mismo modelo en BABE → F1=0.45. Cross-dataset: -30-50%.
Sesgo = juicio + percepción + contexto. Gold labels = perspectiva dominante.
Tendencia 2024-25: perspectivista + holístico + LLMs
Las mejoras vienen de cambiar QUÉ modelamos (distribuciones), no solo CÓMO (más parámetros)
¿Por qué el sesgo mediático es la tarea perspectivista por excelencia?
Un votante de izquierdas y otro de derechas perciben sesgo en textos diferentes. El sesgo existe en la relación texto-lector.
Ideología, cultura y experiencia profesional afectan la percepción del sesgo. Un κ bajo no indica datos malos: indica un fenómeno genuinamente subjetivo.
"Recortes presupuestarios" puede ser informativo o sesgado según el contexto. Sin contexto, la anotación es incompleta.
3 perciben sesgo, 2 no. Gold = "sesgado" (100%). Soft = P(sesgado) = 0.6. La segunda es más honesta y más útil.
Entrenar IA sin mover los datos
Porque la IA del futuro no vive en un solo servidor. Se distribuye: entre dispositivos, organizaciones, y agentes autónomos.
Los modelos más grandes ya no caben en una GPU. El entrenamiento se reparte entre miles de nodos. Distributed training (DeepSpeed, FSDP) es estándar.
La regulación (GDPR, HIPAA) impide centralizar datos. Federated Learning: entrenar sin mover datos. El modelo viaja, los datos no.
Los agentes de IA operan como nodos independientes que se coordinan. Multi-agent = sistema distribuido con LLMs como procesadores.
Todos los datos → un servidor
Un modelo se entrena con acceso total a todos los datos. Simple. Efectivo. Pero...
Problemas:
• Requiere centralizar datos sensibles
• Viola regulaciones de privacidad
• Single point of failure
• No escala a miles de organizaciones
El modelo viaja → los datos no
Cada nodo entrena localmente. Solo se comparten los gradientes o pesos actualizados. El servidor agrega.
Ventajas:
• Datos nunca abandonan el dispositivo
• Cumple GDPR/HIPAA by design
• Escala a millones de nodos
• Resiliente a fallos individuales
Hospitales, bancos, móviles: los datos más valiosos son los que no puedes centralizar. GDPR, HIPAA, regulación.
Traer el modelo
a los datos
No los datos al modelo
Los datos NUNCA abandonan el dispositivo
Nodos con distribuciones distintas. Hospital rural ≠ urbano. → FedProx: L + (μ/2)‖w-wₜ‖²
Millones de parámetros × N × R. → Gradient compression, quantización, top-k sparsification.
No enviar datos ≠ privacidad total. Model inversion attacks. → Differential Privacy + Secure Aggregation.
Un nodo envía gradientes maliciosos. → Robust aggregation: median, trimmed mean, Krum.
¿El modelo global es justo para todos? Nodos pequeños infrarepresentados. → Agnostic FL (Mohri 2019).
¿Un modelo sirve a todos? → Per-FedAvg (meta-learning), local fine-tuning, FedBN.
Predicción de texto en Android. Millones de dispositivos. Primer despliegue masivo (2017). Datos de escritura nunca salen del móvil.
20 hospitales entrenando detector de tumores sin compartir historiales. Nature Medicine 2022. HIPAA by design.
Bancos colaboran sin compartir transacciones. WeBank: primer banco FL. OpenFL de Intel para el sector.
Framework open source: Flower (flower.ai)
FL con PyTorch / TensorFlow / JAX en ~15 líneas de Python
Flower soporta PyTorch, TensorFlow, JAX
flower.ai — open source, producción-ready
Sistemas autónomos que razonan, planifican y actúan
If-else, árboles de decisión. Expertos programan el conocimiento a mano. Frágil pero predecible.
El sistema aprende patrones de datos. SVM, Random Forest. Necesita features manuales.
Representaciones automáticas. CNNs, Transformers. Necesita muchos datos y cómputo.
Modelos de lenguaje masivos. GPT, Claude, Gemini. Entienden y generan texto. Pero solo responden.
LLMs que planifican, usan herramientas y actúan. El salto de "asistente" a "trabajador autónomo".
Cada paso delega más responsabilidad a la máquina. La pregunta: ¿cuánta autonomía es segura?
Prompt → respuesta. Sin estado. Sin acciones. Sin decisiones.
Objetivo → planifica → ejecuta → evalúa. Memoria. Herramientas. Autonomía.
GPT-4, Claude, Gemini. Razonamiento, planificación. Chain-of-Thought, Tree-of-Thought.
APIs, código, web, filesystem. Function calling. MCP protocol.
Corto plazo: buffer. Largo plazo: vector DB. Episódica, semántica, procedimental.
Descomponer → priorizar → ejecutar → replanificar. ReAct, Reflexion, Plan-and-Execute.
Yao et al. (2023). Thought → Action → Observation, en bucle. Base de LangChain, Claude tools. El patrón más usado en producción hoy.
Shinn et al. (2023). El agente evalúa su propio output. Si es subóptimo: genera crítica → reintenta. Mejora ~30% en coding tasks.
Fase 1: plan completo. Fase 2: ejecutar paso a paso. Separa planning de execution. Más predecible. Usado en Claude Code, Devin.
Toolformer (Schick 2023). El LLM decide cuándo y qué herramienta usar. Function calling (OpenAI, Anthropic). MCP protocol.
En la práctica se combinan: ReAct + Tool Use + Reflexion + Planning
Hub-and-spoke. ≈ microservicios con API gateway. CrewAI, AutoGen.
Sin coordinador. Resiliente, escalable. ≈ blockchain, gossip protocol.
Flujo en grafo. ≈ CI/CD pipelines, MapReduce. LangGraph, DSPy.
Agentes argumentan. ≈ sistema judicial, consenso Bizantino.
paso de mensajes · tolerancia a fallos · consenso · escalabilidad · observabilidad
> "Añade autenticación con Google OAuth a mi app Next.js"
LangGraph · Claude Agent SDK · CrewAI · AutoGen · DSPy · Smolagents
Fiabilidad (alucinaciones) · Coste ($30/1M tokens × N agentes) · Seguridad (prompt injection) · Gobernanza (EU AI Act)
Computer use · Agentes persistentes 24/7 · Agentic OS · La interfaz desaparece
Los LLMs alucinan → el agente actúa mal. Un error se propaga y amplifica. No-determinismo: misma entrada ≠ misma salida. Solución: guardrails, validación, sandboxing.
GPT-4: ~$30/1M tokens. Un agente complejo: 50K-500K tokens/tarea. Multi-agente: ×N agentes. Solución: routing inteligente, modelos más pequeños para subtareas.
¿Qué decidió el agente y por qué? Traces, logs estructurados, métricas. LangSmith, Langfuse, Arize. Debugging agéntico ≈ debugging de sistemas distribuidos.
Prompt injection: manipular al agente. Tool misuse: acciones no autorizadas. Data exfiltration. Solución: principio de mínimo privilegio, sandboxing.
¿Cómo medir si un agente es "bueno"? No hay test set: tareas abiertas. Benchmarks: SWE-bench, WebArena, GAIA. Human eval sigue siendo gold standard.
¿Quién es responsable si el agente falla? Autonomía vs. control humano. EU AI Act: sistemas de alto riesgo. Human-in-the-loop vs. human-on-the-loop.
La automatización no sustituye el criterio. Lo amplifica. Y eso exige más responsabilidad, no menos.
El lenguaje es subjetivo
Y eso no es un bug, es un feature. Nuestros modelos deben reflejarlo.
El desacuerdo es información
Cuando los anotadores discrepan, están mostrando la complejidad del fenómeno.
El sesgo mediático es el test definitivo
Subjetivo, cultural, político. Si resolvemos esto, avanzamos en IA justa.
FL: IA distribuida sin exponer datos
Privacidad como derecho, no como trade-off.
Los agentes son sistemas distribuidos
Multi-agente = paso de mensajes + consenso + tolerancia a fallos. Vuestro futuro.
TFGs/TFMs en perspectivismo, detección de sesgo, NLP multilingüe. Contribuir a shared tasks (SemEval). Publicar en workshops. Open source: datasets, modelos, código.
Sistemas de fact-checking automático. Dashboards de transparencia mediática. Pipelines de ML distribuido (FL). Agentes IA para tareas complejas. DevOps para IA.
Herramientas para periodistas. Extensiones de navegador anti-sesgo. Educación mediática con IA. Auditoría algorítmica participativa. IA responsable aplicada.
Recursos para empezar hoy
LeWiDi
semeval.github.io
Flower
flower.ai
LangGraph
langchain-ai.github.io
HuggingFace
huggingface.co
Esa es la tarea. Vuestra y nuestra.