La recolección y filtrado de datos para entrenar una IA es un proceso masivo y altamente selectivo que determina, en buena medida, qué tan “inteligente” puede llegar a ser un modelo.
El rastreo
Todo comienza con el rastreo de la web mediante robots (crawlers) como Common Crawl, que descargan versiones completas de internet en forma de páginas HTML, generando cada mes cientos de terabytes de información bruta.
Ese material, contiene texto útil, pero también menús, anuncios, comentarios basura y duplicados, por lo que la primera gran tarea es limpiar y transformar ese caos en un corpus legible: extraer el texto principal, detectar el idioma, eliminar copias casi idénticas y reducir repeticiones excesivas que distorsionan el aprendizaje.
Filtrar los datos
Una vez depurado lo básico, entra la pregunta clave: ¿qué es un buen dato para educar a una IA?
No basta con tener muchos datos, sino que conviene quedarse solo con la fracción más informativa y coherente del web. Para ello se diseñan clasificadores capaces de puntuar cada fragmento según su “calidad educativa”, por ejemplo en una escala de 0 a 5, usando como anotador a otro modelo de IA grande (ChatGPT, Gemini o Claude) que evalúa si un texto explica con claridad un tema y si podría funcionar como material casi escolar.
Los estudios con datasets como FineWeb y FineWeb‑Edu muestran que, filtrando agresivamente los datos del web y conservando solo los trozos con puntuaciones altas, se obtienen modelos con mejor rendimiento en tareas de razonamiento y conocimiento que cuando se entrena sobre el conjunto bruto sin curaduría.
Enriquecer el modelo con varias fuentes
Además de esta “decantación” cualitativa, los arquitectos de datasets ajustan la mezcla de fuentes: páginas web, libros digitalizados, código, foros técnicos o materiales educativos formales, buscando un equilibrio entre diversidad y solidez conceptual.
También se controla la proporción de idiomas, ya que los recursos en inglés son dominantes y, si no se corrige, otras lenguas quedan poco representadas, lo que limita el desempeño multilingüe de la IA.
Cómo una IA “alimenta” a otra
Las IA ya no solo se entrenan con datos humanos, sino también con datos generados por otras IA.
Un modelo grande (el “profesor”) genera ejemplos, explicaciones paso a paso o manuales sintéticos sobre un tema, y esos textos se usan para entrenar un modelo más pequeño (el “alumno”), proceso conocido como destilación.
Para que funcione, no se toma cualquier salida bruta: se diseñan prompts cuidadosos, se piden cadenas de razonamiento (chain of thought) y luego se filtra lo generado, descartando respuestas incorrectas o pobres.
Un solo modelo potente puede “transferir” su conocimiento a muchos modelos más pequeños, reduciendo los costos de cómputo y facilitando su uso en contextos con menos recursos.
El riesgo del colapso
Pero crece la preocupación por el aumento del contenido generado por IA en internet y sus efectos a largo plazo.
Si los modelos se entrenan reiteradamente sobre datos que, a su vez, provienen de otros modelos, puede producirse un “colapso” estadístico: la distribución de textos se empobrece, se amplifican errores y se pierden detalles de los casos raros.
La expansión de contenido generado por IA en la web puede contaminar los futuros datasets de entrenamiento, pero las propias IA se usan para detectar, puntuar y filtrar qué textos son útiles y cuáles no. En la práctica, los grandes laboratorios combinan datos humanos filtrados con datos sintéticos cuidadosamente generados, evalúan los datasets con modelos adicionales y evitan entrenar un modelo solo con sus propias salidas sin supervisión.
El futuro de estos modelos dependerá menos de “tener más datos” y más de cómo se controla este bucle IA‑sobre‑IA: qué se genera, cómo se filtra y cuánto se mezcla con conocimiento humano real.
Nota redacta a partir de la entrevista de Loubna Ben Allal, Machine Learning Engineer en el equipo de ciencia de Hugging Face > https://acortar.link/6EihRW
