Para seguir con la referencia del tequila, la materia prima en este proceso es el agave y en el caso de la IA son los datos crudos, es decir, la información.
Miguel González-Mendoza, doctor en IA y profesor investigador del Tec de Monterrey, señala que “este tipo de términos vienen desde el uso del machine learning, que nos lleva a la arquitectura de varias de estas redes neuronales, o bien, la forma en cómo leen estas redes la información y la procesan, como sucede con un primer destilado de tequila se va purificando la información”, apuntó en entrevista.
Este proceso es similar al concepto de knowledge distillation (destilación del conocimiento), de acuerdo con IBM, pero se centra específicamente en la selección, síntesis o reducción de los datos utilizados para entrenar el modelo más pequeño.
Para hacer tequila, los agaves se cocinan para extraer sus jugos. Esto es similar a la destilación de datos, donde se procesa la información para extraer lo más valioso, esto significa filtrar los datos para quedarse con lo que realmente ayuda a aprender. El proceso de fermentación es la transformación de la información en algo útil, como patrones o características que la IA puede entender.
En lugar de usar todo el conjunto de datos original, se crea un subconjunto más compacto y representativo. Este subconjunto es suficiente para entrenar un modelo más pequeño sin perder demasiado rendimiento.
La destilación de datos es el momento en que se elimina lo innecesario y se queda solo con la información más pura y útil para que la IA aprenda de manera eficiente. Así como sucede con el tequila, el resultado es un conjunto de datos refinado que permite a la inteligencia artificial aprender más rápido y tomar decisiones más precisas.
Se usa por ejemplo en modelos de reconocimiento de voz, donde un gran modelo se destila en uno más pequeño para su uso en asistentes digitales. Otro ejemplo es con fotos de gatos y perros. En lugar de usar todas las fotos para entrenar a la IA, podrías "destilar" los datos seleccionando solo las imágenes más representativas de cada animal. Así, la IA aprendería a diferenciar entre gatos y perros sin necesidad de ver todas las fotos.
De acuerdo con González-Mendoza aunque el proceso suene sencillo se requiere de computadoras potentes que puedan procesar grandes cantidades de datos, así como servidores y nube. Esto puede ser caro, especialmente si necesitas GPUs (unidades de procesamiento gráfico) para acelerar el proceso.
“Limpiar, filtrar y procesar datos puede llevar mucho tiempo, especialmente si los datos son complejos o están desorganizados. El tiempo es un recurso valioso y, por lo tanto, un costo indirecto de este tipo de procesos”.
Si trabajas con grandes volúmenes de datos el costo aumenta porque necesitas más recursos para procesarlos. Además, entre más complejos sean los datos, como videos o audio, el proceso de destilación puede ser más costoso debido a la necesidad de técnicas avanzadas.
Cade decir que tanto los datos crudos y los datos destilados deben almacenarse en algún lugar y tanto en la nube como en servidores físicos tiene un costo, especialmente si los datos son muy grandes o sensibles. Además, la destilación de datos no siempre es un proceso lineal. A veces hay que probar diferentes métodos para encontrar la mejor manera de extraer la información útil. Como el tequila, el mejor sabor ha requerido de experimentos y procesos más sofisticados.
