Google tiene una oportunidad para robar mercado a Nvidia

Google lanza nuevos chips para inferencia de IA

En el centro de esta infraestructura se encuentran las Unidades de Procesamiento Tensorial, conocidas como TPU por sus siglas en inglés. Estos chips especializados diseñados por Google que cerca de 100 organizaciones, entre ellas laboratorios de investigación avanzada, firmas financieras, cadenas de comercio al por menor y universidades, usan para ejecutar sus modelos.

Para responder a la demanda actual, Google lanzará cuatro distintos sistemas de TPU de octava generación en un solo año. Esta estrategia busca ofrecer procesadores a la medida de cada problema específico, desde el procesamiento masivo de datos hasta la seguridad estricta en sectores altamente regulados.

Entre estos lanzamientos destaca la TPU 8tx, un sistema diseñado especialmente para la inferencia segura y confidencial de modelos de IA. Esta variante responde a la necesidad de entidades gubernamentales, bancos y hospitales que manejan información extremadamente delicada y no pueden arriesgar la privacidad de sus usuarios ni el secreto de sus algoritmos.

Para comprender su importancia, conviene revisar cómo funciona la seguridad convencional en la informática. Por lo general, las empresas protegen sus datos con llaves digitales cuando los guardan en un disco duro o los envían por internet, lo que equivale a transportar documentos valiosos dentro de una caja fuerte blindada. Sin embargo, cuando la computadora procesa esa información, debe sacar las hojas de la caja y exponerlas abiertas sobre el escritorio de la memoria RAM. Además, incorpora una red interna de alta velocidad que mantiene a los agentes autónomos trabajando sin interrupciones.

Por su parte, la TPU 8i Max nació para resolver un obstáculo diferente pero igualmente grave: la barrera de la memoria. Cuando decenas de agentes colaboran al mismo tiempo sobre un programa de software complejo o analizan horas de video continuo, la velocidad para transferir datos entre el chip y la memoria se convierte en un embotellamiento severo.

El problema se asemeja al trabajo de un chef en una cocina pequeña cuyo almacén de ingredientes queda a una cuadra de distancia. Aunque el cocinero corte las verduras con rapidez, pierde minutos valiosos cada vez que camina al almacén por un nuevo ingrediente. En los chips, si la memoria no entrega datos a la velocidad que el procesador los calcula, la máquina se detiene a esperar.

Google resolvió este cuello de botella al unir dos chips TPU 8i en un solo paquete físico dentro de la TPU 8i Max. Esta combinación duplica la capacidad de cómputo y la velocidad de la memoria interna, garantizando que el procesador reciba datos de forma continua. Al mismo tiempo, este diseño duplica la potencia disponible en el mismo espacio físico del centro de datos.

Otro avance clave ataca el desperdicio de energía cuando los agentes entran en pausas temporales. Dado que un agente autónomo conserva el estado de su conversación, a menudo espera varios segundos o minutos la respuesta de una base de datos o de un usuario humano. Dejar el procesador encendido a máxima potencia durante esa espera equivale a mantener el motor de un automóvil encendido mientras permanece detenido en un semáforo largo.

Para evitar este consumo innecesario, la tecnología del chip suspende automáticamente las sesiones inactivas y descarga la memoria de trabajo fuera del chip en milisegundos. Esta acción libera recursos de inmediato y reduce de forma significativa los costos de operación para las empresa y con estos avances, Google busca consolidarse en la industria del hardware para la nueva era de la IA autónoma.