FP8 Quantization (cuantificación de punto flotante de 8 bits) es un método de cuantificación de baja precisión que representa los valores numéricos (pesos, activaciones y gradientes) de una red neuronal profunda utilizando el formato de punto flotante de 8 bits. A diferencia de la cuantificación de enteros (INT8), FP8 mantiene la capacidad de representar un rango dinámico más amplio de valores, lo cual es crucial para la estabilidad del entrenamiento y la inferencia de modelos grandes, especialmente aquellos con distribuciones de valores muy variadas. Existen diferentes formatos de FP8 (ej., E4M3 para más rango, E5M2 para más precisión), donde 'E' denota el número de bits para el exponente y 'M' para la mantisa, permitiendo un balance entre rango y precisión según la aplicación.
Esta técnica está siendo adoptada por los principales fabricantes de hardware y frameworks de Machine Learning. NVIDIA ha implementado FP8 en sus GPUs de arquitectura Hopper (ej., H100) y Blackwell, ofreciendo soporte nativo para operaciones FP8 a través de sus Tensor Cores. Frameworks como PyTorch y TensorFlow, junto con librerías como NVIDIA's Transformer Engine, están incorporando soporte para FP8, permitiendo a los desarrolladores entrenar e inferir modelos de lenguaje grandes (LLMs) y otros modelos complejos con menor uso de memoria y mayor throughput. Empresas como Meta y Google también están explorando y utilizando FP8 para optimizar sus infraestructuras de IA a gran escala.
Para un arquitecto de sistemas, FP8 Quantization es fundamental porque permite desplegar modelos de IA más grandes y complejos en entornos con restricciones de memoria o potencia computacional. La elección de FP8 frente a INT8 o FP16 implica un trade-off crítico: FP8 ofrece mayor eficiencia (menor memoria, mayor velocidad) a costa de una posible ligera degradación en la precisión del modelo, que debe ser cuidadosamente evaluada. Los arquitectos deben considerar la compatibilidad del hardware (GPUs con soporte FP8 nativo), la madurez del software (frameworks y librerías), y el impacto en el rendimiento y la calidad del modelo. La adopción de FP8 puede ser clave para reducir los costos operativos de la inferencia de IA a escala y para habilitar el entrenamiento de modelos aún más grandes que de otro modo serían inviables.