Tether ha presentado un nuevo framework de inteligencia artificial orientado a reducir drásticamente los requisitos de hardware necesarios para ajustar grandes modelos de lenguaje, permitiendo su funcionamiento incluso en dispositivos de consumo como smartphones.
La nueva tecnología forma parte de su plataforma QVAC y combina la arquitectura BitNet con técnicas de ajuste fino LoRA, con el objetivo de disminuir el consumo de memoria y capacidad de cálculo durante el entrenamiento.
Según la compañía, esta solución es compatible con múltiples arquitecturas de hardware, incluyendo chips de AMD, Intel, Apple y procesadores móviles de Qualcomm, ampliando el soporte más allá de las GPU tradicionales de Nvidia.
Tether asegura que sus ingenieros han logrado ajustar modelos de hasta 1.000 millones de parámetros en teléfonos móviles en menos de dos horas, mientras que modelos más ligeros pueden entrenarse en pocos minutos.
La compañía añade que el sistema también soporta modelos de hasta 13.000 millones de parámetros en dispositivos móviles, una cifra relevante para entornos de computación limitada.
Gracias al uso de BitNet, el framework reduce el uso de memoria gráfica hasta un 77,8% frente a arquitecturas tradicionales de 16 bits, lo que facilita ejecutar modelos de mayor tamaño en hardware menos potente.
