TorchNeuron fa funzionare i modelli di Hugging Face nativamente sui chip AWS Trainium
Un nuovo backend PyTorch elimina la complessità del compilatore che prima teneva i modelli Hugging Face lontani dall'hardware AI personalizzato di Amazon.

Un plugin software che permette ai modelli di AI di girare direttamente sui chip personalizzati di Amazon usando PyTorch, proprio come fanno sulle schede video normali.
Un percorso nativo verso Trainium
Per anni, eseguire modelli Hugging Face sui chip Trainium di AWS ha richiesto di passare attraverso uno strato indiretto chiamato optimum-neuron, che si basava su XLA (Accelerated Linear Algebra), un compilatore open-source che trasforma i grafici di calcolo del machine learning in codice efficiente 1. Questa configurazione costringeva gli sviluppatori a pensare in termini di esecuzione lazy, forme tensoriali fisse e ricompilazioni costanti ogni volta che il codice cambiava. L'esperienza era funzionale ma fragile, e teneva molti modelli HF fuori dalla piattaforma.
TorchNeuron capovolge questo approccio. Rilasciato come beta pubblica il 20 ottobre 2026, TorchNeuron è un plugin PyTorch che tratta i dispositivi Neuron — gli acceleratori AI personalizzati di AWS — come hardware di prima classe, proprio come le GPU. Porta l'esecuzione eager, torch.compile e primitive distribuite native come FSDP e parallelismo tensoriale direttamente nell'ecosistema PyTorch.
Cosa cambia per gli utenti Hugging Face
Il cambiamento più visibile è che le librerie HF ora girano su Trainium senza wrapper speciali. Transformers, Diffusers, Accelerate, PEFT e TRL operano tutti sui dispositivi Neuron utilizzando le stesse classi e gli stessi script che gli sviluppatori usano già sull'hardware NVIDIA.
L'inferenza ha visto il salto più grande in termini di supporto. TorchNeuron copre ormai l'89 percento delle 100 architetture di modelli per generazione di testo più utilizzate pronte all'uso, rispetto al 46 percento con il vecchio percorso optimum-neuron 1. Per eseguire un modello, gli utenti passano semplicemente un argomento device-map che punta a neuron, e il modello si carica sull'acceleratore.
Per deployment più ampi, il parallelismo tensoriale permette a un singolo modello di estendersi su più unità Trainium, mentre una strategia di KV-cache statica evita le ricompilazioni frequenti che in passato penalizzavano la velocità di generazione.
Addestramento senza codice personalizzato
Addestrare su Trainium prima richiedeva fork specifici per Neuron o trainer dedicati. TorchNeuron rimuove questo ostacolo. Uno script standard di supervised fine-tuning di TRL gira su un'istanza Trainium con solo piccole impostazioni specifiche per l'hardware, allo stesso modo in cui uno script girerebbe su un cluster GPU.
Il cambiamento è importante perché colma un divario tra i flussi di lavoro GPU e Trainium. Gli sviluppatori che usano già le librerie Hugging Face per il fine-tuning e la valutazione possono ora puntare all'hardware di addestramento economico di AWS senza imparare uno stack separato.
AWS e Hugging Face raccomandano che gli utenti optimum-neuron esistenti migrino al percorso nativo in futuro, citando il più ampio supporto alle architetture e il codice più semplice come motivi per passare.
I fatti principali
- TorchNeuron beta pubblica lanciata il 20 ottobre 2026
- Il supporto alle architetture per generazione di testo è passato dal 46% all'89% dei 100 modelli più usati
- TorchNeuron si installa con pip install torch-neuronx
- Hugging Face consiglia ora librerie native anziché optimum-neuron per Trainium
- L'addestramento utilizza script TRL standard anziché fork specifici per Neuron
Fonti
Se questa notizia riguarda te o la tua azienda, o usa qualcosa che ti appartiene, chiedi una correzione o la rimozione. Come funzionano le richieste
Continua a leggere
Amazon, Microsoft e Google hanno annunciato piani per l'AI molto diversi nei loro ultimi report finanziari
I provider di cloud stanno puntando forte sull'AI, ma lo fanno in tre modi completamente diversi — ed è importante per capire quali servizi utilizzerà la tua azienda.
App e prodottiAlter offre agli agenti AI chiavi personali e una traccia di auditHerald of AI
Alter offre agli agenti AI chiavi personali e una traccia di audit
Una nuova startup di Y Combinator sta costruendo un sistema di controllo accessi in modo che ogni agente AI agisca con la propria identità invece di condividere una singola credenziale sovradimensionata.
App e prodottillama.cpp v1.0.0 dà stabilità al mondo in crescita dell'AI localeHerald of AI
llama.cpp v1.0.0 dà stabilità al mondo in crescita dell'AI locale
Il popolare strumento open-source che permette a chiunque di eseguire modelli di AI sul proprio computer, senza inviare dati alle grandi aziende del cloud, ha raggiunto la versione 1.0, diventando più affidabile per gli sviluppatori che costruiscono app AI private.