Fai girare il modello aperto più grande sulla tua scheda video

Un modello da 70 miliardi di parametri sono circa 140 GB a 16 bit (70 miliardi di numeri, due byte ciascuno). Per questo farlo girare ha sempre voluto dire comprare una scheda video molto costosa, e la maggior parte delle persone non ci ha mai provato.

Il cubetto col casco da lavoro e una scheda video verde

AirLLM è una libreria gratuita e open source (licenza Apache-2.0, più di 40.000 stelle su GitHub) che aggira il problema. Il suo README dice che fa girare modelli da 70 miliardi di parametri su una singola GPU da 4 GB, senza quantizzazione, distillazione o pruning.

Come funziona

Un modello è una pila di strati. Un setup normale li carica tutti nella scheda video in una volta, ed è lì che servono i 140 GB.
AirLLM divide il modello nei suoi strati e li salva uno per uno sul tuo disco, la prima volta che lo fai girare.
Quando fai una domanda, carica uno strato nella GPU, lo esegue, lo libera, e carica il successivo. Secondo il README, tiene un solo strato nella GPU alla volta.
Quindi la memoria video che ti serve dipende dalla dimensione di un singolo strato, non del modello intero. Pensa a un libro gigante che leggi una pagina alla volta, invece di ficcartelo tutto nella scheda video.

Il prezzo da pagare

Il prezzo è il disco. Il README dice che il collo di bottiglia è il caricamento dal disco, e che il modello originale viene scomposto e salvato strato per strato, quindi ti serve spazio libero sul disco per la copia.

Se lo spazio è poco, l'opzione delete_original cancella il modello originale scaricato e tiene solo quello già diviso in strati: risparmi circa metà dello spazio.

Cosa può far girare

Questi sono i numeri del README di AirLLM. La stessa riga di codice funziona per tutti: cambi solo l'ID del modello su Hugging Face.

Modello	Parametri	Memoria GPU
Qwen3 / Mistral / Phi	~8B	~1-2 GB
Qwen3.8-27B (denso, con visione)	27B	3,33 GB
Llama 3.x 70B (precisione piena)	70B	~4 GB
Qwen3-235B (MoE)	235B	~3 GB
Llama 3.1 405B	405B	~8 GB
DeepSeek-V3	671B	~12 GB
Kimi K3, il modello aperto più grande pubblicato finora	2,8T	3,72 GB

Il dato di Kimi K3 è stato misurato su una singola RTX 6000 Ada.

Cosa ti serve prima

Un computer con una scheda video NVIDIA (l'esempio del README chiama .cuda()), oppure un Mac con chip Apple silicon (vedi la nota sul Mac più sotto).
Python e pip.
Spazio disco libero, tanto: il modello viene scaricato e poi diviso in strati. Se lo spazio è poco, l'opzione delete_original cancella il download originale e tiene solo il modello diviso, risparmiando circa metà.
Un account Hugging Face e un token se il modello è sotto accesso controllato (per esempio i modelli Llama).

Il cubetto con gli occhiali che legge un libro

Installalo passo 1

Scrivi nel terminaleinstalla la libreria

pip install airllm

Fai girare un modello passo 2

Questo è l'esempio del README, ridotto a un modello. Fa una domanda e stampa la risposta. Salvalo come run.py e lancia python run.py. La prima volta è lento perché divide il modello in strati.

Python: run.pysalva e lancia con python run.py

from airllm import AutoModel
MAX_LENGTH = 128
# passa un id di Hugging Face, funziona con quasi tutti i modelli:
model = AutoModel.from_pretrained("Qwen/Qwen3-32B")
input_text = [
    'What is the capital of United States?',
]
input_tokens = model.tokenizer(input_text,
    return_tensors="pt",
    return_attention_mask=False,
    truncation=True,
    max_length=MAX_LENGTH,
    padding=False)
generation_output = model.generate(
    input_tokens['input_ids'].cuda(),
    max_new_tokens=20,
    use_cache=True,
    return_dict_in_generate=True)
output = model.tokenizer.decode(generation_output.sequences[0])
print(output)

Per un modello più grande, cambia solo la riga del modello:

Cambia il modellostessa riga, modello diverso

model = AutoModel.from_pretrained("Qwen/Qwen3-235B-A22B")  # 235B, gira in ~3 GB
model = AutoModel.from_pretrained("deepseek-ai/DeepSeek-V3")  # 671B, gira in ~12 GB

Un modello ad accesso controllato come la famiglia Llama richiede il tuo token di Hugging Face. Accetta la licenza del modello sulla sua pagina Hugging Face, poi passa il token: AutoModel.from_pretrained("<model id>", hf_token="IL_TUO_TOKEN").

Lascia fare a Claude Code passo 3

Se preferisci non farlo a mano, incolla questo in Claude Code dentro una cartella vuota:

Incolla in Claude Codefa tutto lui, passo per passo

Installa AirLLM (https://github.com/lyogavin/airllm) per me, passo per passo, e fermati a chiedere prima di fare qualcosa di grosso:
1. Controlla la mia macchina: lancia nvidia-smi (o dimmi se sono su un Mac con Apple silicon), controlla lo spazio disco libero con df -h, e dimmi chiaramente se questa macchina può farlo girare.
2. Crea un ambiente virtuale Python in questa cartella e lancia pip install airllm.
3. Scrivi run.py usando l'esempio nel README di AirLLM, con un modello PICCOLO prima per testare velocemente, e lancialo.
4. Solo dopo che funziona, dimmi quanto disco serve per un modello da 70B e come cambiare l'ID del modello. Non scaricare un modello grande senza chiedermi.

Buono a sapersi

Velocità: siccome il modello arriva dal disco strato per strato, aspettati che sia molto più lento di un modello che sta tutto nella memoria della GPU. Il README ha un'impostazione di compressione opzionale (compression='4bit' o '8bit', serve bitsandbytes) che secondo il README velocizza fino a 3 volte.
Mac: il README dice di installare mlx e torch, e che è supportato solo Apple silicon. Per ora funzionano solo modelli in stile Llama: gli altri danno errore. C'è un notebook di esempio per i Mac.
Windows: il README documenta Linux e Mac. Non nomina Windows, quindi controlla le issue del repository prima.
Se vedi MetadataIncompleteBuffer, il README dice che la causa più probabile è lo spazio disco finito durante la divisione in strati.
Licenza: è open source e gratuita sotto licenza Apache-2.0. I modelli che ci carichi hanno le loro licenze separate.
Non è di Anthropic, e i numeri nella tabella sono dell'autore di AirLLM, presi dal suo README. La tua velocità e la tua memoria dipenderanno dal tuo hardware.

Il cubetto col casco in un magazzino di pacchi

Se sei in Italia

AirLLM funziona uguale ovunque: è una libreria Python che installi con pip. Se la tua connessione è lenta, il primo download del modello (decine o centinaia di GB) può volerci un bel po'. Considera di scaricarlo di notte o su una rete fissa.