Modelli LLM e provider
Consultazione del catalogo disponibile ad amministratori e operatori del tenant; l'aggiunta di modelli locali e la configurazione dei provider richiedono il permesso di gestione dei modelli.
La sezione Modelli LLM e provider mostra il catalogo dei modelli disponibili al tenant e permette di collegare provider e modelli locali.
Prerequisiti
- Per la sola consultazione: nessun permesso particolare oltre l'accesso al tenant.
- Per aggiungere un modello locale o un provider: ruolo di amministratore o Super Admin.
Il catalogo dei modelli
Il catalogo comprende:
- Modelli globali, gestiti centralmente dal team Askme e disponibili a tutti i tenant in sola lettura.
- Modelli di tenant, aggiunti dal singolo tenant (tipicamente modelli locali su Ollama).
Per ciascun modello sono indicati: nome e provider, tipologia (chat, embedding, STT/TTS), finestra di contesto, capacità (function calling, visione, streaming, reasoning) e fascia di costo. Lo storico delle fasce di costo viene tracciato automaticamente a ogni modifica, così da poter ricostruire quando e come è cambiato il posizionamento di un modello.
I costi effettivi per token (o per minuto/1.000 caratteri per STT/TTS) sono letti dal listino aggiornato del provider e non sono documentati con valori fissi in questa pagina: consultare il catalogo in piattaforma per i valori correnti.
Provider LLM
Askme AI supporta la connessione a provider OpenAI, Anthropic, Google e Mistral tramite chiave API cifrata e, se necessario, un endpoint personalizzato. La connessione può essere globale (gestita centralmente) o specifica del tenant.
Modelli locali (Ollama)
Il tenant può aggiungere modelli locali per sfruttare risorse on-prem o private, utile per dati sensibili o per ridurre i costi.
Aggiungere un modello locale
- Selezionare Aggiungi modello locale.
- Compilare nome del modello (deve corrispondere a quello installato sull'istanza), URL dell'istanza, eventuale chiave API e le capacità supportate (function calling, visione, streaming, reasoning).
- Salvare.
Solo i provider ollama e local possono essere aggiunti a livello di tenant. I provider commerciali sono gestiti centralmente con chiavi condivise.
Selezione del modello per tenant
Il piano sottoscritto dal tenant determina quali fasce di modello possono essere utilizzate. La feature Modelli personalizzati sblocca, dove disponibile, l'override del modello di default per singolo tenant, incluso il modello utilizzato per la visione/OCR nell'analisi documentale.
La selezione dei modelli, compreso quello di visione/OCR, è sempre configurabile per tenant tramite questa funzionalità: non è previsto un modello unico imposto a livello di piattaforma per tutti i tenant.
Catena di fallback
Se un modello fallisce per un errore transitorio (limite di frequenza, timeout, contesto superato), la piattaforma tenta automaticamente il modello successivo nella catena configurata, senza interrompere la conversazione in corso.
Risultato atteso
Il modello selezionato per un agente o per una knowledge base compare correttamente nel relativo form di configurazione, con le capacità dichiarate coerenti con quanto impostato in questa sezione.
Problemi comuni
| Problema | Causa probabile | Soluzione |
|---|---|---|
| Un modello locale non compare come selezionabile | L'URL dell'istanza Ollama non è raggiungibile o il nome del modello non corrisponde | Verificare la connettività e il nome esatto del modello installato |
| L'agente non può usare un modello desiderato | Il piano del tenant limita la fascia di costo disponibile | Verificare il piano oppure abilitare la feature Modelli personalizzati |
| Una richiesta fallisce senza passare al modello successivo | Il modello di fallback non è configurato nella catena | Configurare esplicitamente la catena di fallback per il modello principale |