Valutazioni e A/B Testing
Le Valutazioni misurano la qualità delle risposte di un agente su un insieme di casi di test riproducibili. Gli esperimenti A/B estendono lo stesso principio al confronto tra due varianti di configurazione dello stesso agente. Entrambe le funzioni si trovano nella sezione Monitoraggio.
Le funzioni richiedono la capacità Valutazioni e, per gli esperimenti, la capacità A/B Testing attive sull'organizzazione.
Prerequisiti
- Permessi di lettura, creazione ed eliminazione delle valutazioni e degli esperimenti A/B, inclusi nei ruoli di operatore e di amministratore.
- Un agente configurato e attivo su cui eseguire la valutazione.
- Esecuzioni disponibili nel limite Esecuzioni agentic annuali dell'organizzazione: ogni esecuzione di una valutazione e ogni avvio di un esperimento A/B ne consuma una (vedere Limiti del piano).
Concetti
| Elemento | Descrizione |
|---|---|
| Dataset | Un insieme di casi di test associato a un agente e raggruppato per scopo (ad esempio «Domande sulla policy di reso») |
| Caso di test | Una domanda con, facoltativamente, la risposta attesa |
| Esecuzione | Un'esecuzione del dataset sull'agente in un determinato momento |
| Metriche | Punteggi da 0 a 1 che misurano la fedeltà e la pertinenza delle risposte e la qualità del materiale recuperato dalla conoscenza |
L'elenco dei dataset
La pagina Monitoraggio > Valutazioni elenca i dataset dell'organizzazione con le colonne Nome dataset, che riporta anche l'agente e il numero di casi di test, Ultima esecuzione, Fedeltà, Pertinenza e Stato. Le azioni di riga sono Dettaglio, Modifica ed Elimina, e un campo di ricerca filtra l'elenco.
Sotto l'elenco, un pannello riepiloga l'esecuzione più recente: durata, punteggi delle metriche e tabella dei Casi di prova con Risposta ottenuta, Fedeltà e Latenza. Il pulsante Apri l'esecuzione porta ai risultati completi, mentre Riesegui lancia di nuovo lo stesso dataset sullo stesso agente. Le metriche sono calcolate con il modello dell'agente e i valori inferiori a 0,80 vengono evidenziati.
Creare un dataset
- Aprire Monitoraggio > Valutazioni e selezionare Nuovo dataset.
- Il modulo è organizzato in sezioni richiudibili, ciascuna con un riepilogo; al salvataggio si aprono da sole le sezioni che contengono errori. Nella sezione Informazioni generali, indicare il Nome dataset, scegliere l'Agente e, facoltativamente, inserire una Descrizione.
- Nella sezione Test Case, compilare per ciascun caso i campi Input (domanda) e Output atteso (opzionale). Il pulsante Aggiungi test case aggiunge un nuovo caso, l'icona Rimuovi test case lo elimina.
- Selezionare Crea.
I casi di test si inseriscono direttamente nel modulo. Un dataset esistente si modifica con l'azione Modifica e si salva con Salva.
Lanciare una valutazione e leggere le metriche
La pagina di dettaglio del dataset riporta l'agente, il numero di casi di test e le date di creazione e aggiornamento, con le schede Test Case ed Esecuzioni. Il pulsante Esegui Valutazione avvia l'esecuzione; mentre un'esecuzione è in corso il pulsante resta disattivato.
Una valutazione esegue l'intera pipeline dell'agente con la sua configurazione corrente (ricerca nella conoscenza, prompt, eventuali strumenti collegati, regole di passaggio a operatore) su ciascun caso del dataset, in modo asincrono. Durante l'esecuzione la pagina Risultati Valutazione mostra l'avanzamento dei casi completati e si aggiorna automaticamente; il pulsante Torna al dataset riporta alla pagina del dataset.
Al termine, la pagina riporta per l'intero dataset le metriche seguenti.
| Metrica | Significato |
|---|---|
| Faithfulness | Fedeltà delle risposte al contesto recuperato |
| Answer Relevancy | Pertinenza delle risposte alla domanda |
| Context Precision | Precisione dei contesti recuperati |
| Context Recall | Copertura dei contesti rilevanti |
La tabella Risultati per test case riporta gli stessi punteggi per ciascun caso; l'azione Dettagli apre il caso con Input, Output atteso, Output reale e Contesto recuperato dalla KB. Nella scheda Esecuzioni del dataset, le esecuzioni concluse si aprono con Visualizza risultati e si eliminano con Elimina esecuzione.
Esperimenti A/B
Un esperimento A/B mette a confronto due varianti di configurazione dello stesso agente, con una ripartizione percentuale del traffico tra le due e un dataset di valutazione condiviso. La pagina Monitoraggio > A/B Testing elenca gli esperimenti con il pulsante Nuovo esperimento e il filtro Stato (Bozza, In esecuzione, Completato, Annullato); le azioni di riga sono Dettaglio, Avvia, disponibile solo per gli esperimenti in bozza, ed Elimina.
Per creare un esperimento:
- Selezionare Nuovo esperimento.
- Anche questo modulo è organizzato in sezioni richiudibili. Nella sezione Informazioni generali, indicare il Nome esperimento, scegliere l'Agente e il Dataset di valutazione, inserire facoltativamente una Descrizione e impostare con il cursore Suddivisione traffico la percentuale di traffico destinata alla variante A, tra il 10% e il 90%; la parte restante va alla variante B.
- Nelle sezioni Variante A e Variante B, configurare System Prompt, Modello e Temperature di ciascuna variante. Una variante senza modello indicato usa quello dell'agente.
- Selezionare Crea esperimento.
Nella pagina di dettaglio, il pulsante Esegui avvia un esperimento in bozza e Annulla esperimento interrompe un esperimento in esecuzione; Aggiorna ricarica lo stato ed Elimina rimuove l'esperimento. La card Informazioni generali riporta stato, agente, dataset, ripartizione del traffico, autore e date. Mentre l'esperimento è in esecuzione, la sezione Metriche live confronta le due varianti sui dati raccolti dalle conversazioni reali: Conversazioni, Messaggi, Latenza media, Token input, Token output e Confidenza media. A esperimento completato, la sezione Confronto risultati mette a confronto le metriche di valutazione delle due varianti evidenziando la migliore; la sezione Configurazioni varianti mostra la configurazione di ciascuna.
Promuovere la variante vincente
Quando l'esperimento è completato, la sezione Promuovi variante offre i pulsanti Promuovi Variante A e Promuovi Variante B, che chiedono conferma prima di procedere.
La promozione applica la configurazione della variante scelta all'agente sorgente, sovrascrivendo la configurazione attualmente attiva. L'operazione non è reversibile automaticamente: prima di procedere, verificare che la variante promossa sia realmente quella desiderata.
Problemi comuni
| Problema | Causa probabile | Soluzione |
|---|---|---|
| L'esecuzione resta a lungo in corso | Il dataset contiene molti casi di test | Attendere il completamento: la pagina Risultati Valutazione si aggiorna automaticamente |
| Il pulsante Esegui Valutazione è disattivato o assente | Un'esecuzione è già in corso sul dataset, oppure il ruolo non include il permesso di creazione delle valutazioni | Attendere la fine dell'esecuzione o verificare il ruolo |
| Le metriche risultano basse in modo inatteso | Il dataset non rispecchia bene i casi reali, oppure la conoscenza collegata è incompleta | Rivedere i casi di test e la copertura della conoscenza dell'agente |
| L'esecuzione o l'avvio vengono rifiutati per limite raggiunto | Il limite Esecuzioni agentic annuali dell'organizzazione è esaurito | Consultare la pagina Limiti del piano e rivolgersi al team Askme |
| L'azione Avvia non è disponibile | L'esperimento non è in bozza | Solo gli esperimenti nello stato Bozza possono essere avviati |
| Le metriche live dell'esperimento non compaiono | Traffico reale insufficiente sulle varianti | Attendere un volume di conversazioni maggiore prima di trarre conclusioni |