Siti web
Questa pagina descrive come acquisire nella base di conoscenza i contenuti di un sito web: si aggiunge il sito con un dialog guidato, la piattaforma ne individua le pagine e le acquisisce, e la selezione delle pagine si può rivedere in seguito.
Prerequisiti
- Una base di conoscenza già creata.
- L'indirizzo del sito da acquisire, con accesso pubblico (senza autenticazione).
Aggiungere un sito
Il dialog Aggiungi sito web si apre dalla voce Aggiungi fonte > Siti web nell'intestazione della base di conoscenza. Quando la scheda Siti web non contiene ancora siti, è disponibile anche il pulsante Aggiungi sito. Il dialog è diviso in tre passi: Indirizzo, Pagine e limiti e Aggiornamento.
- Scegliere Aggiungi fonte > Siti web.
- Nel passo Indirizzo, inserire l'URL del sito, che deve iniziare con
https://ohttp://, e fare clic su Avanti. - Nel passo Pagine e limiti, attendere la ricerca della sitemap e impostare Profondità massima, Escludi percorsi e le opzioni di lettura, quindi fare clic su Avanti.
- Nel passo Aggiornamento, scegliere la frequenza di aggiornamento (vedere Aggiornamento dei siti) e controllare il Riepilogo.
- Fare clic su Aggiungi sito: l'acquisizione parte subito e la console apre la scheda Siti web sul nuovo sito.
Pagine e limiti
All'apertura del passo la piattaforma cerca la sitemap del sito. Se la trova, un messaggio indica quante pagine elenca e quante hanno contenuto ripetitivo: queste ultime vengono escluse in automatico e si possono comunque includere in seguito. Se la sitemap non c'è, un messaggio avvisa che le pagine verranno individuate seguendo i link a partire dall'indirizzo indicato.
| Campo | Descrizione |
|---|---|
| Profondità massima | Da 1 (solo le pagine elencate) a 5, predefinita 3. Indica fino a quanti link di distanza seguire il sito |
| Escludi percorsi | Parti del sito da non acquisire; ogni valore si conferma con Invio o con la virgola. Un valore che inizia con / (ad esempio /carrello) esclude le pagine sotto quel percorso; qualunque altro valore viene interpretato come espressione regolare sull'indirizzo completo |
| Lettura avanzata (browser) | Per i siti che caricano i contenuti tramite JavaScript: la pagina viene letta con un browser invece di leggere solo l'HTML statico. È più lenta e richiede più risorse |
| Ottimizza il testo con il modello | Rimuove menu e testo ripetitivo residui prima dell'indicizzazione. Si attiva solo insieme a Lettura avanzata (browser) |
L'opzione Ottimizza il testo con il modello compare solo se per l'organizzazione è attiva la capacità Scraping Avanzato, vedere Capacità.
Seguire l'acquisizione
La scheda Siti web mostra, nella sezione Siti collegati, una riga per ogni sito con il nome del dominio, l'indirizzo, una barra con le pagine acquisite sul totale di quelle trovate (ed eventuali errori), la frequenza di aggiornamento e lo stato: In corso, In attesa, Errore oppure, a acquisizione conclusa, la data dell'ultimo aggiornamento. Durante l'acquisizione la barra indica quante pagine sono state elaborate sul totale. Quando almeno un sito ha un aggiornamento pianificato, in alto compare l'indicazione Prossimo aggiornamento:.
È possibile lasciare la pagina e tornare in seguito senza interrompere il processo. Al termine un messaggio segnala il completamento oppure l'errore riscontrato.
Il menu Azioni di ogni sito contiene:
| Voce | Effetto |
|---|---|
| Rileggi sito | Avvia subito una nuova acquisizione del sito |
| Scopri pagine | Avvia in background una nuova ricerca delle pagine del sito, dalla sitemap e dai link, senza acquisirle; il messaggio "Ricerca delle pagine avviata" conferma l'avvio e l'avanzamento compare nella riga del sito |
| Apri il sito | Apre il sito in una nuova scheda del browser |
| Elimina | Elimina il sito dalla base di conoscenza, dopo una conferma |
Le pagine di un sito
Selezionando un sito nella sezione Siti collegati, sotto compare la tabella Pagine di seguita dal nome del sito, con i pulsanti Seleziona pagine e Rileggi sito. La tabella ha le colonne URL, Origine (sitemap o crawl, cioè individuata seguendo i link), Stato, Visibile e Aggiornata, e si può cercare e filtrare per URL, Stato e Origine. Sotto il percorso di ogni pagina compare il titolo oppure, per le pagine escluse o in errore, il motivo.
| Stato | Significato |
|---|---|
| Acquisita | La pagina è stata letta e indicizzata |
| In attesa | La pagina non è ancora stata acquisita |
| Esclusa | La pagina non è stata indicizzata; il motivo è indicato sotto l'indirizzo |
| Errore | La lettura della pagina non è riuscita |
I motivi di esclusione mostrati sono: Contenuto duplicato (boilerplate), Non modificata dall'ultima acquisizione, Non è una pagina HTML, Errore di rete, Contenuto insufficiente ed Errore di elaborazione (chunking/embedding).
Il menu Azioni della riga contiene Apri la pagina, la voce per nascondere o mostrare la pagina nelle citazioni (vedere Visibilità nelle citazioni) ed Elimina.
Anteprima del testo di una pagina
Facendo clic su una pagina si apre una colonna laterale accanto alla tabella, che resta visibile. La colonna mostra il titolo e l'indirizzo della pagina, il pulsante Apri la pagina e la sezione Testo estratto con il testo acquisito. Se il testo è più lungo della parte mostrata, un'indicazione del tipo "Primi 3.000 caratteri su 12.480" chiarisce che si tratta di un estratto. È utile per verificare che la pagina sia stata letta correttamente, ad esempio per decidere se serve la Lettura avanzata (browser).
Rivedere la selezione delle pagine
Il pulsante Seleziona pagine, attivo quando il sito ha pagine individuate, apre il dialog Seleziona pagine da scrapare. In alto un contatore indica quante pagine sono selezionate sul totale.
Il dialog offre la ricerca Cerca URL, i filtri per origine Sitemap e Crawl e i pulsanti Seleziona tutte e Deseleziona tutte, che agiscono sulle pagine dell'origine filtrata. Ogni pagina ha una casella di selezione, l'indicazione dell'origine e un'icona a forma di occhio per la visibilità nelle citazioni; per le pagine già acquisite almeno una volta, un'icona di avviso segnala quelle il cui contenuto è quasi del tutto ripetuto rispetto al resto del sito, che si possono comunque includere. Ogni modifica della selezione viene salvata subito.
Il pulsante Avvia scraping, che riporta il numero di pagine selezionate, chiude il dialog e avvia una nuova acquisizione; Annulla chiude il dialog senza avviarla.
Pulizia automatica: menu, footer e pagine quasi identiche
Durante l'acquisizione la piattaforma riconosce ed elimina automaticamente i blocchi di contenuto ripetuti su molte pagine dello stesso sito (menu di navigazione, intestazioni, piè di pagina), che altrimenti finirebbero indicizzati più volte senza portare informazione utile. Allo stesso modo, le pagine il cui contenuto risulta quasi interamente duplicato vengono escluse con il motivo Contenuto duplicato (boilerplate), per non appesantire la base di conoscenza con quasi-duplicati.
Risultato atteso
Al termine, le pagine acquisite compaiono con stato Acquisita nella scheda Siti web, sono conteggiate nella scheda della base di conoscenza e sono disponibili per gli agenti collegati. Per mantenerle aggiornate nel tempo vedere Aggiornamento dei siti.
Problemi comuni
| Problema | Causa | Soluzione |
|---|---|---|
| Alcune pagine attese non compaiono tra quelle individuate | Non sono presenti nella sitemap e non sono raggiungibili dai link entro la profondità scelta | Verificare che la pagina sia collegata dal sito o presente nella sitemap; valutare una Profondità massima più alta |
| Il testo acquisito da una pagina è incompleto o vuoto | Il sito richiede JavaScript per mostrare il contenuto | Aggiungere il sito attivando Lettura avanzata (browser) |
| Molte pagine risultano escluse come duplicate | Il sito ha una struttura fortemente ripetitiva (ad esempio schede prodotto quasi identiche) | Includere manualmente le pagine realmente distintive con Seleziona pagine, oppure valutare l'uso delle FAQ per i contenuti ripetitivi |
| Compare il messaggio "Esiste già un job di scraping per questo URL." | Il sito è già collegato alla base di conoscenza | Usare Rileggi sito sul sito esistente |
| Alcune pagine sono in stato Errore con motivo Errore di rete | Il sito non ha risposto durante l'acquisizione | Ripetere l'acquisizione con Rileggi sito |