Valutare le priorità delle funzionalità

È possibile valutare quanto sia importante ogni funzionalità del modello di Machine Learning di Personalizza esperienze eseguendo una valutazione delle funzionalità sui dati cronologici dei log. Le valutazioni delle funzionalità sono utili per:

• Comprendere quali funzionalità sono più o meno importanti per il modello.
• Funzionalità aggiuntive brainstorm che possono essere utili per l'apprendimento, derivando ispirazione da quali caratteristiche sono attualmente importanti nel modello.
• Identificare le funzionalità potenzialmente non importanti o non utili che devono essere considerate per ulteriori analisi o rimozione.
• Risolvere i problemi e gli errori comuni che possono verificarsi durante la progettazione di funzionalità e l'invio a Personalizza esperienze. Ad esempio, l'uso di GUID, timestamp o altre funzionalità che sono in genere di tipo sparse può essere problematico. Altre informazioni sul miglioramento delle funzionalità.

Che cos'è una valutazione delle funzionalità?

Le valutazioni delle funzionalità vengono eseguite tramite training ed eseguendo una copia della configurazione del modello corrente sui dati di log raccolti storicamente in un periodo di tempo specificato. Le funzionalità vengono ignorate una alla volta per misurare la differenza nelle prestazioni del modello con e senza ciascuna funzionalità. Poiché le valutazioni delle funzionalità vengono eseguite sui dati cronologici, non esiste alcuna garanzia che questi modelli verranno osservati nei dati futuri. Tuttavia, queste informazioni potrebbero essere rilevanti per i dati futuri se i dati registrati hanno acquisito una variabilità sufficiente o proprietà non fisse dei dati. Le prestazioni del modello corrente non sono interessate dall'esecuzione di una valutazione delle funzionalità.

Un punteggio di importanza della funzionalità è una misura dell'impatto relativo della funzionalità sulla ricompensa nel periodo di valutazione. I punteggi di importanza delle caratteristiche sono un numero compreso tra 0 (meno importante) e 100 (più importante) e vengono visualizzati nella valutazione delle funzionalità. Poiché la valutazione viene eseguita in un periodo di tempo specifico, le priorità della funzionalità possono cambiare man mano che vengono inviati dati aggiuntivi a Personalizza esperienze e come utenti, scenari e modifiche dei dati nel tempo.

Creazione di una valutazione delle funzionalità

Per ottenere i punteggi di importanza delle funzionalità, è necessario creare una valutazione delle funzionalità in un periodo di dati registrati per generare un report contenente i punteggi di importanza della funzionalità. Questo report è visualizzabile nella portale di Azure. Per creare una valutazione delle funzionalità:

1. Passare al sito Web di portale di Azure
2. Selezionare la risorsa personalizza esperienze
3. Selezionare la sezione Monitoraggio nel riquadro di spostamento laterale
4. Selezionare la scheda Funzionalità
5. Selezionare "Crea report" e verrà visualizzata una nuova schermata
6. Scegliere un nome per il report
7. Scegliere l'ora di inizio e di fine per il periodo di valutazione
8. Selezionare "Crea report"

Il nome del report verrà quindi visualizzato nella tabella dei report seguente. La creazione di una valutazione delle funzionalità è un processo a esecuzione prolungata, in cui il tempo di completamento dipende dal volume di dati inviati a Personalizza esperienze durante il periodo di valutazione. Durante la generazione del report, la colonna Stato indicherà "In esecuzione" per la valutazione e verrà aggiornata a "Succeeded" una volta completata. Controllare periodicamente se la valutazione è stata completata.

È possibile eseguire più valutazioni delle funzionalità in vari periodi di tempo in cui la risorsa di Personalizza esperienze dispone di dati di log. Assicurarsi che il periodo di conservazione dei dati sia impostato sufficientemente lungo per consentire di eseguire valutazioni sui dati meno recenti.

Interpretazione dei punteggi di importanza delle funzionalità

Funzionalità con un punteggio di importanza elevata

Le funzionalità con punteggi di importanza più elevati sono state più influenti per il modello durante il periodo di valutazione rispetto alle altre funzionalità. Le caratteristiche importanti possono fornire ispirazione per la progettazione di funzionalità aggiuntive da includere nel modello. Ad esempio, se vengono visualizzate le caratteristiche di contesto "IsWeekend" o "IsWeekday" hanno un'importanza elevata per la spesa, potrebbe trattarsi del caso che le festività o i fine settimana lunghi possano anche essere fattori importanti, quindi è consigliabile prendere in considerazione l'aggiunta di funzionalità che acquisiscino queste informazioni.

Funzionalità con un punteggio di importanza bassa

Le funzionalità con punteggi di importanza bassa sono buoni candidati per un'ulteriore analisi. Non tutte le funzionalità di punteggio basso sono necessariamente negative o non utili perché i punteggi bassi possono verificarsi per uno o più motivi. L'elenco seguente consente di iniziare ad analizzare i motivi per cui le funzionalità possono avere punteggi bassi:

• La funzionalità è stata raramente osservata nei dati durante il periodo di valutazione.

  • Se il numero di occorrenze di questa funzionalità è basso rispetto ad altre funzionalità, ciò potrebbe indicare che la funzionalità non era presente abbastanza spesso per il modello per determinare se è utile o meno.

• I valori delle caratteristiche non hanno una grande diversità o variazione.

  • Se il numero di valori univoci per questa funzionalità è inferiore a quello previsto, ciò potrebbe indicare che la funzionalità non variava molto durante il periodo di valutazione e non fornirà informazioni dettagliate significative.

• I valori delle caratteristiche erano troppo rumorosi (casuali) o troppo distinti e fornivano un valore minimo.

  • Controllare il numero di valori univoci nella valutazione delle funzionalità. Se il numero di valori univoci per questa funzionalità è superiore al previsto o elevato rispetto ad altre funzionalità, ciò potrebbe indicare che la funzionalità era troppo rumorosa durante il periodo di valutazione.

• Si è verificato un problema di dati o di formattazione.

  • Verificare che le funzionalità siano formattate e inviate a Personalizza esperienze nel modo previsto.

• La funzionalità potrebbe non essere utile per modellare l'apprendimento e le prestazioni se il punteggio della funzionalità è basso e i motivi precedenti non si applicano.

  • Provare a rimuovere la funzionalità perché non aiuta il modello a massimizzare la ricompensa media.

La rimozione di funzionalità con punteggi di importanza bassa consente di velocizzare il training del modello riducendo la quantità di dati necessari per l'apprendimento. Può anche migliorare potenzialmente le prestazioni del modello. Tuttavia, questo non è garantito e potrebbe essere necessaria un'ulteriore analisi. Altre informazioni sulla progettazione di funzionalità di contesto e azione.

Problemi e procedure comuni per migliorare le funzionalità

• Invio di funzionalità con cardinalità elevata. Le funzionalità con cardinalità elevata sono quelle con molti valori distinti che non sono probabilmente ripetuti in molti eventi. Ad esempio, le informazioni personali specifiche di un individuo (ad esempio nome, numero di telefono, numero di carta di credito, indirizzo IP) non devono essere usate con Personalizza esperienze.

• Invio di ID utente Con un numero elevato di utenti, è improbabile che queste informazioni siano rilevanti per l'apprendimento di Personalizza esperienze per ottimizzare il punteggio medio di ricompensa. L'invio di ID utente (anche se non le informazioni personali) aggiungerà probabilmente più rumore al modello e non è consigliato.

• Le funzionalità sono troppo sparse. I valori sono distinti e raramente si verificano più volte. I timestamp precisi fino al secondo possono essere molto sparse. Può essere reso più denso (e quindi efficace) raggruppando i tempi in "mattina", "mezzogiorno" o "pomeriggio", ad esempio.

Le informazioni sulla posizione in genere traggono vantaggio dalla creazione di classificazioni più ampie. Ad esempio, coordinate di latitudine-longitudine come Lat: 47.67402° N, Long: 122.12154° W è troppo preciso e forza il modello a imparare la latitudine e longitudine come dimensioni distinte. Quando si tenta di personalizzare in base alle informazioni sulla posizione, consente di raggruppare le informazioni sulla posizione in settori più grandi. Un modo semplice per eseguire questa operazione consiste nel scegliere una precisione di arrotondamento appropriata per i numeri lat-long e combinare latitudine e longitudine in "aree" rendendole una stringa. Ad esempio, un buon modo per rappresentare Lat: 47,67402° N, Long: 122.12154° W in aree di circa pochi chilometri di larghezza sarebbe "location":"34.3 , 12.1".

• Espandere i set di funzionalità con informazioni estrapolate È anche possibile ottenere altre funzionalità pensando a attributi non esplorati che possono essere derivati dalle informazioni già presenti. Ad esempio, in una personalizzazione fittizia dell'elenco di film, è possibile che un fine settimana o un giorno feriale traslitti comportamenti diversi dagli utenti? La caratteristica temporale potrebbe essere espansa per includere un attributo "weekend" o "giorno feriale". Le vacanze culturali nazionali/regionali attirano l'attenzione su determinati tipi di film? Ad esempio, un attributo "Halloween" è utile in luoghi in cui è rilevante. È possibile che per molte persone la pioggia abbia un impatto significativo sulla scelta del film da guardare? Con una data e un luogo, un servizio meteo potrebbe fornire questa informazione ed è possibile includerla come caratteristica aggiuntiva.

Passaggi successivi

Analizzare le prestazioni dei criteri con una valutazione offline con Personalizza esperienze.