L'analisi del prodotto consiste nella misurazione e nell'analisi di come le persone utilizzano un prodotto, con l'obiettivo di migliorarlo piuttosto che di misurarne le prestazioni di marketing. Mentre l'analisi web tradizionale è organizzata attorno a sessioni, pagine e fonti di traffico, l'analisi del prodotto è organizzata attorno a utenti, eventi, funzionalità e comportamenti nel tempo, rispecchiando così le diverse domande a cui ciascuna si propone di rispondere.
L'unità centrale è l'evento: un'azione discreta compiuta da un utente, registrata con proprietà che ne descrivono il contesto. Da un flusso di eventi ben progettato, derivano le analisi standard: i funnel che mostrano dove gli utenti abbandonano una sequenza definita, le curve di fidelizzazione che mostrano come l'utilizzo persiste nei giorni e nelle settimane successive al primo utilizzo, l'adozione delle funzionalità che mostra quale percentuale di utenti utilizza effettivamente una funzionalità e con quale frequenza, l'analisi dei percorsi che mostra cosa fanno realmente le persone anziché quello previsto dal flusso, e i confronti tra coorti che mostrano se gli utenti recenti si comportano in modo diverso da quelli precedenti.
Il suo contributo distintivo consiste nel collegare il comportamento ai risultati a livello delle singole funzionalità. Domande a cui l'analisi di marketing non può rispondere, come ad esempio se gli utenti che adottano una particolare funzionalità si fidelizzano meglio, quale sequenza di azioni nella prima settimana predice l'utilizzo a lungo termine e quali parti del prodotto sono utilizzate da quasi nessuno nonostante richiedano impegno per la manutenzione, trovano risposta diretta. La scoperta che una specifica azione iniziale è fortemente correlata alla fidelizzazione è uno schema ricorrente nelle aziende orientate al prodotto e in genere rimodella l'onboarding per guidare gli utenti verso tale azione.
La qualità di ogni cosa dipende dalla tassonomia degli eventi, ed è proprio qui che la maggior parte delle implementazioni fallisce. Eventi denominati in modo incoerente, definiti in modo diverso su piattaforme diverse, aggiunti ad hoc da singoli team o privi delle proprietà necessarie per segmentarli, producono un dataset che non può rispondere a domande senza prima un'accurata ricerca. Un piano di tracciamento documentato, che definisca ogni evento, le sue proprietà, le condizioni di attivazione e il suo responsabile, concordato prima dell'implementazione e aggiornato con l'evolversi del prodotto, fa la differenza tra un dataset utilizzabile e uno costoso.
In questo contesto, correlazione e causalità vengono confuse più facilmente rispetto alla maggior parte delle analisi, perché i dati comportamentali si prestano a un'interpretazione causale. Il fatto che gli utenti che adottano una determinata funzionalità mantengano una maggiore fidelizzazione non dimostra che tale funzionalità sia la causa della fidelizzazione; gli utenti più coinvolti potrebbero semplicemente adottare più funzionalità. Agire in base a tali risultati, proponendo la funzionalità a tutti, spesso non produce alcun risultato, perché la freccia causale punta nella direzione opposta. Stabilire la causalità richiede sperimentazione, ed è per questo che l'analisi del prodotto e i test controllati funzionano in sinergia anziché in alternativa.
Il rapporto tra analisi di prodotto e analisi web tradizionale merita una definizione chiara, anziché una gestione parallela. Molte organizzazioni finiscono per utilizzare entrambe, con strumenti sovrapposti, definizioni divergenti e due serie di dati che non coincidono mai, generando riunioni su quale report sia corretto anziché su cosa fare. Una soluzione efficace prevede la definizione esplicita dell'ambito di ciascuno strumento, in genere la misurazione del marketing e dell'acquisizione clienti in uno e il comportamento all'interno del prodotto nell'altro, con un identificativo condiviso che li colleghi e un'unica fonte concordata per qualsiasi metrica presente in entrambi. Laddove la stessa domanda possa essere risolta con entrambi gli strumenti, la risposta dovrebbe essere documentata una sola volta, anziché essere ricalcolata indipendentemente da chi la richiede.
Sia la privacy che il volume richiedono una gestione deliberata, poiché il tracciamento comportamentale dettagliato genera grandi insiemi di dati contenenti informazioni su individui identificabili ed è soggetto agli stessi obblighi di consenso e conservazione di qualsiasi altro trattamento di dati personali. In pratica il piano di tracciamento e la capacità di analisi sono stabiliti da analisi dei dati, la strumentazione è implementata come parte di sviluppo del prodotto piuttosto che adattati a posteriori, e i risultati risultanti alimentano la definizione delle priorità in ricerca sul prodottodove le evidenze comportamentali e le informazioni qualitative vengono valutate congiuntamente.