Monday, September 12, 2005
Dropping Features (again)
While discussing the concepts of my previous posting on dropping features with a customer, he promptly asked about how tracking usage can systematically help product evolution. My strategy is quite simple, and is based (like many other simple, effective ideas) on quadrants.
Once we have usage profiles, we can define two metrics:
- The usage frequency of a feature. We can define the frequency as the number of times a feature has been used, divided by the total usage count. We do this for each user, then we take the maximum as the usage frequency of that feature.
- The percentage of customers that used that feature at least once.
We can then define a threshold for each metric, based on a Pareto analysis. We will classify a feature as "low frequency" if its usage frequency is below the threshold (high frequency otherwise), and as "rarely used" if the percentage of users is below the threshold (commonly used otherwise).
Each feature will belong to a quadrant:
1) Low frequency, Rarely used
This feature is definitely a candidate for removal. If we believe in its value, we must improve its usability, or make other significant changes.
2) Low frequency, Commonly used
Lot of people are using this feature, but just once in a while. It could be an unavoidable but unpleasant step in the current application. Is there a way to do without?
3) High frequency, Rarely used
This is probably an extremely valuable feature, but for a small niche! Can we make it more useful for the others? Is it just hidden or unintuitive to the majority of users ("mystery meat" as Krug would say)? Is it in the wrong product? Could it be the seed of a new niche product?
4) High frequency, commonly used
This is the real application core, as seen by the users. Learn from that! Build upon that!
Once we have usage profiles, we can define two metrics:
- The usage frequency of a feature. We can define the frequency as the number of times a feature has been used, divided by the total usage count. We do this for each user, then we take the maximum as the usage frequency of that feature.
- The percentage of customers that used that feature at least once.
We can then define a threshold for each metric, based on a Pareto analysis. We will classify a feature as "low frequency" if its usage frequency is below the threshold (high frequency otherwise), and as "rarely used" if the percentage of users is below the threshold (commonly used otherwise).
Each feature will belong to a quadrant:
1) Low frequency, Rarely used
This feature is definitely a candidate for removal. If we believe in its value, we must improve its usability, or make other significant changes.
2) Low frequency, Commonly used
Lot of people are using this feature, but just once in a while. It could be an unavoidable but unpleasant step in the current application. Is there a way to do without?
3) High frequency, Rarely used
This is probably an extremely valuable feature, but for a small niche! Can we make it more useful for the others? Is it just hidden or unintuitive to the majority of users ("mystery meat" as Krug would say)? Is it in the wrong product? Could it be the seed of a new niche product?
4) High frequency, commonly used
This is the real application core, as seen by the users. Learn from that! Build upon that!
Comments:
<< Home
Il discorso, secondo me, andrebbe contestualizzato anche al tipo di funzionalità su cui si esegue la statistica d'uso. Se ad esempio si tratta di un'opzione di configurazione o similia, magari verrà richiamata raramente anche se gli effetti della scelta verranno sfruttati intensivamente. Un uso raro delle opzioni di configurazione non dovrebbe quindi essere un valido criterio per candidare alla rimozione tali funzionalità, ovviamente :-))
Che mi dite dei punteggi d'uso assegnati da Windows e consultabili nella finestra del Pannello di controllo "Installazione applicazionii", per non parlare di altre amenità come pulitura Desktop e chi più ne ha più ne metta. Vi pare, e mi riferisco soprattutto alla prima citata, che funzioni a dovere?
Che mi dite dei punteggi d'uso assegnati da Windows e consultabili nella finestra del Pannello di controllo "Installazione applicazionii", per non parlare di altre amenità come pulitura Desktop e chi più ne ha più ne metta. Vi pare, e mi riferisco soprattutto alla prima citata, che funzioni a dovere?
# posted by 
: 10:19 AM
: 10:19 AM
Addendum
La statistica d'uso ovviamente considera il passato e non può, per forza di cose prevedere il futuro. Metto quindi in guardia dall'agire alla leggera e rimuovere funzionalità, magari troppo avveniristiche (ma quando mai? ;-) che non sono state adeguatamente sfruttate, ma potrebbero diventarlo in futuro, se il motivo della loro ragion d'essere non è la pigrizia del programmatore / progettista o la particolare affezione nel voler mantenere ad ogni costo il frutto del suo sudato lavoro. Quindi le statistiche d'uso potrebbero innescare magari più proficuamente, una sorta di "Tips of the day" e consigliarne all'uso gli utenti.
La statistica d'uso ovviamente considera il passato e non può, per forza di cose prevedere il futuro. Metto quindi in guardia dall'agire alla leggera e rimuovere funzionalità, magari troppo avveniristiche (ma quando mai? ;-) che non sono state adeguatamente sfruttate, ma potrebbero diventarlo in futuro, se il motivo della loro ragion d'essere non è la pigrizia del programmatore / progettista o la particolare affezione nel voler mantenere ad ogni costo il frutto del suo sudato lavoro. Quindi le statistiche d'uso potrebbero innescare magari più proficuamente, una sorta di "Tips of the day" e consigliarne all'uso gli utenti.
# posted by : 10:28 AM
: 10:28 AM
Approfitto dei tuoi commenti per discutere un aspetto metodologico.
In generale, io apprezzo le tecniche "sistematiche" come l'uso dei quadranti di cui sopra, ma non propongo mai una tecnica sistematica come un sostituto del giudizio umano. E' uno strumento, di volta in volta un amplificatore, un microscopio, una lente. In questo caso, ci aiuta a mettere a fuoco la concentrazione, a valutare ogni feature sotto la giusta luce critica, anziche' divagare in base alla sola intuizione soggettiva.
Arrivando invece allo specifico, il tuo secondo commento e' a mio avviso incluso in quel "if we believe in its value ...".
La configurazione e' invece una interessante coincidenza perche' al cliente l'ho citata come un esempio tipico di "usata da tanti ma di rado" (quindi comunque non candidata al discard). Scrivendo il messaggio qui, tuttavia, non ne ho parlato esplicitamente. Da un lato perche' il blog e' il blog :-), non un libro :-). Dall'altro perche' a posteriori mi sono detto che e' comunque piu' corretto privilegiare una visione acontestuale (sorry) dei quadranti.
Esempio concreto: se la configurazione, su 1000 utenti, la usa uno solo ed una sola volta, io valuterei seriamente l'idea di rimuoverla (almeno dalla user interface), oppure di far capire agli utenti che esiste questa possibilita'. Se invece un sottoinsieme piccolo la usa di continuo, c'e' comunque qualcosa che non va, e forse ci serve un programma di configurazione separato, e/o la possibilita' di caricare configurazioni alternative, ecc.
Poi, come dicevo sopra, e' ovvio che funzionalita' per funzionalita' dobbiamo comunque applicare il nostro giudizio umano sopra alla guida sistematica...
In generale, io apprezzo le tecniche "sistematiche" come l'uso dei quadranti di cui sopra, ma non propongo mai una tecnica sistematica come un sostituto del giudizio umano. E' uno strumento, di volta in volta un amplificatore, un microscopio, una lente. In questo caso, ci aiuta a mettere a fuoco la concentrazione, a valutare ogni feature sotto la giusta luce critica, anziche' divagare in base alla sola intuizione soggettiva.
Arrivando invece allo specifico, il tuo secondo commento e' a mio avviso incluso in quel "if we believe in its value ...".
La configurazione e' invece una interessante coincidenza perche' al cliente l'ho citata come un esempio tipico di "usata da tanti ma di rado" (quindi comunque non candidata al discard). Scrivendo il messaggio qui, tuttavia, non ne ho parlato esplicitamente. Da un lato perche' il blog e' il blog :-), non un libro :-). Dall'altro perche' a posteriori mi sono detto che e' comunque piu' corretto privilegiare una visione acontestuale (sorry) dei quadranti.
Esempio concreto: se la configurazione, su 1000 utenti, la usa uno solo ed una sola volta, io valuterei seriamente l'idea di rimuoverla (almeno dalla user interface), oppure di far capire agli utenti che esiste questa possibilita'. Se invece un sottoinsieme piccolo la usa di continuo, c'e' comunque qualcosa che non va, e forse ci serve un programma di configurazione separato, e/o la possibilita' di caricare configurazioni alternative, ecc.
Poi, come dicevo sopra, e' ovvio che funzionalita' per funzionalita' dobbiamo comunque applicare il nostro giudizio umano sopra alla guida sistematica...
Precisazione
Caro Carlo,
nella mia (lunga ?) esperienza di dialogo e scambio d'opinioni a mezzo internet mi sono reso conto che "le parole sono pietre" più spesso di quanto noi crediamo e gli emoticons solo in parte riescono a mitigare questa difficoltà. La tua replica mi fa percepire che i miei commenti siano stati presi non nel giusto verso. Semplicemente volevo dare ad intendere che anch'io avevo capito la lezione, come lo studente che alza spesso la mano più per desiderio di mettersi in mostra che per sopravanzare il docente sortendo comunque l'effetto d'irritarlo. A questo punto spero di non aver frainteso io il tuo commento (ed è possibile dato che sono ancora alterato per il malfunzionamento della macchinetta del caffé ;-).
Comunque l'informalità del Blog ha anche tanti pregi rispetto al libro e nell'uno e nell'altro caso verba volant, scripta manent e convengo che questo ci dovrebbe stimolare alla responsabilità di essere meno impulsivi (parlo soprattutto per me).
Con grande stima.
Caro Carlo,
nella mia (lunga ?) esperienza di dialogo e scambio d'opinioni a mezzo internet mi sono reso conto che "le parole sono pietre" più spesso di quanto noi crediamo e gli emoticons solo in parte riescono a mitigare questa difficoltà. La tua replica mi fa percepire che i miei commenti siano stati presi non nel giusto verso. Semplicemente volevo dare ad intendere che anch'io avevo capito la lezione, come lo studente che alza spesso la mano più per desiderio di mettersi in mostra che per sopravanzare il docente sortendo comunque l'effetto d'irritarlo. A questo punto spero di non aver frainteso io il tuo commento (ed è possibile dato che sono ancora alterato per il malfunzionamento della macchinetta del caffé ;-).
Comunque l'informalità del Blog ha anche tanti pregi rispetto al libro e nell'uno e nell'altro caso verba volant, scripta manent e convengo che questo ci dovrebbe stimolare alla responsabilità di essere meno impulsivi (parlo soprattutto per me).
Con grande stima.
# posted by : 9:23 AM
: 9:23 AM
Romano, credo che il fenomeno dell'alterazione percettiva :-) di strumenti come l'email, i blog, ecc, sia ormai familiare a tutti noi che frequentiamo la virtualita' :-) da un po'.
Nel caso specifico, io partivo da un tuo contributo per raccontare come vedo il ruolo delle tecniche sistematiche, e approfittavo delle tue parole per spiegare meglio (? :-) su un caso specifico la tecnica proposta.
Lungi da me l'idea di irritarmi o di rimbrottare :-) chi contribuisce piu' di ogni altro :-) ad animare il mio blog.
Davvero, non fatevi problemi a scrivere le vostre opinioni. Se poi sono proprio insulti pesanti, magari li cancello :-).
Post a Comment
Nel caso specifico, io partivo da un tuo contributo per raccontare come vedo il ruolo delle tecniche sistematiche, e approfittavo delle tue parole per spiegare meglio (? :-) su un caso specifico la tecnica proposta.
Lungi da me l'idea di irritarmi o di rimbrottare :-) chi contribuisce piu' di ogni altro :-) ad animare il mio blog.
Davvero, non fatevi problemi a scrivere le vostre opinioni. Se poi sono proprio insulti pesanti, magari li cancello :-).
<< Home
