如何量化用戶體驗(yàn)?

2020-12-15    資深UI設(shè)計(jì)者

互聯(lián)網(wǎng)下半場,所有的比拼都在產(chǎn)品體驗(yàn);然而“體驗(yàn)”是一個非常抽象的詞,我們怎么把一個抽象的概念拆解成可落地執(zhí)行的策略,作用到企業(yè)中后臺產(chǎn)品上,怎么衡量策略的有效性,這一直是我們團(tuán)隊(duì)面臨的重大課題。

1.

業(yè)界關(guān)于體驗(yàn)度量的經(jīng)驗(yàn)

目前關(guān)于“體驗(yàn)度量”比較成熟的理論模型當(dāng)屬 Google 的 HEART 模型,另外還有 ISO 9126 軟件質(zhì)量模型和Davis 的 TAM 技術(shù)接受模型。后人在此基礎(chǔ)上進(jìn)行了很多實(shí)踐,譬如 SAP 的用戶體驗(yàn)問卷(UEQ)、Oracle 的客戶體驗(yàn)價(jià)值公式(CX)等。公司內(nèi)部各個 BU 也在不斷的嘗試和探索,譬如新零售技術(shù)團(tuán)隊(duì)的 TES 模型。技術(shù)團(tuán)隊(duì)研發(fā)效能的 DEVA 模型,國際 UED 語音設(shè)計(jì)的 HII 模型,阿里云的 QoUE 模型。縱觀這些模型和實(shí)踐,大多是主觀數(shù)據(jù)和客觀數(shù)據(jù)的結(jié)合。

如何量化用戶體驗(yàn)?試試阿里這個新出的「兩章一分法」!

我們團(tuán)隊(duì)也曾提出過 TECH 、PTECH 模型,但由于模型的操作門檻較高、對埋點(diǎn)數(shù)據(jù)有不少要求,難以推廣到各條業(yè)務(wù)線。痛定思痛后,我們決定重新回歸業(yè)務(wù),回歸“體驗(yàn)度量”的初心,去繁從簡,提高通用性。

2.

企業(yè)中后臺產(chǎn)品的特點(diǎn)

企業(yè)級中后臺產(chǎn)品最大的特點(diǎn)是任務(wù)性質(zhì)非常明確;用戶使用這類產(chǎn)品通常是為了解決某個確定的問題點(diǎn),期待用新的解決方式降本增效。

如何量化用戶體驗(yàn)?試試阿里這個新出的「兩章一分法」!

桌面研究也表明:可用性問題是軟件行業(yè)的普遍問題:在英國,一般商用計(jì)算機(jī)用戶只有30%-40%的有效生產(chǎn)率;軟件缺陷中,48%是可用性問題。

正是基于上述原因,我們嘗試提出了“兩章一分”的標(biāo)準(zhǔn),分別從設(shè)計(jì)驗(yàn)收、可用性測試、易用度分?jǐn)?shù)等三個維度對產(chǎn)品體驗(yàn)進(jìn)行體檢和把關(guān)。

3.

什么是「兩章一分」

如何量化用戶體驗(yàn)?試試阿里這個新出的「兩章一分法」!

1. 設(shè)計(jì)驗(yàn)收章

“設(shè)計(jì)驗(yàn)收章”主要有 3 個維度:產(chǎn)品還原度、任務(wù)流程跑通率、單頁面加載時間。

產(chǎn)品還原度:指技術(shù)同學(xué)的最終產(chǎn)出與設(shè)計(jì)稿之間的差異;

匯總?cè)斯ぶ悄芫€、技術(shù)風(fēng)險(xiǎn)線等 5 個產(chǎn)品近 1 年的可用性測試結(jié)果。除功能、性能問題外,高頻體驗(yàn)問題主要集中在“幫助引導(dǎo)”、“操作反饋”、“任務(wù)流程”、“概念術(shù)語”、“功能入口”這 5 個方面。同時,結(jié)合之前項(xiàng)目沉淀的設(shè)計(jì)經(jīng)驗(yàn)和設(shè)計(jì)工具,我們最終將“產(chǎn)品還原度”的子維度定為“信息導(dǎo)航”、“幫助引導(dǎo)”、“操作反饋”、“文案名詞”;每個子維度用 2-3 句描述來進(jìn)行評分。

如何量化用戶體驗(yàn)?試試阿里這個新出的「兩章一分法」!

任務(wù)流程跑通率:驗(yàn)收確認(rèn)能跑通的主干任務(wù)流程數(shù),在所有主干任務(wù)流程數(shù)中的占比;舉個例子,設(shè)計(jì)稿中枚舉了 10 條主干任務(wù)流程,驗(yàn)收發(fā)現(xiàn)其中 9 條已跑通,那么任務(wù)流程跑通率就是 9/10*100%=90%。

單頁面加載時間:接入雨燕性能指標(biāo)數(shù)據(jù)的產(chǎn)品看“首次有效渲染時長 fmp”這個指標(biāo);未接入的產(chǎn)品直接主觀判斷,超過 3 秒的視為不合格。

2. 可用性測試章

“可用性測試章”也在驗(yàn)收階段執(zhí)行,同樣有三個參評維度:最終完成率、人均求助次數(shù)和高阻礙頁面。

如何量化用戶體驗(yàn)?試試阿里這個新出的「兩章一分法」!

我們沒有考慮將可用性測試的常用指標(biāo)——操作時長作為參評維度,主要原因是企業(yè)中后臺產(chǎn)品類型多、使用場景復(fù)雜程度各自不同:用語雀創(chuàng)建企業(yè)空間只需要 5 分鐘;用云鳳蝶搭建一個后臺頁面可能需要 60 分鐘,用 sofa stack 創(chuàng)建并發(fā)布一個應(yīng)用可能需要 2-3 個小時……難以確定可以作為標(biāo)準(zhǔn)的具體操作時長。

3. 易用度分?jǐn)?shù)

“易用度分?jǐn)?shù)”標(biāo)準(zhǔn)為 5.5 分。

4.

「兩章一分」的實(shí)踐

1. 案例實(shí)踐現(xiàn)狀

截至 2020 年 9 月,已有 58 個 產(chǎn)品實(shí)踐過“兩章一分”系列方法,基本覆蓋平臺設(shè)計(jì)團(tuán)隊(duì)支撐的重點(diǎn)項(xiàng)目及 UV 超過 100 的產(chǎn)品。詳細(xì)數(shù)據(jù)如下圖:

如何量化用戶體驗(yàn)?試試阿里這個新出的「兩章一分法」!

完整體驗(yàn)“兩章一分”的 18 個產(chǎn)品,僅可用性測試就幫助發(fā)現(xiàn) 364 個問題,平均每個產(chǎn)品發(fā)現(xiàn) 20 個問題;其中,“九州2.0 發(fā)布部署”發(fā)現(xiàn)問題數(shù)多達(dá) 53 個。

如何量化用戶體驗(yàn)?試試阿里這個新出的「兩章一分法」!

2. 實(shí)操經(jīng)驗(yàn)提煉

設(shè)計(jì)驗(yàn)收:共創(chuàng)式驗(yàn)收

企業(yè)中后臺產(chǎn)品生產(chǎn)階段中,由于一般沒有專門的測試同學(xué),因此設(shè)計(jì)驗(yàn)收都是由設(shè)計(jì)師或 PD 單獨(dú)執(zhí)行,沒有作為必選環(huán)節(jié),有時候甚至?xí)驗(yàn)殚_發(fā)周期緊張而直接略過;既沒有方法論,又缺乏儀式感。

“兩章一分”的實(shí)踐中,我們首次踐行“共創(chuàng)式驗(yàn)收”,以項(xiàng)目組會議的方式,邀請各個角色共同參與到驗(yàn)收環(huán)節(jié)中:如果產(chǎn)品沒有什么技術(shù)門檻,那么各個角色分別獨(dú)立操作核心流程;如果產(chǎn)品有一定的技術(shù)門檻,則由技術(shù)同學(xué)操作核心流程,同時共享屏幕,其他同學(xué)從旁觀察。操作完畢后,項(xiàng)目組內(nèi)共同討論發(fā)現(xiàn)的體驗(yàn)問題,并將問題落地到 Aone 中進(jìn)行排期管理落地。

如何量化用戶體驗(yàn)?試試阿里這個新出的「兩章一分法」!

可用性測試:引入“技術(shù)支持”+圈定測試人數(shù)+ 線上測試降成本

  • 引入“技術(shù)支持”

企業(yè)中后臺產(chǎn)品通常有一定的技術(shù)門檻,以 SOFAstack的測試任務(wù)為例:

使用 sofaboot 技術(shù)棧,創(chuàng)建 “hello world” 應(yīng)用,通過“經(jīng)典版”發(fā)布部署模式發(fā)布成功。

測試過程中經(jīng)常會出現(xiàn)一些涉及到底層技術(shù)系統(tǒng)的問題,非設(shè)計(jì)同學(xué)能解決,因此我們建議做企業(yè)中后臺產(chǎn)品的可用性測試時,需要配備至少一名技術(shù)支持同學(xué),以備不時之需。

  • 圈定測試人數(shù)

如何量化用戶體驗(yàn)?試試阿里這個新出的「兩章一分法」!

Jakob Nielsen 在 2000年提出測試 5 人就能發(fā)現(xiàn) 85%的可用性問題;結(jié)合我們的實(shí)際業(yè)務(wù)場景:有些產(chǎn)品真實(shí)客戶非常難找;前期“共創(chuàng)式驗(yàn)收”已跑通核心主干流程;因此我們將測試人數(shù)限制為 3 人。

  • 線上測試降成本

我們開始實(shí)操案例時,恰逢疫情期間,于是就引入了線上遠(yuǎn)程測試的方式;后續(xù)實(shí)踐下來,發(fā)現(xiàn)遠(yuǎn)程測試能在觀察、分析階段顯著降低執(zhí)行成本。

通過釘釘或阿里郎發(fā)起視頻會議,邀請參加測試和觀察的同學(xué)入會,請測試用戶共享操作屏幕,主持人錄屏捕捉用戶操作軌跡,PD、技術(shù)等項(xiàng)目組成員從旁觀察。測試結(jié)束后,使用語音轉(zhuǎn)文本工具,快速將音頻轉(zhuǎn)成文字。這種模式最大的好處有兩點(diǎn):

  • 突破了距離和觀察人數(shù)的限制;從實(shí)踐來看,現(xiàn)場測試結(jié)合遠(yuǎn)程測試的模式,至少能同時對 2-3 人進(jìn)行測試,執(zhí)行成本減半;
  • 語音轉(zhuǎn)文本后,顯著提升了分析效率。

如何量化用戶體驗(yàn)?試試阿里這個新出的「兩章一分法」!

執(zhí)行階段的多樣化

最開始提出“兩章一分”的時候,我們原本希望這套標(biāo)準(zhǔn)能被作為判斷產(chǎn)品體驗(yàn)是否好用,能否上線的標(biāo)準(zhǔn)之一;但實(shí)際并未推動成功。這里面有很多原因,其中一個非常實(shí)際的問題是很多產(chǎn)品需要調(diào)用線上數(shù)據(jù)庫才能跑通核心流程,在測試階段沒法跑通;這就導(dǎo)致在測試階段做可用性測試無法真實(shí)還原用戶場景。

此外,設(shè)計(jì)師或 PD 新接手某款產(chǎn)品時,也希望能通過可用性測試的方式來快速了解產(chǎn)品問題?;貧w到“兩章一分”的初心——幫助產(chǎn)品發(fā)現(xiàn)體驗(yàn)問題,因此,我們拓展了方法的執(zhí)行階段,不再局限于測試或驗(yàn)證階段,只要場景適合,都可以用。

3. 典型案例:LinkE 研發(fā)運(yùn)維中心一期

產(chǎn)品簡介

LinkE 研發(fā)運(yùn)維中心是云通未來 Serverless 戰(zhàn)場的重要產(chǎn)品;業(yè)務(wù)方希望用該產(chǎn)品來整合研發(fā)同學(xué)日常高頻使用的研發(fā)、運(yùn)維、中間件平臺,大幅減少平臺割裂和跳轉(zhuǎn),提供沉浸式的產(chǎn)品體驗(yàn)。

目前該產(chǎn)品還處于 0-1 建設(shè)的階段。

實(shí)踐過程

  • 為了確保產(chǎn)品體驗(yàn)良好,設(shè)計(jì)師在驗(yàn)收階段引入“兩章一分”,進(jìn)行共創(chuàng)驗(yàn)收和可用性測試;
  • 共創(chuàng)驗(yàn)收階段,邀請 PD、技術(shù) 等 8 名同學(xué)一起參與,最終結(jié)果為“通過”;
  • 可用性測試階段,設(shè)計(jì)師根研發(fā)通用場景,招募 6 名研發(fā)同學(xué)參與兩個可用性測試任務(wù),分別為:任務(wù) 1,基于代碼變更完成研發(fā)自測聯(lián)調(diào);任務(wù) 2,基于發(fā)布完成分支的集成、預(yù)發(fā)、灰度、生產(chǎn)

結(jié)果用戶在任務(wù) 2 遇到高阻礙頁面,導(dǎo)致可用性測試結(jié)果為“不通過”,任務(wù) 2 的易用度分為僅 4.4 分,顯著低于 5.5 分的參考標(biāo)準(zhǔn);最終發(fā)現(xiàn) 30+ 問題點(diǎn),并推動 PD 思考產(chǎn)品邏輯設(shè)置是否合理。

如何量化用戶體驗(yàn)?試試阿里這個新出的「兩章一分法」!

實(shí)踐效果

  • 經(jīng)過兩次完整實(shí)踐,LinkE 設(shè)計(jì)師已能完全獨(dú)立操作執(zhí)行“兩章一分”;
  • 業(yè)務(wù)方的參與度 & 認(rèn)知度提升明顯:已開始習(xí)慣將“兩章一分”設(shè)為項(xiàng)目里程碑,并全員參與進(jìn)來。

如何量化用戶體驗(yàn)?試試阿里這個新出的「兩章一分法」!

4. 實(shí)踐總結(jié)

在實(shí)踐過程中,我們發(fā)現(xiàn)企業(yè)中后臺產(chǎn)品的典型場景大致可以分為 4 個場景;不同場景面臨的設(shè)計(jì)項(xiàng)目有所偏重;不同設(shè)計(jì)項(xiàng)目在體驗(yàn)度量方面的切入點(diǎn)也有所不同。譬如:云鳳蝶是一個典型的沉浸式畫布頁面,所有操作幾乎都是通過編輯器屬性面板來調(diào)整,那么如何來評估編輯器的效率呢?通過一系列實(shí)踐和思考,我們提出可以通過“高頻屬性查找、配置的步驟數(shù)和時間”、“設(shè)置相同組件屬性的耗時變化”等指標(biāo)進(jìn)行衡量。以下是我們根據(jù)不同典型場景、設(shè)計(jì)項(xiàng)目提出的體驗(yàn)度量切入點(diǎn)。

如何量化用戶體驗(yàn)?試試阿里這個新出的「兩章一分法」!

5.

「兩章一分」的未來

經(jīng)過 S1 長達(dá)幾個月的探索:我們制定了“兩章一分”的標(biāo)準(zhǔn);對 30+ 產(chǎn)品進(jìn)行了易用度分?jǐn)?shù)的測試,捕捉分?jǐn)?shù)基線;提煉實(shí)操方法技巧,并賦能給各位設(shè)計(jì)師;聯(lián)合設(shè)計(jì)師和業(yè)務(wù)方跑通近 20 個案例。不管是問題發(fā)現(xiàn)數(shù)量,還是設(shè)計(jì)師、業(yè)務(wù)方的主觀反饋,都讓我們堅(jiān)定“兩章一分”在企業(yè)中后臺產(chǎn)品體驗(yàn)優(yōu)化中是一個相對有效的模式。為此,S2 我們打算繼續(xù)深化。

如何量化用戶體驗(yàn)?試試阿里這個新出的「兩章一分法」!

  • 落標(biāo)準(zhǔn):在關(guān)鍵業(yè)務(wù)線將“兩章一分”落地到業(yè)務(wù)生產(chǎn)環(huán)節(jié)中,不過“兩章一分”就不能上線;
  • 分基線:區(qū)分不同產(chǎn)品類型和迭代大小,制定不同的易用度分?jǐn)?shù)基線;
  • 升方法:針對跨產(chǎn)品、跨域等難以推動的橫向體驗(yàn)項(xiàng)目,我們考慮升級方法,如將可用性測試升級為“用戶體驗(yàn)日”,以便更好地推動問題落地;
  • 閉案例:針對 S1 已跑通的業(yè)務(wù),我們會在 S2 進(jìn)行案例閉環(huán)測試,以驗(yàn)證優(yōu)化效果是否真的能在“兩章一分”上體現(xiàn)出來;
  • 始運(yùn)營:我們會挑選一些案例在公司內(nèi)外發(fā)聲,找相關(guān)業(yè)務(wù)領(lǐng)域的團(tuán)隊(duì)進(jìn)行交流和探討;并從案例中總結(jié)和提煉設(shè)計(jì)技巧,幫助業(yè)務(wù)成長。

總結(jié)

我們團(tuán)隊(duì)當(dāng)前支持的企業(yè)中后臺產(chǎn)品以 0-1 階段產(chǎn)品為主,PD 通常缺少用戶意識和體驗(yàn)優(yōu)化手段,這就導(dǎo)致了設(shè)計(jì)稿還原度較差、產(chǎn)品上手門檻較高。針對這一現(xiàn)狀,我們嘗試性地提出了“兩章一分”這個評價(jià)標(biāo)準(zhǔn),從設(shè)計(jì)驗(yàn)收、可用性測試、易用度分?jǐn)?shù) 3 個維度來評價(jià)產(chǎn)品當(dāng)前的體驗(yàn)現(xiàn)狀。

通過 S1 50+ 產(chǎn)品的實(shí)操,我們一邊不斷完善評價(jià)標(biāo)準(zhǔn)和實(shí)操經(jīng)驗(yàn),一邊總結(jié)體驗(yàn)度量經(jīng)驗(yàn);共幫助 18 個產(chǎn)品發(fā)現(xiàn) 364 個產(chǎn)品,并在 link 、sofa 等重點(diǎn)產(chǎn)品線中落地到業(yè)務(wù)生產(chǎn)環(huán)節(jié)中,在業(yè)務(wù)方層面收到良好反饋。

在這過程中,我們總結(jié)了適合不同場景、不同設(shè)計(jì)項(xiàng)目的體驗(yàn)度量切入點(diǎn),驗(yàn)證了這種方式在當(dāng)前企業(yè)中后臺產(chǎn)品中確實(shí)有效。后續(xù)我們將嘗試細(xì)化標(biāo)準(zhǔn),閉環(huán)案例,對內(nèi)對外發(fā)聲等方式,更好地推動體驗(yàn)思維在企業(yè)中后臺產(chǎn)品生根發(fā)芽;同時,也期待能跟對這塊感興趣的同行朋友們多多交流。


文章來源:優(yōu)設(shè)   作者:
AlibabaDesign

藍(lán)藍(lán)設(shè)計(jì)m.sillybuy.com )是一家專注而深入的界面設(shè)計(jì)公司,為期望卓越的國內(nèi)外企業(yè)提供卓越的UI界面設(shè)計(jì)、BS界面設(shè)計(jì) 、 cs界面設(shè)計(jì) 、 ipad界面設(shè)計(jì) 、 包裝設(shè)計(jì) 、 圖標(biāo)定制 、 用戶體驗(yàn) 、交互設(shè)計(jì)、 網(wǎng)站建設(shè) 、平面設(shè)計(jì)服務(wù)

分享本文至:

日歷

鏈接

個人資料

存檔