グロースとは学びを得ること

2018-01-18

こんにちは、安藤(@goando)と申します。私はTHE GUILDと言う組織に所属しながらU-NEXTのサービスのUX/UIに関わる部分のお手伝いをさせていただいています。

UXにおいても最近は「データ」を積極的に活用しようとサービスのグロースに取り組んでおり、この活動から得た事をシェアしたいと思います。

UXにおいてデータを重視する理由

U-NEXTでは2年前の全面リニューアル後、データ重視のUX改善に取り組み始めました。

サービスの新規立ち上げや全面リニューアル等、製作の時間が短く頼れるデータも限られる時期は、THE GUILDの様なUXの分野を専門に活動する企業の汎用的な知識・経験・事例が活かせる段階と言えます。

しかしサービス改善(スケール)のフェーズになると、汎用より個別の状況のほうが重要性を増し、データを重視した方法にシフトする必要があります。

なぜならば汎用的な知識・経験・事例はそれぞれの環境下で有効であると確かめられたものであり、それがU-NEXTにおいても同様に有効である保証・証拠はありません。

ユーザー動向・ユーザー利用環境・競合環境その他あらゆるものは一定でなく変化し続けます。従いこのフェーズではデータを取得・利用することで推論や類推でなく、事実に基づいた意思決定を下す事が何よりも重要になります。

またデータを正しく扱い、改善の為の仮説検証を繰り返せる仕組みを構築する事によりサービス・組織の拡大に合わせ生産性を低下させる事なく、改善を持続する事が出来るはずです。

グロースとは

「グロースハック」などのキーワードでご存知の方も多いと思いますが、米国では「VP of Growth」という肩書でサービスの成長に責任を負うポジションの人物が数多く居り、近年急激な速さで成長を遂げたサービスの多くはこういった人物の活躍によるものです。

中でも有名なのがChamath Palihapitiyaと共にFacebookを10億ユーザーまで押し上げた、現VP of Growth Alex Schulzです。彼らのグロースへの取り組みを非常に解りやすく体系立てた講義があるので、ぜひ参考にして下さい。

彼らのサービスにおける過去の取り組みから得られる事は、グロースは徹底した顧客体験の改善の取り組みの帰結であり、グロースにおける大きな役割をUXデザインが担っています。

U-NEXTのグロース

U-NEXTのリニューアル以降の2年間ほど、グロースにフォーカスしてデータの分析から得られた知見をフィードバックするという各種の取り組みを支援しています。

日本のVOD市場は過去4年で約165%の成長をしている市場で、2018年度には約1500万人に達すると見込まれています。

このような急成長する市場の中、U-NEXTは過去4年間で有料会員数において約245%の成長を続けており、市場の成長率を上回る速度で成長しています。

過去2年間に100を超えるような施策を実施し順調に成長していると言えますが、グロースの取り組みでキーファクターになっているのがABテストプラットフォームです。
ABテストについて多くの方がご存知だと思いますが、サービスのABテストについて近年世界で更に重要性が高まっており、ご紹介したいと思います。

正しいABテスト

多くの方がご存知のABテストですが、時折見かけるのが「改善案Aと改善案Bの方法のどちらがより良い結果に繋がるかを検証」するための方法として利用し、更には全てのユーザーをランダムに50% vs 50%にスプリットして行っているケースです。

これは正しいABテストの利用方法ではなく、本来は「現在の仕様A(対照群)に対し別の仕様B(介入群)の結果を比較」する実験方法で、仕様Bのみを特定の条件でランダムに抽出した一部の対象に対してのみ行い、元の状態との比較を行うのが本来の活用方法です。

ABテストは統計学や疫学の歴史の中で成り立ったランダム化比較試験の方法に基いており、統計的有意差が得られる数の集団に対して行う事で、全体への影響を必要最低限に抑え、実験の結果を検証する事が目的です。

因果と相関

因果と相関という言葉を良く聞くと思いますが、ABテストを語る上で一度これらの違いについて整理します。

因果関係

「2つの事柄のうち、どちらかが原因で、どちらかが結果である」状態を因果関係があると言います。この時、原因と結果が逆転する事はありません。
例えば「大きな火事現場ほど消防士が多くいる」というのはれっきとした因果関係ですが、これが逆転して「消防士が多くなると火事が大きくなる」という事は有り得ません。

相関関係

「2つの事柄に関係があるものの、その2つは原因と結果の関係にないもの」を相関関係があると言います。世の中には因果があるとしか思えないほど相関が強い偶然の一致が数多くあり、例えば以下の様な因果関係があるようにしか見えない事象さえ存在します。

現実的にニコラス・ケイジの出演映画が増えてもプール事故が増えるはずはありませんし、また逆も無いはずです。こういった相関を擬似相関と言います。

私達がサービスのグロースに日々取り組む時、最終的に値を変化させたいKPIに対して相関のある変数を探し、因果関係の存在を明らかにしていきます。その際に最も効果的な検証の方法がABテストなのです。

前後比較では因果関係を証明できない

アプリをアップデートしたらこんなにアクティブ率が上がった!という経験をされた方は多いと思います。
ですが、本当にそれはアップデートが起因した変化でしょうか?

ユーザーが行動に影響を与える条件はあまりに多く、例えば季節によるトレンド、休日、天気、など数え上げればキリがないほど多くの要因があります。
例えばU-NEXTでは2016年のある時期には以下の様にMAUが推移しました。

2017年の同時期のMAUの推移を重ね合わせると、このようにかなり変化が類似しています。それだけユーザーの行動が季節的な要因から受ける影響が大きい事が判ります。

U-NEXTの場合、動画配信サービスという事もあり供給する映画やドラマ等のコンテンツがユーザーの行動に相当に影響します。アップデート後に劇的に多くの数値が改善した事で大喜びをしていたら超大型タイトル「君の名は。」の配信と重なっただけ、でヌカ喜びだった等という事が何度もあります。

因果関係を証明するには、原因が起きた「事実」による結果と、原因が起きなかった「反事実」による結果を比較しなければなりません。

施策の本当の効果を測定したければ、その施策以外のパラメーターを全て同等にする必要があり、それは施策実施前と実施後の前後比較では絶対に比較が出来ません。(厳密には方法はありますが、コスト・手間的に現実的ではありません)

これを正しく行いたければ、同じ期間に正しくサンプリングされた対象のユーザーに対して実験を行い、A.従来の仕様.に対してB.新たな方法.の差を同時に比較するしか無いのです。

ABテストの本当の価値は学びを得る事

U-NEXTでもこの事を徹底せずに数多くの施策をそのまま実施してきた時期が過去にあり、今振り返ると本当にその施策は正しかったのか、どれくらいの変化を生み出していたのか、または改善しているように見えて、効果がなかった施策もあったかもしれません。

ABテストの価値は改善する事ではありません。結果が成功だったのか失敗だったのかに関わらず、仮説がどのような結果をもたらしたのかを定量的に分析し、実験を繰り返す事で学びを得る事で予想と結果の乖離を埋めていく事だと考えています。

グロースする施策を見つける事は本当に困難です。10個のアイディアで1つでも当たればラッキーかもしれません。しかし予想に反した結果になった9個のアイディアから学びを得る事で、その後の仮説検証の精度は必ず改善していくはずです。

U-NEXTにおけるグロースの指針

ABテストのメリットを活かし、U-NEXTでは以下に挙げる目標でグロースに取り組んでいます。

1. 全ユーザーにリリースする前に、局所的に効果の測定を行う

U-NEXTのユーザー規模では、概ね1%程度のユーザーを対象に実験をすれば統計的有意差を確認する事が出来ます。施策が与える影響をごく一部に抑え、改善の検証を行います。

2. 技術的負債を軽減する

1の通り局所的に検証が出来る為、仮にその施策に効果が無いと確認された場合、その施策を取り止める事が出来ます。もし全てのユーザーにリリースした場合、一度提供した機能を取り下げる事は難しく、こうした積み重ねによって多くの技術的負債を抱え続ける事に繋がります。

3. 議論に費やす時間を減らす

全てのユーザーにリリースするよりも影響を限定的に抑える事が出来るので、比較的容易に意思決定する事が出来ます。やるべきかやらざるべきかの議論に長い時間を費やす事を避ける事が出来、また議論するよりもリスクを最小化した上で「まずやってみよう」という姿勢に変わって行きます。

4. グロースのプロセス自体を改善し続ける

グロースを目指す活動において、プロセスを確立しサイクル自体を改善し続ける事が最も重要だと考えています。試行錯誤の反復を繰り返す中で、テクノロジーで置き換えられる部分は効率化し、置き換えが出来ない部分はマニュアル化を行う等、常にプロセスを改善していきます。
またU-NEXTはスマートフォンの他にも、タブレット、AndroidTV、セットトップボックス、Playstation等、対応するデバイスが数多くあります。一つのプラットフォームで成立した改善が他のデバイスにも適用出来るとは限らない為、実験のプロセスを体系化し横展開を可能にする必要があります。

先に触れた通り、現在U-NEXTはスケールのフェーズにあります。一部の専門家の知見や経験に依存しない拡大・持続可能な仕組みを構築する為、この様な方針で取り組んでいます。

トップランナー達のABテストの取り組み

最後に世界を代表するサービス達のABテストの取り組みを幾つか紹介したいと思います。

1. Facebook

Facebookはアプリはモバイル版登場から長らくHTMLベースでしたが、PCとモバイルのユーザー数の逆転に伴い2012年にネイティブアプリへのリプレースを行いました。
従来Gatekeeperという自社システムを利用していましたが、2014年にブログで「Airlock」というモバイル用ABテストプラットフォームを新たに構築した事を明かしています。
Airlock – Facebook’s mobile A/B testing framework
また同年「Deltoid」というABテストリアルタイム解析システムの概要を紹介しています。

何れのシステムも全容は明かされていませんが、CEOのマーク・ザッカーバーグは2016年のインタビューで以下の様に語っています。

私たちは巨大なテスティング・フレームワークに投資をしました。
このフレームワークによってエンジニアは1〜10万規模のユーザーに限定して思いついたアイディアを試す事が出来る為、現在数万のバージョンのFacebookが同時に稼働しています。
(一部省略)
全ての変更を私を含む経営陣が承認しなければいけない状況に比べて、はるかに多くの進歩を生み出す事が出来ています。

このインタビューからFacebookはABテストにおける実験を、経営陣の意思決定を伴わない形で実行している事が判ります。また数万のテストともなれば確実にエンジニア以外も実験に加わっている、非常に高度なプラットフォームである事が想像出来ます。

2. Netflix

Netflixも様々なABテストに取り組んでいる事で知られていますが、中でも独特なのが「作品のサムネイル画像」のABテストです。
彼らは「アプリ起動後90秒以内に視聴する作品を決定させなければ離脱する」というベンチマークを掲げており、人間の視覚の処理速度に着目しUI上に表示する映画・ドラマのサムネイルをそれぞれ複数パターン用意しABテストを行っています。
以下は「DAREDEVIL」という作品に6パターンのサムネイルを用意し、実験を行った例です。

テストの結果コンバージョンの高い方を採用しますが、言語・地域によって好まれるサムネイルの傾向についても知見が蓄積されているようです。以下の例は同じ「sense 8」という作品のサムネイルが各国で好まれるパターンがどの様に違うかを示した例です。

(参考)
Improving the power of a picture at Netflix — the Science and Engineering Behind the Curtain

3. Uber

Uberは今年の4月に独自ABテストフレームワーク「XP(experimentation platform)」を発表しています。
・社内の誰でも実験をする事が出来る。
・高いリアルタイム性による結果の検証。
が特長のようです。
(参考)
Building an Intelligent Experimentation Platform with Uber Engineering

4. Spotify

SpotifyはABテストのプラットフォームについては公表していませんが、GithubにHubFrameworkというUIフレームワークを2016年に公開しています。これはリリースを伴わずにUI構造を動的に変更する事が出来るフレームワークでABテストを見越して作られたと述べられています。
(参考)
Github: spotify/HubFramework

5. Dropbox

2017年3月に「Stormcrow」という独自のABテストプラットフォームを公表しています。モバイルアプリ、Web、インフラストラクチャを問わず動的にロジックを分岐する事が出来るとの事です。
(参考)
Introducing Stormcrow

6. Intuit

QuickBooks等の会計サービスで有名なIntuitは2017年1月に自社ABテストプラットフォーム「Wasabi」をオープンソースで公開しています。会計というサービスの性質上、他社のサービスを利用する事が難しく独自で開発したものです。自社サーバーでもクラウドでも運用出来る事が可能で、Intuitでは公開時点で同時約1000のテストを並列実行しているとの事です。
(参考)
Meet Wasabi, an Open Source A/B Testing Platform

7. Pinterest

データドリブン・カンパニーを自称するPinterestも、独自のABテストプラットフォームを2015年から運用しています。
(参考)
Building Pinterest’s A/B testing platform

8. メルカリ

最後に日本のメルカリですが、以前より独自のABテストプラットフォームを運用しており、同時数十パターンのテストを実行していると語られています。
(参考)
ドロワー vs 下タブの舞台裏

「Facebookなんかだと、少しずつ違う機能や見た目が部分的に反映された、何万というABテストが(同時に)走っている。メルカリでも数十本は走ってる。米国版ではテストが特に多い。(米国版の機能で)日本だと受け入れられるかどうか、というものは日本でもテストしているので、パターンは膨大にある」(山田氏)

(参考)
メルカリ創業者の山田進太郎氏、日米5500万DLの躍進をTechCrunch Tokyoで語る

より科学的になっていくグロースのアプローチ

この様に独自のABテストプラットフォームの存在を明らかにしているものの、全容については伏せている事から各社共にABテストプラットフォームがサービスの成長エンジンに位置付けられていると見て間違いないと考えています。

何れのプラットフォームも
・リアルタイムの分析が前提になっている
・千〜数万オーダーのテストを実行している
という事実から、エンジニア・非エンジニアを問わず実験を行っている事が垣間見えます。

以上の事実より、先進的なサービスでは間違いなくグロースはより科学的なアプローチに変化しており、その速度は今後機械学習等の技術の進化により、更に加速していくだろうと想像出来ます。

ABテストによってより多くの実験から学びを得て、改善へ繋げる取り組みが今後確実にサービスの明暗を分けていくでしょう。

これからもグロースやデータ分析・活用について、当ブログで知見を共有していきたいと思います。