5.2 機能の採用と利用の指標

概要と動機

機能の採用は、機能が構築された対象の人々が実際にそれを使うかどうか、どの程度の割合で、そしてその利用が時間とともに持続するかどうかを測定します。これは、非常に直接的な意味で、本書の第2部から第4部が測定するすべてのことに対する現実の確認です。組織は頻繁にデプロイし、優れた開発者体験を維持し、完璧にテストされたコードを出荷しながら、それでも誰も望んでいないものを構築し続けることがあります。採用データは、エンジニアリング組織がそのアウトプットが本物の成果に結びついたかどうかをそもそも発見する場所であり、これはまさにトピック1.3が導入したインプット・アウトプット・成果の区別を、本書で最も具体的な事例、特定の出荷された機能に適用したものです。

本トピックの中心的な懸念は、採用データが、本書の他のほとんどすべての指標ファミリーよりも、情報を与えるというよりも良く見せる方法で測定しやすいということです。機能は、単なる好奇心や強制的な露出(ユーザーが望むかどうかにかかわらず現れるモーダル)だけで印象的な初期採用を示すことがある一方で、新しさが薄れた後も人々が使い続けるかどうかによって測定される本物の持続的な価値提供はまったく違う話を語ります。本物の採用を一時的な急増から区別することが本トピックの中心的な技術的課題であり、これを誤ると、組織は静かに失敗している機能を祝い、ちょうど観客を見つけ始めていた機能を放棄することに日常的につながります。

大規模なチームにとって、機能の採用データは、ロードマップの優先順位づけを、自分のチームの仕事を最も説得力をもって擁護する人によって動かされるのではなく、証拠に基づいたものにするものです。大規模な製品ポートフォリオを管理する企業組織は、どの投資が見合うものであるかを特定するために採用データを必要とします。市民に向き合うデジタルサービスを構築する政府組織は、公共投資が技術的に存在するサービスではなく、人々が実際に使うサービスを生み出したことを実証するためにそれを必要とします。

重要な原則

初期採用と持続的な採用は異なるシグナルである。 好奇心や強制的な露出からの急増は、本物の持続的な価値提供と同じではありません。
採用はそれが構築された対象の観客に対して測定されるべきである。 あなたの全ユーザーベースに対して無差別にではありません。
採用の低い機能は自動的に失敗ではない。 それは発見されにくい、ターゲティングが悪い、あるいは単に新しいだけかもしれません。結論を出す前に調査してください。
利用の定着は単一の採用のスナップショットよりも重要である。 機能を試した人々がそれに戻ってき続けるかどうかを追跡してください。
採用データは強制的な露出やダークパターンを通じたゲーミングにさらされている。 機能を避けにくくすることで膨らまされた数字は本物のシグナルではありません。

推奨事項

初期の試用と持続的な定着を区別する

二つの別々の数字を追跡してください。あなたの対象観客のうち少なくとも一度機能を試した割合(初期採用)と、4週間あるいは8週間などの意味のある期間の後にまだそれを使っている割合(定着した採用)です。高い初期試用と低い定着は、発見可能性はうまくいったが機能自体が人々を戻らせ続けるのに十分な価値を提供しなかったことを示唆します。これは、低い初期試用と高い定着(十分な人々がまだ知らない本物に価値のある機能を示唆する)とはまったく異なる診断であり、まったく異なる修正です。

採用を測定する前に対象観客を正確に定義する

機能が特定のセグメントのためだけに意図されていた場合、あなたの全ユーザーベースに対して測定された採用は誤解を招く可能性があります。企業の管理者向けの機能は、ほとんどが個人ユーザーのベースに対して測定されると、それが実際に構築された対象の人々をどれだけうまく奉仕しているかにかかわらず、常にひどい採用を持っているように見えます。公開前に意図された観客を明示的に定義し、あなたの総ユーザー数ではなく、その特定の分母に対して採用を測定してください。

機能が失敗したと結論づける前に低い採用を調査する

低い採用の数字には、非常に異なる対応を求めるいくつかの考えられる原因があります。機能が本物に価値がない、機能は価値があるが発見されにくい(ユーザーがそれが存在することを知らない)、機能は価値があるが説明が不十分である(ユーザーはそれを見るが目的を理解しない)、あるいは測定の期間が単に、採用の遅い機能がまだその観客を見つけるには短すぎるかのいずれかです。さらに投資するか、再設計するか、廃止するかを決定する前に、これらのどれが当てはまるかを調査してください。

強制的な露出やダークパターンによって膨らまされた採用に注意する

機能が避けにくいこと、押し付けがましいオンボーディングフロー、ユーザーが却下しなければならないモーダル、変更が難しいデフォルトによって動かされた採用の数字は、本物の価値提供を測定しておらず、それをあたかもそうであるかのように祝うことは、トピック1.2の代替ゲーミングのパターンを製品の形で繰り返しています。可能な場合、生の採用の数字を特定の機能についての満足度やネットプロモーター型のシグナルと組み合わせ、本物の満足度に結びつかない強制的な露出が祝われるのではなく捕捉されるようにしてください。

採用のトレンドを特定の製品とエンジニアリングの決定に遡って結びつける

採用が予期せず上昇したり下降したりしたとき、その変化を、説明のつかない謎として扱うのではなく、特定の決定、UIの変更、デフォルト設定の変更、マーケティングの働きかけ、パフォーマンスの改善あるいは劣化に遡って追跡してください。これは採用データを実行可能な製品とエンジニアリングの学びに結びつけ、特定の変更とそれが実際の利用に与える測定された効果の間のループを閉じます。

トレードオフ:長所と短所

アプローチ	長所	短所
総ユーザーベースに対して測定する	単純、単一の分母	特定のセグメントを対象とした機能には誤解を招く
定義された対象観客に対して測定する	意図された到達範囲の公平で正確な反映	公開前の意図的な観客の定義が必要
初期試用のみ	速いシグナル、公開後すぐに利用可能	機能が持続的な価値を提供するかどうかを見逃す
初期試用と定着の両方	好奇心と本物の価値を区別する	全体像が浮かび上がるまでより長く(数週間)待つ必要がある

中心にある緊張関係は速度と正直さです。初期試用データは公開後ほぼ即座に利用可能であり、早期の結果を報告する組織的なプレッシャーを満たしますが、それだけでは好奇心や強制的な露出を本物の持続的な価値から区別することはできません。この緊張を解消するには、初期試用データを早期に、予備的であると明確に表示して報告しながら、固定された事前に決定された間隔でのフォローアップの定着の読み取りに公に約束し、早期の熱意が本物のシグナルが現れる時間を得る前に検証されていない成功物語として固まらないようにしてください。

チームで話し合うべき問い

私たちの最も最近出荷された機能について、初期試用と定着した利用を別々に知っているでしょうか、それとも単一の結合された数字だけでしょうか。結合された数字だけが存在するなら、そのギャップは本トピックが中心的だと扱う好奇心対価値の区別をまさに隠しています。
この機能の私たちの対象観客は公開前に明示的に定義されていたでしょうか、そして私たちはその特定のグループに対して採用を測定しているでしょうか。あなたの現在の採用の分母が機能が実際に構築された対象と一致しているか、それとも無関係な広い集団に対して測定することで希釈されているかを確認してください。
採用の低い機能について、私たちはいくつかの考えられる原因(低い価値、発見されにくさ、説明不足、時間不足)のどれが実際に当てはまるかを調査したでしょうか。「それは価値がないに違いない」と既定するのではなく、実際の現在の採用の低い機能についてこの特定の診断リストをたどってください。
私たちが報告している採用の数字のどの部分かが、本物の自発的な利用ではなく、強制的な露出、押し付けがましいデフォルト、却下が必須のモーダルによって膨らまされているでしょうか。ここで正直になってください。これは、特に早期の肯定的な結果を示すプレッシャーの下で、陥りやすい一般的なパターンです。
ある機能の採用が大きく動いたとき、その動きを私たちが行った特定の変更に遡って追跡できたでしょうか。 答えが通常「わからない」であるなら、そのギャップは、あなたの組織が時間をかけて自身の採用データから実際に学べる量を制限します。
私たちは採用の数字を同じ機能の何らかの満足度のシグナルと組み合わせているでしょうか、それとも生の利用だけを追跡しているでしょうか。 低い満足度と組み合わされた高い採用の数字は、生の利用だけでは完全に見逃す警告サインです。

業種別の視点

スタートアップ。 機能の採用は、しばしば若い企業が持つ単一の最も重要なシグナルであり、プロダクトマーケットフィット自体に密接に結びついています。最初の機能の公開から、単なる初期試用だけでなく特に定着を追跡してください。企業の存続がこの診断を正しく行うことにかかっているかもしれないとき、本物の価値を初期の好奇心から区別することが重要だからです。

中小企業。 ほとんどの分析プラットフォームは最小限の設定で基本的な利用データを報告します。主な規律は、特定の機能が実際に構築された対象が誰であるかにかかわらず、あなたの全顧客ベースに対して採用を報告するのではなく、測定する前に対象観客を明確に定義することです。

企業。 この規模での採用データは、大規模な製品ポートフォリオ全体にわたる公平で証拠に基づいたロードマップの優先順位づけに不可欠であり、初期試用を持続的な定着から区別する規律はここでさらに重要です。なぜなら、十分に大きなユーザーベースは、実際の価値にかかわらず、ほとんどどんな公開でも印象的に見える初期の急増を生み出すことができるからです。

政府。 市民に向き合うデジタルサービスの採用は、公共投資が本物の公共の利益に転換したかどうかの直接的で具体的な尺度であり、しばしば監督機関にとって提供や活動の件数よりもはるかに説得力のある指標です。サービスが実際に奉仕するよう構築された集団に対して採用を測定し、サービス自体の設計を超えて低い採用を説明するかもしれない障壁(デジタルリテラシー、アクセス、認知)について正直になってください。

事例

企業。 あるプロジェクト管理ソフトウェア会社は、新しい協働編集機能を公開し、最初の2週間以内に印象的な60%の初期試用率を祝いました。8週間後のフォローアップの定着の読み取りは、その初期試用者のうちわずか8%だけがまだその機能を定期的に使っていることを示し、高い試用率がほぼ完全に、本物の持続的な関心ではなく、目立って却下しにくいオンボーディングのツールチップによって動かされていたことを明らかにしました。機能の利用をやめた早期試用者からの定性的フィードバックの調査は、特定の修正可能なユーザビリティの問題、直感的でない相互作用のパターンを明らかにし、的を絞った再設計がそれに対処し、定着した利用は修正後にほぼ3倍になりましたが、誤解を招くほど高かった初期試用の数字には決して近づきませんでした。

政府。 ある国家雇用サービスは新しいオンライン求人マッチングツールを公開し、当初は機関の全登録ユーザーベースに対して採用を報告し、プログラムの継続的な資金提供を脅かす落胆させるような低い割合を生み出しました。採用を特にそのツールの対象業種で積極的に仕事を探している登録ユーザーのサブセット、実際の意図された対象に対して測定した改訂された分析は、実質的に高くより正確な採用率を示しました。その定義された対象に特化した的を絞ったアウトリーチキャンペーンと組み合わせ、採用者の間で強い持続的な利用を示すその後の定着の読み取りと組み合わせて、プログラムは、誤解を招くほど希釈された元の数字ではなく、修正され正直に対象を絞った指標に基づいて継続的な資金提供を確保しました。

ビジネスケース:動機、ROI、総所有コスト

厳密な機能採用測定からの見返りは、証拠に基づいたロードマップ投資です。本物の定着した価値を好奇心主導の初期試用から区別できる組織は、誤解を招く初期の急増を追いかけたり、本物に価値があるが発見されにくい機能を時期尚早に放棄したりするのではなく、本当にうまくいっている機能に自信を持ってさらに投資し、そうでないものから努力を振り向け直すことができます。

総所有コストは主に分析の計測であり、通常ほとんどの現代の製品分析プラットフォームですでに利用可能であり、加えて、対象観客を明示的に定義し、早期の不完全なシグナルで止まるのではなくフォローアップの定着の読み取りに約束する規律です。その規律はほとんどコストがかからず、誤った成功あるいは誤った失敗のどちらかを誤読するというはるかに高くつく間違いを防ぎます。

アンチパターンと落とし穴

初期試用だけを報告し、定着を一度も報告しない。 好奇心や強制的な露出を本物の持続的な価値から区別できません。
間違った分母に対して採用を測定する。 特定の観客セグメントを対象とした機能のシグナルを希釈または膨らませます。
低い採用の特定の原因を調査せずに機能が失敗したと結論づける。 本物に価値があるが発見されにくい、あるいはタイミングの悪い機能を放棄するリスクがあります。
強制的な露出やダークパターンによって膨らまされた採用を祝う。 トピック1.2の代替ゲーミングの製品側の事例です。
採用の動きを特定の決定に遡って一度も追跡しない。 組織自身のデータからの組織的な学びを制限します。
対応する満足度のシグナルなしに利用を追跡する。 高い利用が低い本物の価値や満足度と共存するケースを見逃します。

成熟度モデル

レベル1、開始: 採用は測定されていないか、単一の早期の定着していない試用の数字だけが報告されています。
レベル2、発展: いくつかの採用追跡が存在しますが、対象観客は正確に定義されておらず、定着は一貫して測定されていません。
レベル3、標準化: 初期試用と定着した採用の両方が、すべての主要な機能について正確に定義された対象観客に対して一貫して追跡されています。
レベル4、管理: 採用の低い機能は、再設計または廃止の決定の前に特定の根本原因について体系的に調査され、採用は満足度データと組み合わされています。
レベル5、最適化: 採用データが直接的かつ日常的にロードマップの優先順位づけと投資の決定に情報を与え、組織は特定の採用の動きを特定の製品とエンジニアリングの決定に自信を持って遡って追跡できます。

議論のためのアイデア

私たちの初期試用と定着した採用がまったく異なる話を語った最近の機能は何でしょうか。
私たちの最後の機能の対象観客は公開前に正確に定義されていたでしょうか、それとも後でしょうか。
その運命を決める前に正直な根本原因調査に値する採用の低い機能は何でしょうか。
私たちの現在の採用の報告のどの部分かが強制的な露出によって膨らまされているでしょうか。
採用データを満足度データと組み合わせることは、私たちの最も使われている機能について何を明らかにするでしょうか。

主な要点

初期試用を持続的な定着から区別してください。 好奇心や強制的な露出からの急増は本物の持続的な価値ではありません。
無関係な広いユーザーベースではなく、正確に定義された対象観客に対して採用を測定してください。
機能が失敗したと結論づける前に特定の原因を調査してください。いくつかのまったく異なる原因はまったく異なる対応を求めます。
強制的な露出やダークパターンによって膨らまされた採用に注意し、これを捕捉するために採用を満足度のシグナルと組み合わせてください。
データを本物の組織的な学びに変えるために、採用の動きを特定の決定に遡って追跡してください。

参考文献とさらなる読書

Lean Analytics, Alistair Croll、Benjamin Yoskovitz 著。
Continuous Discovery Habits, Teresa Torres 著。
Hooked: How to Build Habit-Forming Products, Nir Eyal 著。
Measure What Matters, John Doerr 著。