← ブログに戻る

CrUX Historyは週次スナップショットではなくローリングウィンドウ

CrUX Historyは毎週更新されますが、各データポイントは28日間を集計します。重複する期間、p75、データ欠落を正しく読み取り、実測性能の回帰を判断しましょう。

CrUX Historyのグラフは、互いに独立した週次測定値の並びではありません。各データポイントは28日間のローリングウィンドウを集計します。隣接するポイントを別々の週として扱うと、通常の変動を回帰と誤認したり、変更が実際にユーザーへ届いた時期を見誤ったりします。

1つのデータポイントが表すもの

Chrome UX Report(CrUX)History APIは、実ユーザー体験の指標を時系列で返します。毎週月曜日に更新され、前週土曜日までのデータを含みます。各ポイントは28日間の収集期間を対象とし、週ごとに1期間あります。そのため、隣り合う2つのポイントは21日分の観測データを共有します。グラフ上の1か月分のポイントは、重複しないサンプルの集合ではありません。

この重複はリリースの見え方に影響します。火曜日に変更をデプロイすると、次のポイントにはリリース前の3週間とリリース後の数日が含まれます。リリース前の体験は、次の週次更新で一度に消えるのではなく、ウィンドウから徐々に抜けていきます。曲線がゆっくり改善しているように見えても、段階的なロールアウトや修正の遅れではなく、このウィンドウが原因かもしれません。

値の対象期間を示すには、APIのcollectionPeriodsの日付を使います。日付だけの表示は曖昧です。4週間の集計値なのに、その日の測定値のように見えることがあります。社内グラフやインシデント記録には、開始日と終了日の両方を表示してください。

p75は分布の要約として扱う

CrUXは分布を報告します。その一つである**75パーセンタイル(p75)**は、その期間に記録された体験の75%がこの値以下となる点です。平均的な体験でも最悪値でも、特定の訪問者に割り当てられたスコアでもありません。History APIによると、パーセンタイル値は基礎データから算出されるため、実際にその値を体験したユーザーがいるとは限りません。

月間p75を推定するために、週ごとのp75を平均してはいけません。パーセンタイルはそのように結合できません。母集団を統合したときのパーセンタイルは、各ウィンドウのp75だけでなく、基礎となる観測データに依存します。同様に、デスクトップとスマートフォンのp75を平均してサイト全体のp75とするのも誤りです。同じディメンション同士を比較するか、レポートシステムが提供する分布を使いましょう。

p75の小さな変化は調査のきっかけであり、統計的に有意な回帰の証明ではありません。CrUXは正確なトラフィック件数を意図的に公開しておらず、ポイント同士も重複しています。複数の分布指標、変化の大きさと継続性、コードやインフラの変更との時期の一致を確認してください。必要なサンプル数がないグラフから信頼区間を作り出してはいけません。

性能の変化とユーザー構成の変化を分ける

origin単位のレコードは、そのorigin配下のページで適格な体験を集計し、URL単位のレコードは特定のページを対象にします。両者が答える問いは異なります。ページごとの指標が悪化していなくても、遅いページへトラフィックの構成が移れば、サイト全体のp75が変化することがあります。

デバイスや地域のディメンションでも同じことが起きます。スマートフォンからのアクセス比率が高まったり、適格な体験を提供する国の構成が変わったりすると、全体の分布が動く可能性があります。リリースを分析するときは、同じURLまたはorigin、指標、デバイス種別、収集期間を比較します。その後、他のセグメントも調べ、集計値の変化が広範な回帰なのか、集計対象のユーザーやページの変化なのかを判断します。

データセット全体の対象範囲も変化します。CrUXの2026年8月の月次データセットでは、対象origin数は18,294,881で、前月から1.3%増加しました。これは特定のサイトが改善した証拠ではなく、複数originの集計対象が固定されていないことを示しています。

データ欠落は合格を意味しない

CrUXはユーザーとページの両方に適格性基準を設けています。ページは一般に公開されて発見可能であり、十分な人気が必要です。Googleは正確な最低訪問者数を公開していません。特定の収集期間で適格なデータが不足している場合、ページやoriginがデータセットから除外されることもあります。History APIでは、適格なデータがない期間は、パーセンタイル値がnull、ヒストグラム密度がNaNとして表されます。

つまり「CrUXの結果なし」は、「速い」「遅い」「変化なし」のどれも意味しません。その識別子と期間についてデータセットが結果を提供できないという意味です。またCrUXが表すのは適格なChromeの体験であり、サイトの全訪問者ではありません。自社の実ユーザー計測と併用する場合は、対象ユーザーと集計期間を別々に記録します。2つのデータセットは相互補完的ですが、交換可能ではありません。

トレンドを安全に読む手順

比較ごとに、識別子(originまたはURL)、指標、デバイス種別、正確な開始日と終了日を記録します。同じディメンションの過去期間と比較し、隣り合う期間の観測データの大半が重複していることを忘れないでください。短期間の揺れは、結論ではなく、分布やデプロイ時期を確認するきっかけとして扱います。

適格な訪問者が何を体験したかを知るにはフィールドデータを使い、原因を調べるには条件を制御したラボテストを使います。ラボの結果は選択した条件下で再現できるテストですが、フィールドの分布の代わりにはなりません。リリースレビューでグラフを使うとき、この区別が重要です。前者は観測対象の集団を説明し、後者は原因の切り分けに役立ちます。

ローリング集計が有用なのは、ノイズの多いフィールド体験を平滑化するからです。期間、分布、適格性の制限も指標の一部として読み、脚注扱いしないでください。そうすれば、グラフは週次のスコア表ではなく、ユーザー体験の証拠になります。

参考資料

Comments

Loading comments…