CCCマーケティング データベースマーケティング研究所の Tech Blog

研究所スタッフによる格闘記録やマーケティング界隈についての記事など

測定方法を評価するためにBland-Altman分析について調べてみました

こんにちは、技術開発ユニットの三浦です。カメラとAIを使って通行量の測定を行うようになった、という事例をよく見聞きします。おそらくそれまでは人の目で測定していたと思うのですが、カメラとAIによってコストの削減や24時間の測定が可能になるといったメリットが考えられる一方、気になるのはAIとカメラによる計測結果と人の計測結果の間にどの程度の違いが出るのだろう、という点です。またAI導入後も技術の進化により、より低コストなAIへの入れ替えが発生する可能性があります。その際も以前のものと比べて測定結果にどれくらいの違いが出るのだろう、という点は確認すべきことだと思います。今回はそのような課題を統計的なアプローチで考えてみたいと思います。その手法としてBland-Altman分析という統計手法について調べてみました。分析の流れについて、調べてみた内容をご紹介させて頂きます。

Bland-Altman分析

Bland-Altman分析は異なる2つの調査手法や測定機器の一致性(agreement)を検査する分析手法です。主に医療統計の分野で利用されているそうです。 例えばこれまで患者のある測定項目を測定機器Aを使って測定していたとします。同じ測定項目をより速い時間で測定できる、あるいは低コストで導入可能な測定機器Bが開発されたとして、Bへの入れ替えを検討する場合、それまで使用していたAと大小あれど測定結果に相違が発生することになります。その相違がどれくらいの範囲に収まるのか、それが受け入れられるものなのかを判断する必要があります。Bland-Altman分析は2つの測定方法による相違を分析し、表現することが出来ます。

想定シナリオ

ここからはサンプルデータを使ってBland-Altman分析の流れを追ってみたいと思います。ここで想定するシナリオは、ある場所の時間ごとの通行人数を、これまでの測定方法(例えば人の目視による測定)から新しい測定方法(例えばカメラとAIによる測定)に移行することを検討しているものとします。これまでの測定方法をA、新しい測定方法をBとして時間ごとの人数を同時に測定したところ、以下のような結果になったとします。 (データは人工的に生成したものです。)

f:id:miu4930:20211115162444p:plain
ある地点を通行した人数の測定結果

ぱっと見た印象では、AとBは同じような傾向を持っていると言えそうです。このデータをBland-Altman分析にかけてみます。

Bland-Altman Plot

まずBland-Altman Plotという散布図を作成します。Bland-Altman Plotの各点Pの座標は以下の計算式で計算します。

f:id:miu4930:20211115163011p:plain
Bland-Altman Plotの座標計算

  • x座標の意味:同じ測定対象に対する2つの測定結果の平均です。この値の意味は、測定対象の真の値の推定値です。

  • y座標の意味:式の通り、測定結果の相違です。

まとめると、Bland-Altman Plotでは測定対象がある値の時に、比較している2つの測定方法の相違がどれくらいになるのかを表しています。先ほどのデータに対するBland-Altman Plotは以下のようになります。

f:id:miu4930:20211115164140p:plain
Bland-Altman Plot

このプロットを見ると、

  • 概ね2つの測定方法の相違は0を中心に分布している
  • 2つの測定方法の相違は大体-10~+10くらいの範囲に収まっている

ということが見えてきます。0を中心に分布しているかどうかは相違の平均値を計算することで確認できますし、相違が正規分布に従っているとすれば、相違の平均から相違の標準偏差に1.96をかけた範囲の中に95%の確率で相違が収まることが分かります。この"相違の平均から相違の標準偏差に1.96をかけたの範囲"のことを95% limits of agreement(loa)と呼びます。ここで計算される相違の平均やloaの範囲は今回のサンプルで求めたものなのでより厳密にはその信頼区間も計算する必要があります。が、一旦ここでは今回のデータで計算した値をBland-Altman Plotに描画してみます。

f:id:miu4930:20211115170457p:plain
Bland-Altmap Plotに平均とloaを描画

測定方法AをBに変更した場合、測定結果のズレは平均すれば無さそうだが、プラスマイナス12のズレはあり得ると考えた方が良さそうです。このズレを受け入れられるのであればAをBに変更できますし、そうでなければ変更を見送る判断を下すことになると思います。

まとめ

今回は主に医療統計で使われているBland-Altman分析について、私たちの業務領域での活用を想定して調べてみました。Bland-Altman分析は割と古くからある手法のようですが、シンプルでかつ分かりやすいと感じました。また、機械学習のモデルで出力された結果をなんとなく受け入れてしまうのではなく、統計的な根拠に基づいて判断することは大切だと感じました。

参考