インターン生募集 未来のゲームチェンジャーの「やってみよう」をカタチに!データサイエンスのかっこでインターン生募集中

統計

こんなときには異常検知

データを観測・解析していくと、ごく少数現れる特異な状態に気づくことがしばしばあります。
例えば、 サーバーの不正アクセスなんかもそうですよね。

普通の状態と、この特異な状態を線引きし、特異な状態が現れたときに、検知してくれる方法として「異常検知」というものがあります。

異常検知とは

“異常”という物々しい言い方ですが、要するに一般的に得られるであろう値よりも大幅に外れた値をもつデータを抽出する手法になります。例えば全国の高校生の偏差値は正規分布で平均値が50で標準偏差が10になります。

偏差値が平均値+標準偏差の2倍=70以上であるデータは、群を抜いている。すごく成績が良いわけですが、全体から見ると異常値として抽出することができます。

上位2.3%の成績の人を異常値と言うのは失礼な話かもしれませんが(笑)。
偏差値についてはこちら

今回は、標準偏差の「2倍」で異常値を説明しましたが、実際には抽出したい割合や件数等に合わせて基準を変えて使います。

例えば製造業では3倍など、業界毎で慣習があったりします。

(正確には上記の説明は異常検知のうちの「外れ値検知」と呼ばれるものの説明になります。時系列データの異常についてはまた別の考え方が存在します)

どんな時に使える?

「通常とは異なった振る舞いや状態を持つような一部のデータを抽出したい」というようなニーズがあれば、それは異常検知の出番かもしれません。

具体例としては以下のようなものが挙げられます

  • 製造業における、不良品発生の検知
  • 生産設備やセンサーの故障の検知
  • サーバーの不正アクセス検知
  • 不正送金の検知
  • EC業界における不正注文の検知
  • 脈拍データから不整脈を検知
  • 医療画像から病理診断

かっこでの活用例

かっこではECサイト等の不正注文を検知するサービスであるO-PLUXを提供しています。

O-PLUXの精度を高めていくためには、日々変化する不正手法をモニタリングで見つけていくことが重要になります。
そのモニタリングの起点として、「通常とは異なる取引傾向となっている注文群」を異常検知の手法を用いて抽出することで、新たな手口の不正発見に役立てています。

「ある地区における1週間の注文群」は通常このような分布であり、それと大きく外れている注文群は異常≒不正な取引なのでは?という考え方を取り入れることで、異常検知手法をモニタリングに活用できるようになりました。

まとめ

異常検知は通常とは異なった振る舞いや状態を持つような一部のデータを抽出したいときに、幅広く活用できる技術である。

この記事を読んで、
「ウチでいうとあそこに異常検知を適用してみたら良いのでは?」
とか
「通常の機械学習的なアプローチでは上手く行かなかったけど、異常検知のアプローチなら結果が出せるのかも?」
と思ってもらえたら幸いです。

異常検知を業務に取り入れたくなったら、ぜひ、かっこのデータサイエンスまで、ご相談ください。

ピックアップ記事

  1. 学生をデータサイエンティストに育てる4つのポイント
  2. RFM分析とは?優良顧客を見つけるやり方やメリット【例を用いて解説】
  3. 知っておきたいAIの理想と現実
  4. こんなときには異常検知
  5. 多くの人と会話をするきっかけとなる最適な映画をデータサイエンスで選んでみた

関連記事

  1. 統計

    こんなにも使える、単純集計とクロス集計の活用法

    この記事ではアンケートなどで得られたデータを整理する方法である、単純集…

  2. 統計

    確率を予測する「ロジスティック回帰」とは

    何らかの行動を起こす必要があるとき、「成功する確率」や「何をすれば成功…

  3. 統計

    箱ひげ図について超カンタンに解説してみた

    「箱ひげ図ってどう見るのが正解?」と気になりませんか?中高の数…

  4. 統計

    2種のデータの関係性を明らかにする「相関」のおはなし

    皆さんは「相関」という言葉を聞いたことがありますか??「相関」はデ…

  5. RFM分析のアイキャッチ画像

    統計

    RFM分析とは?優良顧客を見つけるやり方やメリット【例を用いて解説】

    RFM分析は、顧客の行動を分析し、効果的な施策を行うための判断となる分…

  6. 統計学でできること

    統計

    統計学でできることとは?|統計学の基礎から活用事例まで完全解説!

    「統計学でできることって何?」「そもそも統計学とは?」「統計学…

おすすめ記事

  1. 就活で話すことには困らないかっこのインターンシップ経験!
  2. 日々、巧妙化する不正取引の対策頻度を10倍に向上!「異常検知…
  3. 全力で食らいついたかっこでの1年間
  4. 確率を予測する「ロジスティック回帰」とは
  5. データサイエンスを現場の敵にしないために
  1. 分析

    購買データを分析してできること3つ!分析の仕方と活用事例も紹介
  2. 大阪 ホテル 価格相場のアイキャッチ画像

    データ分析例

    大阪のホテル相場は1泊4500円。条件の違いで相場がどれだけ変わるのか見える化し…
  3. データ分析手法の紹介

    分析

    データ分析の手法って何があるの?状況に応じたベストな方法7選
  4. カリフォルニア 車 買う

    分析

    カリフォルニアで車を買う人必見!現地で安くトヨタ車を買うなら「カローラLE」一択…
  5. 分析

    購買意欲とは?消費者の心理をつかむマーケティング方法7選【リピートさせるコツも紹…
PAGE TOP