インターン生募集 未来のゲームチェンジャーの「やってみよう」をカタチに!データサイエンスのかっこでインターン生募集中

統計

  •  PR 

こんなときには異常検知

データを観測・解析していくと、ごく少数現れる特異な状態に気づくことがしばしばあります。
例えば、 サーバーの不正アクセスなんかもそうですよね。

普通の状態と、この特異な状態を線引きし、特異な状態が現れたときに、検知してくれる方法として「異常検知」というものがあります。

異常検知とは

“異常”という物々しい言い方ですが、要するに一般的に得られるであろう値よりも大幅に外れた値をもつデータを抽出する手法になります。例えば全国の高校生の偏差値は正規分布で平均値が50で標準偏差が10になります。

偏差値が平均値+標準偏差の2倍=70以上であるデータは、群を抜いている。すごく成績が良いわけですが、全体から見ると異常値として抽出することができます。

上位2.3%の成績の人を異常値と言うのは失礼な話かもしれませんが(笑)。
偏差値についてはこちら

今回は、標準偏差の「2倍」で異常値を説明しましたが、実際には抽出したい割合や件数等に合わせて基準を変えて使います。

例えば製造業では3倍など、業界毎で慣習があったりします。

(正確には上記の説明は異常検知のうちの「外れ値検知」と呼ばれるものの説明になります。時系列データの異常についてはまた別の考え方が存在します)

どんな時に使える?

「通常とは異なった振る舞いや状態を持つような一部のデータを抽出したい」というようなニーズがあれば、それは異常検知の出番かもしれません。

具体例としては以下のようなものが挙げられます

  • 製造業における、不良品発生の検知
  • 生産設備やセンサーの故障の検知
  • サーバーの不正アクセス検知
  • 不正送金の検知
  • EC業界における不正注文の検知
  • 脈拍データから不整脈を検知
  • 医療画像から病理診断

かっこでの活用例

かっこではECサイト等の不正注文を検知するサービスであるO-PLUXを提供しています。

O-PLUXの精度を高めていくためには、日々変化する不正手法をモニタリングで見つけていくことが重要になります。
そのモニタリングの起点として、「通常とは異なる取引傾向となっている注文群」を異常検知の手法を用いて抽出することで、新たな手口の不正発見に役立てています。

「ある地区における1週間の注文群」は通常このような分布であり、それと大きく外れている注文群は異常≒不正な取引なのでは?という考え方を取り入れることで、異常検知手法をモニタリングに活用できるようになりました。

まとめ

異常検知は通常とは異なった振る舞いや状態を持つような一部のデータを抽出したいときに、幅広く活用できる技術である。

この記事を読んで、
「ウチでいうとあそこに異常検知を適用してみたら良いのでは?」
とか
「通常の機械学習的なアプローチでは上手く行かなかったけど、異常検知のアプローチなら結果が出せるのかも?」
と思ってもらえたら幸いです。

異常検知を業務に取り入れたくなったら、ぜひ、かっこのデータサイエンスまで、ご相談ください。

ピックアップ記事

  1. RFM分析とは?優良顧客を見つけるやり方やメリット【例を用いて解説】
  2. 多くの人と会話をするきっかけとなる最適な映画をデータサイエンスで選んでみた
  3. 知っておきたいAIの理想と現実
  4. 学生をデータサイエンティストに育てる4つのポイント
  5. こんなときには異常検知

関連記事

  1. 統計

    起きることの必然性を統計学で裏付ける!「検定」の使い方!

    かっこ株式会社のデータサイエンス事業部でインターンをしている松中です。…

  2. 度数分布表のアイキャッチ画像

    統計

    5分で分かる度数分布表|平均値などの求め方やエクセルでの作成手順

    度数分布表とはデータを決められた範囲ごとに分割し集計したものです。本記…

  3. 統計学でできること

    統計

    統計学でできることとは?|統計学の基礎から活用事例まで完全解説!

    「統計学でできることって何?」「そもそも統計学とは?」「統計学…

  4. 統計

    箱ひげ図について超カンタンに解説してみた

    「箱ひげ図ってどう見るのが正解?」と気になりませんか?中高の数…

  5. 統計

    確率を予測する「ロジスティック回帰」とは

    何らかの行動を起こす必要があるとき、「成功する確率」や「何をすれば成功…

  6. 統計

    利益爆増のためのアクションを発見!「カイ二乗検定」の可能性とは

    データサイエンスという言葉を聞いてみなさんがまず期待するのは、「会社の…

おすすめ記事

  1. 就活で話すことには困らないかっこのインターンシップ経験!
  2. 日々、巧妙化する不正取引の対策頻度を10倍に向上!「異常検知…
  3. 全力で食らいついたかっこでの1年間
  4. 確率を予測する「ロジスティック回帰」とは
  5. データサイエンスを現場の敵にしないために
  1. データ分析で防音物件探し

    データ分析例

    データ分析を使って、東急東横線沿線で楽器弾きのための家探しをしてみた
  2. 度数分布表のアイキャッチ画像

    統計

    5分で分かる度数分布表|平均値などの求め方やエクセルでの作成手順
  3. 箱ひげ図のアイキャッチ画像

    分析

    箱ひげ図を使うメリット・デメリットや実際の作り方を解説
  4. インターン体験記

    データサイエンティストの夢を叶えたインターンシップ
  5. 分析

    マーケティングから不正検知まで、データの理解と意思決定を助けてくれる「クラスタリ…
PAGE TOP