分析環境

大きなデータを安全・便利にやり取りできるAmazonのクラウドストレージ活用法

データ分析を社外のパートナー会社に依頼する際、避けて通れないのが「データの受け渡し」です。
受け渡すデータは往々にして大容量となり、機密情報も含まれていたりします。
当然メールで送れるようなサイズでもないし、かといってポータブルHDDに保存して郵送なんてのもイケてない。
そんな時に、お手軽かつ安全にデータをやり取りする方法として、Amazonのクラウドサービスがあります。

クラウドストレージ「AWS S3」

AmazonのクラウドサービスであるAWS、その中のクラウドストレージサービスにあたるのがS3です。

重要なデータのやり取りに、クラウドストレージサービスを使うのはどうなんだろう?とお考えの方もおられるかもしれません。
ですが、今や銀行さんがAWSを利用する時代です。

弊社、かっこ株式会社もフィンテック分野のサービスを提供させていただいておりますが、バリバリAWSを活用しております。
AWSを活用することで、スピーディーかつ安全にデータを扱うことができます。

なぜS3?

S3を使用するメリットとして以下が挙げられます。

  1. とにかく安くて容量無制限
  2. セキュリティ対策も万全
  3. お手軽だけど高機能

1.とにかく安くて容量無制限

2021年2月現在、データ置き場として使用するなら、1GBあたり1ヶ月で0.025ドル程度で使用可能です。100GBで月260円くらいなイメージですね。容量の制限も一切ありません。

2.セキュリティ対策も万全

・IPアドレスによるアクセス制限

データ送信側のIPアドレスとデータ受信側のIPアドレスからのみ、S3のフォルダにアクセスできる設定にしておけば、物理的に会社に侵入してWi-Fiのパスワード認証が突破されない限り、不正アクセスされる可能性はありません。非常に重要な機能ですが、お手軽にこの機能が使えるクラウドストレージって、実は、あんまりないんです。

・フォルダごとにアクセス制限

さらに各ユーザー毎にアクセス可能なフォルダを制限することが可能です。アップロードするためのフォルダにはアップロード権限のみ、ダウンロードするためのフォルダにはダウンロード権限のみを与える、というような設定をすることで、意図しないミスを防ぐことができます。

3.お手軽だけど高機能

AWSの各サービスと組み合わせることが可能なので、S3の特定のフォルダにデータがアップロードされたことを切っ掛けに、自動でプログラムを起動することができます。

アップロードされたことをメールやSlackで通知したり、もう少し作り込めば、アップロードされたデータの検証まで自動で行い、その結果に不備があればお客様や分析担当者に通知される、といったことまでが、かんたんに実現できます。

実際の使い方

かっこがお客様とのデータのやり取りにS3を使用している方法を説明します。

データ連携の流れ

  1. お客様のIPアドレスを教えていただく
  2. 専用のフォルダをS3に作成し、かっことお客様のIPからのみ接続可能にする
  3. お客様用のアカウント情報をかっこからお客様に連携する
  4. お客様がアップロードフォルダにデータをアップロード
  5. かっこが分析結果レポート等をダウンロードフォルダにアップロード
  6. お客様がダウンロードフォルダから分析結果をダウンロード

フォルダ構成

・upload/

お客様がアップロードのみ可能。インプットとなるデータを格納してもらう

・download/ 

お客様がダウンロードのみ可能。成果物のレポートなどを格納

・backup/

かっこが、各種データをバックアップしておくためのフォルダ

お客様のデータアップロード方法

基幹システム等から出力したデータを、Cyberduckなどのアプリケーションを用いてS3上にアップロードしていただきます。

もし、お客様の社内エンジニアに余裕があれば、数行のコードを書いてもらうだけで、S3に自動でアップロードさせる仕組も作れるでしょう。

お客様のデータダウンロード方法

アップロードと同様にCyberduckでダウンロードしていただくこともできますし、お客様のIPアドレスからのみ使用可能なダウンロードリンクを、かっこが作成することもできるので、都合に合わせた方法で、便利にダウンロードできます。

まとめ

データ分析の際に、データのやり取りに役立つサービスとして

  • とにかく安くて容量無制限
  • セキュリティ対策も万全
  • お手軽だけど高機能

と、良いこと尽くしのAWS S3 の便利な活用方法についてご説明しました。

今回の記事を通じて、かっこの様な社外のパートナーと、安全に大量のデータをやり取りする際のイメージを掴んでいただけたら幸いです。

かっこでは1億レコードまでのデータであれば、お手軽にデータ分析をはじめられる「さきがけKPI」というサービスを提供しています。是非ご検討ください。

ピックアップ記事

  1. こんなときには異常検知
  2. それ分析じゃなく集計ですから
  3. 優良顧客を見つける「RFM分析」の考え方と使い方
  4. 知っておきたいAIの理想と現実
  5. 学生をデータサイエンティストに育てる4つのポイント

カテゴリー

おすすめ記事

  1. 優良顧客を見つける「RFM分析」の考え方と使い方
  2. 知っておきたいAIの理想と現実

メディア注目ワード

  1. 統計

    優良顧客を見つける「RFM分析」の考え方と使い方
  2. 統計

    なんでも平均でいいの?
  3. topics

    データで判断! エンジニアの沖縄移住、おすすめエリア
  4. 統計

    箱ひげ図 について超カンタンに解説してみた
  5. 分析環境

    大きなデータを安全・便利にやり取りできるAmazonのクラウドストレージ活用法
PAGE TOP