データ分析を社外のパートナー会社に依頼する際、避けて通れないのが「データの受け渡し」です。
受け渡すデータは往々にして大容量となり、機密情報も含まれていたりします。
当然メールで送れるようなサイズでもないし、かといってポータブルHDDに保存して郵送なんてのもイケてない。
そんな時に、お手軽かつ安全にデータをやり取りする方法として、Amazonのクラウドサービスがあります。
目次
クラウドストレージ「AWS S3」
AmazonのクラウドサービスであるAWS、その中のクラウドストレージサービスにあたるのがS3です。
重要なデータのやり取りに、クラウドストレージサービスを使うのはどうなんだろう？とお考えの方もおられるかもしれません。
ですが、今や銀行さんがAWSを利用する時代です。
弊社、かっこ株式会社もフィンテック分野のサービスを提供させていただいておりますが、バリバリAWSを活用しております。
AWSを活用することで、スピーディーかつ安全にデータを扱うことができます。
なぜS3？
S3を使用するメリットとして以下が挙げられます。
- とにかく安くて容量無制限
- セキュリティ対策も万全
- お手軽だけど高機能
1.とにかく安くて容量無制限
2021年2月現在、データ置き場として使用するなら、1GBあたり1ヶ月で0.025ドル程度で使用可能です。100GBで月260円くらいなイメージですね。容量の制限も一切ありません。
2.セキュリティ対策も万全
・IPアドレスによるアクセス制限
データ送信側のIPアドレスとデータ受信側のIPアドレスからのみ、S3のフォルダにアクセスできる設定にしておけば、物理的に会社に侵入してWi-Fiのパスワード認証が突破されない限り、不正アクセスされる可能性はありません。非常に重要な機能ですが、お手軽にこの機能が使えるクラウドストレージって、実は、あんまりないんです。
・フォルダごとにアクセス制限
さらに各ユーザー毎にアクセス可能なフォルダを制限することが可能です。アップロードするためのフォルダにはアップロード権限のみ、ダウンロードするためのフォルダにはダウンロード権限のみを与える、というような設定をすることで、意図しないミスを防ぐことができます。
3.お手軽だけど高機能
AWSの各サービスと組み合わせることが可能なので、S3の特定のフォルダにデータがアップロードされたことを切っ掛けに、自動でプログラムを起動することができます。
アップロードされたことをメールやSlackで通知したり、もう少し作り込めば、アップロードされたデータの検証まで自動で行い、その結果に不備があればお客様や分析担当者に通知される、といったことまでが、かんたんに実現できます。
実際の使い方
かっこがお客様とのデータのやり取りにS3を使用している方法を説明します。
データ連携の流れ
- お客様のIPアドレスを教えていただく
- 専用のフォルダをS3に作成し、かっことお客様のIPからのみ接続可能にする
- お客様用のアカウント情報をかっこからお客様に連携する
- お客様がアップロードフォルダにデータをアップロード
- かっこが分析結果レポート等をダウンロードフォルダにアップロード
- お客様がダウンロードフォルダから分析結果をダウンロード
フォルダ構成
・upload/
お客様がアップロードのみ可能。インプットとなるデータを格納してもらう
・download/
お客様がダウンロードのみ可能。成果物のレポートなどを格納
・backup/
かっこが、各種データをバックアップしておくためのフォルダ
お客様のデータアップロード方法
基幹システム等から出力したデータを、Cyberduckなどのアプリケーションを用いてS3上にアップロードしていただきます。
もし、お客様の社内エンジニアに余裕があれば、数行のコードを書いてもらうだけで、S3に自動でアップロードさせる仕組も作れるでしょう。
お客様のデータダウンロード方法
アップロードと同様にCyberduckでダウンロードしていただくこともできますし、お客様のIPアドレスからのみ使用可能なダウンロードリンクを、かっこが作成することもできるので、都合に合わせた方法で、便利にダウンロードできます。
まとめ
データ分析の際に、データのやり取りに役立つサービスとして
- とにかく安くて容量無制限
- セキュリティ対策も万全
- お手軽だけど高機能
と、良いこと尽くしのAWS S3 の便利な活用方法についてご説明しました。
今回の記事を通じて、かっこの様な社外のパートナーと、安全に大量のデータをやり取りする際のイメージを掴んでいただけたら幸いです。
かっこでは1億レコードまでのデータであれば、お手軽にデータ分析をはじめられる「さきがけKPI」というサービスを提供しています。是非ご検討ください。
