AWS Kinesisとは?ストリーミングデータをスケーラブルに処理する


Amazon.comが提供しているクラウドコンピューティングサービスであり、リアルタイムでストリーミングデータをスケーラブルに処理するサービスです。簡単に言うと、単体では処理の遅いシステム郡からの大量のデータの転送処理を高速に中継してくれるものです。

4つの機能があり、ここではそれぞれの内容やAmazon Kinesisのメリットなどを紹介していきます。

AWS Kinesisの概要ー4つの機能

Amazon Kinesisには以下のように、4種類の機能があります。

・Kinesis Video Streams

・Kinesis Data Streams

・Kinesis Data Firehose

・Kinesis Data Analytics

Kinesis Video Streams

数百万など大量のデバイスから動画をストリーミングで安全かつ簡単に配信することが可能です。

Kinesis Data Streams

例えば、コンシューマーに大量のデータを送ることが増えつつあるなか、大量のデータを処理するのは簡単ではありません。そこでAmazon Kinesis Data Streamsを間に挟み、高速でデータを取り込み、コンシューマーにデータを送ります。これだけではなく、データを取り込んだときリアルタイムにデータ分析し、そのデータをレポートにすることができます。このためAmazon Kinesis Data Streamsはデータを高速に送信するだけでなく、リアルタイム集計にも使われています。

Kinesis Data Firehose

データソースからストリーミングデータをデータストアに転送するサービスです。さらにAWSデータストアにロードすることで、ほぼリアルタイムで分析をすることができます。

 ※データストアとはデータを溜めておくところ。

Kinesis Data Analytics

SQLやJavaを使うことにより、データストリームをリアルタイムに分析をすることができます。新しい言語を利用する必要がありません。

AWS Kinesisのメリット

Amazon Kinesisには以下のようなメリットがあります。

・耐久性

・安全性

・低コスト

高速にデータの書き込みまで行われる

高速にデータの書き込みまでされるので、データ元に障害が発生しても安心です。

安全性

KDS内で受信したデータを暗号化し、Amazon Virtual Private Cloud経由でプライベートモードでアクセスをするため高いセキュリティを誇ります。時間単位での基準とPUTペイロードユニットでの基準の2種類があります。

低コスト

使用したリソースの分のみ支払いとなるためコストを抑えることができます。

リアルタイムでの分析

データを転送する時も、データを取得時に同時に分析を行うことができます。

Kinesisイメージ

データの送り先もこのように選択できます。

参考資料
https://ap-northeast-1.console.aws.amazon.com/kinesis/home?region=ap-northeast-1#/home