masayuki5160's diary

名古屋でエンジニアしてます。

Kinesisをためしてみる その2

Kinesisについて少し勘違いをしてました。

ざっくりいうとKinesisてスケーラブルなリクエストの受け口なんだなと。
もう少しデータストアとしての機能というか、すっとcsvで管理画面からだせたり保存していてくれたりするわけではないんですね。基本は24時間でデータ消えるみたいだし。

だからスシローさんの事例でいくと、下記3,4のところは別で実装してるのか。
てっきりこれもKinesisの管理画面からできるけど、CLIで設計したのかと思ってた。

1. 回転寿司のすし皿に付いているICタグの情報を管理端末が読み取ります。
2. 管理端末が読み取った情報はインターネットを経由してAmazon KinesisへPutされます。Putされるデータは一日当たり平均で数百万件だそうです。
3. 次はKinesis-appという箇所です。ここはEC2になります。管理端末から送信されたデータをAWS CLIを使ってGetします。GetしたデータをCSVに出力しS3にアップロードします。
4. S3からRedshiftにCOPYコマンドでデータをロードしています。3と4の処理はcronで定期的に行われます。
5. Redshiftにロードされた最新のデータをBIツールのTableauで可視化して分析します。

dev.classmethod.jp



導入が意外に楽そうなところ、そしてコストが低いことは大きなメリットとわかりました。
普通にログ集めるシステム運用するのと比べると圧倒的にやすいし楽だろうね。システムが大きくなればなるほど差がでてきそうだ。

Kinesisおもしろいぞこれ。



というわけで文章まとまってないけど覚書としてなぐり書きしときます。