람다 아키텍처

람다 아키텍처

1. new data, batch layer와 speed layer로 데이터가 들어온다.
2. batch layer, batch layer는 2가지가 존재를 한다. 데이터를 저장하는 저장소 (append-only, immutable)와 view를 위해 미리 처리된(pre-complete)로 구별이 된다.
3. serving layer, low latency와 adhoc 쿼리에 대한 뷰를 제공을 한다.
4. speed layer, 최근 데이터와 대한 high latency의 update를 제공을 한다.
5. query, batch view, realtime view를 통해 결과를 얻을수가 있다. 

Speed Components

• Apache Storm
• Apache Spark Streamming
• Apache Samaza
• Apache S4
• Spring XD
• AWS Kinesis
• Google Cloud Dataflow

Real-time view

• redis
• mysql

Serving Components

• HBase
• ElephantDB
• SploutSQL
• ElephantDB
• Druid
• S3
• HDFS

Batch view

• cassandra
• hbase
• hive
• presto
• AWS Athena

Batch Components

• Hadoop
• mapReduce
• Spark
• Hive
• Spark SQl
• Pig
• Spork
• Cascading/Scalding
• Cascalog
• Crunch/SCrunch
• Pangool

Reference

• http://lambda-architecture.net/