Amazon Kinesis和Spark流式处理
浏览量:346
下载
案例详情

作为大数据工程师经常要面对流式数据处理的需求,在AWS上有Amazon Kinesis 服务可以帮助用户以流式处理方式收集不同数据来源的数据,同时有 Amazon EMR 服务可以提供托管的Hadoop群集和Spark群集。在本次研讨会中我们会讨论如何使用Amazon Kinesis 接受不同数据来源的数据,并通过 Amazon EMR 上的 Spark Streaming 方式对数据进行流式处理。

学习要点:

  • Amazon Kinesis快速介绍
  • KCL工作原理
  • Spark Streaming 如何获取 Kinesis 流式数据
  • Spark Streaming数据处理过程

推荐参与人群:大数据工程师

相关案例
观看者评论