Amazon Kinesis Producer Library 使用记录

发布时间:2017-2-25 3:36:03 编辑:www.fx114.net 分享查询网我要评论
本篇文章主要介绍了"Amazon Kinesis Producer Library 使用记录 ",主要涉及到Amazon Kinesis Producer Library 使用记录 方面的内容,对于Amazon Kinesis Producer Library 使用记录 感兴趣的同学可以参考一下。

Amazon Kinesis Producer Library 使用记录

Amazon Kinesis 是一种托管的服务,用于有弹性与扩展性的实时处理大规模的流数据。该服务收集大数据记录流,多个可在 Amazon EC2 实例上运行的数据处理应用程序随后可实时使用此流。

在我目前的使用中,Kinesis更多的时候是作为一个数据管道使用,生产者不断地的产生数据,向Kinesis推送,消费者不断的从Kinesis取出数据进行处理,分发,计算等。

本来使用的是Kinesis的原始API做处理,但是需要自己做一些网络传输异常、各种异常的捕捉,需要写不少逻辑。和AWS的专家沟通后,建议使用KPL(Kinesis Producer Library )进行开发,这个库帮助做一些Kinesis的负载分发、本地缓存、异常捕获等。

使用记录
1、先从Github上下载一份Kinesis的Sample,用来调试学习
2、导入maven项目,maven仓库选择阿里的就行
  1. <mirror>
  2. <id>alimaven</id>
  3. <name>aliyun maven</name>
  4. <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
  5. <mirrorOf>central</mirrorOf>
  6. </mirror>


结束使用,因为AWS的工程师和我说,kpl不能再windows使用,而我没得linux开发环境。。。





上一篇:find常用参数详解
下一篇:Jquery中each的三种遍历方法

相关文章

相关评论

本站评论功能暂时取消,后续此功能例行通知。

一、不得利用本站危害国家安全、泄露国家秘密,不得侵犯国家社会集体的和公民的合法权益,不得利用本站制作、复制和传播不法有害信息!

二、互相尊重,对自己的言论和行为负责。