如何在通过streaming读取kafka数据同步时手动管理kafka的offset

//开发过程中windows环境需要添加hadoop的文件这个需要到网上去找编译好的 //这里是将收到的消息流转换为需要处理的实体类 //添加checkpointLocation的配置是为了防止重启服务后重新读取kafka通道的数据。配置后spark会自动管理kafka的offset信息到指定目录下 //此检查点位置必须是HDFS兼容文件系统中的路径 //必须为ture否则不会进入下面的process方法 //这里对业务数据进行处悝 //下面这句一定加上这样就能实时收到消息了,否则系统执行一遍就会停止 //业务需要的消息实体这里简单做个示范
}

我要回帖

更多关于 kafka数据同步 的文章

更多推荐

版权声明:文章内容来源于网络,版权归原作者所有,如有侵权请点击这里与我们联系,我们将及时删除。

点击添加站长微信