深圳地铁大数据客流分析系统???

混合型科学大数据流水线系统包含丰富的处理器组件，提供Shell、DSL、Web配置界面、任务调度、任务监控等功能

项目主要模块 基于对电商鼡户行为数据的基本分类我们可以发现主要有以下三个分析方向： 1. 热门统计 利用用户的点击浏览行为，进行流量统计、近期热门商品统計等 2. 偏好统计 利用用户的偏好行为，比如收藏、喜欢、评分等进行用户画像分析，给出个 性化的商品scala 推荐系统列表 3. 风险控制 利用用戶的常规业务行为，比如登录、下单、支付等分析数据，对异常情况

深度客制化——从逻辑门做起

本项目总体上可分为业务模块和scala 推薦系统模块两个大的部分，scala 推荐系统模块又可分为数据加载模块离线统计模块，离线scala 推荐系统模块在线scala 推荐系统模块等子模块，Scala开发在IDEA平台下使用了Spark，MongoDBElasticsearch，RedisKafka，Flume等开发技术实现了分布式电影scala 推荐系统功能

大数据平台数据服务框架。实现了Kafka实时数据过滤、清洗、转换、消费实现了Spark SQL对Redis、MongoDB等非关系型数据库的数据的读写；集成了规则引擎，可基于规则引擎实现客户标签、画像等相关功能