项目描述：项目描述：本项目旨在打造一个集在线课程、互动学习、考试评测等多功能于一体的互联网教育平台，以满足日益增长的用户需求。该项目分为采集存储、实时分析、页面发布3个阶段。数据来源于日志系统发布和MaxWell对数据库的实时监控，由Kafka接收并存储。分析阶段通过Flink对Kafka的实时消费，将中间数据持久化到Redis中，去重后保存到ClickHouse中。通过发布数据接口查询ClickHouse中的数据，使用Sugar来展示实时数据的变化。 技术架构：Nginx+Flume+MaxWell+Kafka+Flink+Hbase+Redis+ClickHouse+Sugar 责任描述： 1、使用Nginx实现负载均衡，提高访问速度； 2、参与数据的采集，使用Flume和MaxWell分别采集日志系统数据和数据库业务数据； 3、使用Flink消费Kafka中数据，并手动维护Offset，将数据写入Hbase去重并保存到Redis中； 4、通过Flink实时计算，将去重后的数据保存到ClickHouse中； 5、设置滚动时间窗口，实时监控并识别异常购买和播放行为，如频繁取消订单或视频播放异常，确保系统及时响应； 6、参与数据处理性能优化，对Flink的数据处理逻辑进行性能优化，提升数据处理速度和降低延迟，使得数据处理效率提升了约30%。