工作记录

工作记录

埋点技术选型重构

log -> kafka -> spark streaming -> oss -> 离线分析

kafka 自建 (ESC成本、高可用、运维成本等) 与 aliyun kafka 价格成本均衡

时长统计

资源游览时长统计、时长任务。

定时发送观看资源信息,接入kafka分组,spark启动消息并校验时长任务。

埋点漏斗

日志数据 bitmap 统计

无效数据定期删除(删除日期可配置)。热点数据、冷数据

通用查询结果优化

通用查询结果数据可视化

数据看板

业务大屏可视化

推送/站内信

站内信 hbase -> solr

埋点统计数据记录

record: 2019-01-09

# Work 

评论

Your browser is out-of-date!

Update your browser to view this website correctly. Update my browser now

×