大型互联网广告应用系统架构
DESCRIPTION
#LAMP人#第14期《海量数据挖掘与应用 – e淘专场》 之 《大型互联网广告应用系统架构》TRANSCRIPT
![Page 1: 大型互联网广告应用系统架构](https://reader031.vdocuments.site/reader031/viewer/2022020306/5591ff701a28ab40498b4639/html5/thumbnails/1.jpg)
大型互联网广告应用系统架构
![Page 3: 大型互联网广告应用系统架构](https://reader031.vdocuments.site/reader031/viewer/2022020306/5591ff701a28ab40498b4639/html5/thumbnails/3.jpg)
大纲
• 一、介绍
• 二、高并发应用系统
• 三、海量数据存储系统
• 四、中间件应用
• 五、广告系统运维和监控
![Page 4: 大型互联网广告应用系统架构](https://reader031.vdocuments.site/reader031/viewer/2022020306/5591ff701a28ab40498b4639/html5/thumbnails/4.jpg)
背景介绍
• 广告产品
– 淘宝直通车,一淘直通车
– 钻石展位
– Tanx
– 淘宠(阿里妈妈)
![Page 5: 大型互联网广告应用系统架构](https://reader031.vdocuments.site/reader031/viewer/2022020306/5591ff701a28ab40498b4639/html5/thumbnails/5.jpg)
直通车整体架构
• 业务系统
– 广告主自助系统
– CRM
– 実核系统
– 数据同步
– 开放API
• 广告引擎
– 搜索
– 非搜索
• 数据平台,计算平台和算法
• 防作弊和点击结算
![Page 6: 大型互联网广告应用系统架构](https://reader031.vdocuments.site/reader031/viewer/2022020306/5591ff701a28ab40498b4639/html5/thumbnails/6.jpg)
![Page 7: 大型互联网广告应用系统架构](https://reader031.vdocuments.site/reader031/viewer/2022020306/5591ff701a28ab40498b4639/html5/thumbnails/7.jpg)
![Page 8: 大型互联网广告应用系统架构](https://reader031.vdocuments.site/reader031/viewer/2022020306/5591ff701a28ab40498b4639/html5/thumbnails/8.jpg)
![Page 9: 大型互联网广告应用系统架构](https://reader031.vdocuments.site/reader031/viewer/2022020306/5591ff701a28ab40498b4639/html5/thumbnails/9.jpg)
![Page 10: 大型互联网广告应用系统架构](https://reader031.vdocuments.site/reader031/viewer/2022020306/5591ff701a28ab40498b4639/html5/thumbnails/10.jpg)
高并发应用系统
淘宠API • 每天亿级的API调用
直通车API
• 几十万广告主使用
• 直通车已开放上百个API供合作代理商使用
报表API
• 历史报表数据查询和下载
• 实时报表数据开放
![Page 11: 大型互联网广告应用系统架构](https://reader031.vdocuments.site/reader031/viewer/2022020306/5591ff701a28ab40498b4639/html5/thumbnails/11.jpg)
业务系统架构
事务型关系数据库
Tengine (Nginx)+
Tomcat
Tengine (Nginx)+
Tomcat
Tengine (Nginx)+
Tomcat
Sessio n
Tair 集群
消息队列
用户库Oracle
Oracle Oracle Oracle
RedisMaster
RedisSlave
HSF Service Provider
HSFJDBC
![Page 12: 大型互联网广告应用系统架构](https://reader031.vdocuments.site/reader031/viewer/2022020306/5591ff701a28ab40498b4639/html5/thumbnails/12.jpg)
海量数据存储系统
• Oracle:核心广告数据
• HDFS:日志,报表计算数据
• OceanBase:大宠户用户报表数据,实时报表数据
• Mysql:用户报表数据
• MongoDB: 用户操作日志
• Redis:消息队列数据
• Tair:Session数据,Online应用数据缓存
• TFS:图片,下载文件
![Page 13: 大型互联网广告应用系统架构](https://reader031.vdocuments.site/reader031/viewer/2022020306/5591ff701a28ab40498b4639/html5/thumbnails/13.jpg)
中间件应用
• HSF – 远程服务调用
– 软负载均衡
• TDDL – 透明数据库切分
– 读写分离
– 数据复制(非对称)
• Notify – 保证通知的消息中间件(MQ)
• Meta – 保证分区时序的持久化消息队列
• Diamond – 静态配置中心服务
• Time Tunnel 3 – 日志收集
![Page 14: 大型互联网广告应用系统架构](https://reader031.vdocuments.site/reader031/viewer/2022020306/5591ff701a28ab40498b4639/html5/thumbnails/14.jpg)
广告系统运维和监控
黄金眼 •实时监控(分钟级)广告位消耗
系统监控 •PE监控工具: tsar, nagios
监控门户 •哈勃应用系统监控
![Page 15: 大型互联网广告应用系统架构](https://reader031.vdocuments.site/reader031/viewer/2022020306/5591ff701a28ab40498b4639/html5/thumbnails/15.jpg)
Q&A
谢谢!