链家网存储架构变迁 - community.qingcloud.com · 吕毅. 2016.09 ....
TRANSCRIPT
![Page 1: 链家网存储架构变迁 - community.qingcloud.com · 吕毅. 2016.09 . 链家网存储架构变迁. 自我介绍. 吕毅. • 链家网架构师 • 曾供职于新浪平台架构部、百度移动云事业部](https://reader034.vdocuments.site/reader034/viewer/2022050722/603f77703d13285cb25c9275/html5/thumbnails/1.jpg)
© 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
吕毅 2016.09
链家网存储架构变迁
![Page 2: 链家网存储架构变迁 - community.qingcloud.com · 吕毅. 2016.09 . 链家网存储架构变迁. 自我介绍. 吕毅. • 链家网架构师 • 曾供职于新浪平台架构部、百度移动云事业部](https://reader034.vdocuments.site/reader034/viewer/2022050722/603f77703d13285cb25c9275/html5/thumbnails/2.jpg)
自我介绍
吕毅 • 链家网架构师
• 曾供职于新浪平台架构部、百度移动云事业部
• 参与项目新浪SAE,百度移动搜索、手机百度APP
• 2015年9月加入链家网
• 2015.10~2016.8,负责链家网平台服务建设
• 2016.8至今,负责链家网大数据平台建设
![Page 3: 链家网存储架构变迁 - community.qingcloud.com · 吕毅. 2016.09 . 链家网存储架构变迁. 自我介绍. 吕毅. • 链家网架构师 • 曾供职于新浪平台架构部、百度移动云事业部](https://reader034.vdocuments.site/reader034/viewer/2022050722/603f77703d13285cb25c9275/html5/thumbnails/3.jpg)
目录
• 链家网与存储架构变迁
• 一场持续半年的存储改造工作
• 我们所熟悉的AWS S3
• Q&A
![Page 4: 链家网存储架构变迁 - community.qingcloud.com · 吕毅. 2016.09 . 链家网存储架构变迁. 自我介绍. 吕毅. • 链家网架构师 • 曾供职于新浪平台架构部、百度移动云事业部](https://reader034.vdocuments.site/reader034/viewer/2022050722/603f77703d13285cb25c9275/html5/thumbnails/4.jpg)
链家网与存储架构变迁
![Page 5: 链家网存储架构变迁 - community.qingcloud.com · 吕毅. 2016.09 . 链家网存储架构变迁. 自我介绍. 吕毅. • 链家网架构师 • 曾供职于新浪平台架构部、百度移动云事业部](https://reader034.vdocuments.site/reader034/viewer/2022050722/603f77703d13285cb25c9275/html5/thumbnails/5.jpg)
链家网线上业务历程
链家地产成立
链家在线、HERP系统上线运营
“楼盘字典”项目启动
2001年
2007年
2008年
2012年
链家提出“真房源” SE(Sales Effectiveness)系统上线
TE(Transaction Effectiveness)系统上线 “掌上链家”APP发布
“链家在线”更名为“链家网” 域名变更为Lianjia.com
着手重建to C业务 着手自研SE、TE系统
2014年
2016年
SE、TE合并为Link系统 “楼盘字典”项目积累6000万房产信息
![Page 6: 链家网存储架构变迁 - community.qingcloud.com · 吕毅. 2016.09 . 链家网存储架构变迁. 自我介绍. 吕毅. • 链家网架构师 • 曾供职于新浪平台架构部、百度移动云事业部](https://reader034.vdocuments.site/reader034/viewer/2022050722/603f77703d13285cb25c9275/html5/thumbnails/6.jpg)
链家网存储架构变迁
链家地产成立
链家在线、HERP系统上线运营
“楼盘字典”项目启动
2001年
2007年
2008年
2012年
链家提出“真房源” SE(Sales Effectiveness)系统上线
TE(Transaction Effectiveness)系统上线 “掌上链家”APP发布
2014年
2016年
SE、TE合并为Link系统 “楼盘字典”项目积累6000万房产信息
传统文件系统
FastDFS
Ceph
AWS S3
“链家在线”更名为“链家网” 域名变更为Lianjia.com
着手重建to C业务 着手自研SE、TE系统
![Page 7: 链家网存储架构变迁 - community.qingcloud.com · 吕毅. 2016.09 . 链家网存储架构变迁. 自我介绍. 吕毅. • 链家网架构师 • 曾供职于新浪平台架构部、百度移动云事业部](https://reader034.vdocuments.site/reader034/viewer/2022050722/603f77703d13285cb25c9275/html5/thumbnails/7.jpg)
链家网存储服务相关数据
总存储文件: 8270万+
总存储容量:
43TB 房源实勘图
66%
其他图片 15%
音视频 13%
文件备份 4%
其他 2%
![Page 8: 链家网存储架构变迁 - community.qingcloud.com · 吕毅. 2016.09 . 链家网存储架构变迁. 自我介绍. 吕毅. • 链家网架构师 • 曾供职于新浪平台架构部、百度移动云事业部](https://reader034.vdocuments.site/reader034/viewer/2022050722/603f77703d13285cb25c9275/html5/thumbnails/8.jpg)
一场持续半年的存储改造工作
![Page 9: 链家网存储架构变迁 - community.qingcloud.com · 吕毅. 2016.09 . 链家网存储架构变迁. 自我介绍. 吕毅. • 链家网架构师 • 曾供职于新浪平台架构部、百度移动云事业部](https://reader034.vdocuments.site/reader034/viewer/2022050722/603f77703d13285cb25c9275/html5/thumbnails/9.jpg)
为什么要改造?
使用Ceph遇到了问题:
容量不够
维稳成本
数据备份
![Page 10: 链家网存储架构变迁 - community.qingcloud.com · 吕毅. 2016.09 . 链家网存储架构变迁. 自我介绍. 吕毅. • 链家网架构师 • 曾供职于新浪平台架构部、百度移动云事业部](https://reader034.vdocuments.site/reader034/viewer/2022050722/603f77703d13285cb25c9275/html5/thumbnails/10.jpg)
使用Ceph遇到了问题:
容量不够
维稳成本
数据备份
使用S3不需要操心的事:
容量规划
存储管理
数据备份
维修硬件
为什么选用AWS S3?
![Page 11: 链家网存储架构变迁 - community.qingcloud.com · 吕毅. 2016.09 . 链家网存储架构变迁. 自我介绍. 吕毅. • 链家网架构师 • 曾供职于新浪平台架构部、百度移动云事业部](https://reader034.vdocuments.site/reader034/viewer/2022050722/603f77703d13285cb25c9275/html5/thumbnails/11.jpg)
云存储为何选用S3? (1/2)
十年 S3
![Page 12: 链家网存储架构变迁 - community.qingcloud.com · 吕毅. 2016.09 . 链家网存储架构变迁. 自我介绍. 吕毅. • 链家网架构师 • 曾供职于新浪平台架构部、百度移动云事业部](https://reader034.vdocuments.site/reader034/viewer/2022050722/603f77703d13285cb25c9275/html5/thumbnails/12.jpg)
![Page 13: 链家网存储架构变迁 - community.qingcloud.com · 吕毅. 2016.09 . 链家网存储架构变迁. 自我介绍. 吕毅. • 链家网架构师 • 曾供职于新浪平台架构部、百度移动云事业部](https://reader034.vdocuments.site/reader034/viewer/2022050722/603f77703d13285cb25c9275/html5/thumbnails/13.jpg)
云存储为何选用S3? (2/2)
11个9的持久性
![Page 14: 链家网存储架构变迁 - community.qingcloud.com · 吕毅. 2016.09 . 链家网存储架构变迁. 自我介绍. 吕毅. • 链家网架构师 • 曾供职于新浪平台架构部、百度移动云事业部](https://reader034.vdocuments.site/reader034/viewer/2022050722/603f77703d13285cb25c9275/html5/thumbnails/14.jpg)
链家网存储架构 2015年
corporate data center
AWS Direct Connect
ELB (internal)
EC2 (Web Services)
ELB (public)
Ceph
Business group
Business A
Business B
Projects (Web services)
80% 20%
![Page 15: 链家网存储架构变迁 - community.qingcloud.com · 吕毅. 2016.09 . 链家网存储架构变迁. 自我介绍. 吕毅. • 链家网架构师 • 曾供职于新浪平台架构部、百度移动云事业部](https://reader034.vdocuments.site/reader034/viewer/2022050722/603f77703d13285cb25c9275/html5/thumbnails/15.jpg)
链家网基于AWS S3的存储架构
corporate data center AWS Direct
Connect
Projects (internal)
ELB (internal)
EC2 (auto scaling)
ELB (public)
S3 Redshift
Cache
security group
Availability Zone
![Page 16: 链家网存储架构变迁 - community.qingcloud.com · 吕毅. 2016.09 . 链家网存储架构变迁. 自我介绍. 吕毅. • 链家网架构师 • 曾供职于新浪平台架构部、百度移动云事业部](https://reader034.vdocuments.site/reader034/viewer/2022050722/603f77703d13285cb25c9275/html5/thumbnails/16.jpg)
存储架构改造中遇到的问题
存量与增量的问题
业务方迁移成本
写入数据双写
数据迁移
![Page 17: 链家网存储架构变迁 - community.qingcloud.com · 吕毅. 2016.09 . 链家网存储架构变迁. 自我介绍. 吕毅. • 链家网架构师 • 曾供职于新浪平台架构部、百度移动云事业部](https://reader034.vdocuments.site/reader034/viewer/2022050722/603f77703d13285cb25c9275/html5/thumbnails/17.jpg)
我们所熟悉的AWS S3
![Page 18: 链家网存储架构变迁 - community.qingcloud.com · 吕毅. 2016.09 . 链家网存储架构变迁. 自我介绍. 吕毅. • 链家网架构师 • 曾供职于新浪平台架构部、百度移动云事业部](https://reader034.vdocuments.site/reader034/viewer/2022050722/603f77703d13285cb25c9275/html5/thumbnails/18.jpg)
关于Bucket
Bucket名全球唯一
可以建立Huge Bucket
![Page 19: 链家网存储架构变迁 - community.qingcloud.com · 吕毅. 2016.09 . 链家网存储架构变迁. 自我介绍. 吕毅. • 链家网架构师 • 曾供职于新浪平台架构部、百度移动云事业部](https://reader034.vdocuments.site/reader034/viewer/2022050722/603f77703d13285cb25c9275/html5/thumbnails/19.jpg)
关于文件检索与统计
使用数据库存储文件Meta信息供检索
![Page 20: 链家网存储架构变迁 - community.qingcloud.com · 吕毅. 2016.09 . 链家网存储架构变迁. 自我介绍. 吕毅. • 链家网架构师 • 曾供职于新浪平台架构部、百度移动云事业部](https://reader034.vdocuments.site/reader034/viewer/2022050722/603f77703d13285cb25c9275/html5/thumbnails/20.jpg)
关于存储成本
冷数据 使用AWS Glacier存储
![Page 21: 链家网存储架构变迁 - community.qingcloud.com · 吕毅. 2016.09 . 链家网存储架构变迁. 自我介绍. 吕毅. • 链家网架构师 • 曾供职于新浪平台架构部、百度移动云事业部](https://reader034.vdocuments.site/reader034/viewer/2022050722/603f77703d13285cb25c9275/html5/thumbnails/21.jpg)
代理S3服务
在S3能力之上 封装公司通用逻辑
![Page 22: 链家网存储架构变迁 - community.qingcloud.com · 吕毅. 2016.09 . 链家网存储架构变迁. 自我介绍. 吕毅. • 链家网架构师 • 曾供职于新浪平台架构部、百度移动云事业部](https://reader034.vdocuments.site/reader034/viewer/2022050722/603f77703d13285cb25c9275/html5/thumbnails/22.jpg)
Q&A
![Page 23: 链家网存储架构变迁 - community.qingcloud.com · 吕毅. 2016.09 . 链家网存储架构变迁. 自我介绍. 吕毅. • 链家网架构师 • 曾供职于新浪平台架构部、百度移动云事业部](https://reader034.vdocuments.site/reader034/viewer/2022050722/603f77703d13285cb25c9275/html5/thumbnails/23.jpg)
Thank you!