文件存储方案
大约 2 分钟
主要考虑
- 分布式系统文件存储。
- 文件分块的能力。断电续传、妙传等。
- 可扩展、
- 平滑迁移(可以不影响业务的情况下可以平滑迁移)
- 隔离性,产品应用的隔离性。
- 容错和灾备的能力。
FastDFS
FastDFS是一个开源的轻量级分布式文件系统,它对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务,如相册网站、视频网站等等。
分布式,没有单点依赖,用C编写,性能较好
优点: 支持在线扩容机制,增强系统的可扩展性 实现了软RAID,增强系统的并发处理能力及数据容错恢复能力 支持主从文件,支持自定义扩展名 主备Tracker服务,增强系统的可用性
缺点: 不支持POSIX通用接口访问,通用性较低 对跨公网的文件同步,存在较大延迟,需要应用做相应的容错策略 同步机制不支持文件正确性校验,降低了系统的可用性 通过API下载,存在单点的性能瓶颈
CephFS
开发语言:C++ 适合单集群的大中小文件 不支持断点续传,不适合大文件存储。
优点: 支持对象存储(OSD)集群,通过CRUSH算法,完成文件动态定位,处理效率更高 符合posix语义,支持通过FUSE方式挂载,降低客户端的开发成本,通用性高 支持分布式的MDS/MON,无单点故障 强大的容错处理和自愈能力 支持在线扩容和冗余备份,增强系统的可靠性
缺点: 部署和运维较复杂,集群管理工具较少