跳至主要內容

文件存储方案

知识库集成配置文件系统文件系统大约 2 分钟

主要考虑

  1. 分布式系统文件存储。
  2. 文件分块的能力。断电续传、妙传等。
  3. 可扩展、
  4. 平滑迁移(可以不影响业务的情况下可以平滑迁移)
  5. 隔离性,产品应用的隔离性。
  6. 容错和灾备的能力。

FastDFS

FastDFS是一个开源的轻量级分布式文件系统,它对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务,如相册网站、视频网站等等。

分布式,没有单点依赖,用C编写,性能较好

优点:
支持在线扩容机制,增强系统的可扩展性
实现了软RAID,增强系统的并发处理能力及数据容错恢复能力
支持主从文件,支持自定义扩展名
主备Tracker服务,增强系统的可用性

缺点:
不支持POSIX通用接口访问,通用性较低
对跨公网的文件同步,存在较大延迟,需要应用做相应的容错策略
同步机制不支持文件正确性校验,降低了系统的可用性
通过API下载,存在单点的性能瓶颈

CephFS

开发语言:C++
适合单集群的大中小文件
不支持断点续传,不适合大文件存储。

优点:
支持对象存储(OSD)集群,通过CRUSH算法,完成文件动态定位,处理效率更高
符合posix语义,支持通过FUSE方式挂载,降低客户端的开发成本,通用性高
支持分布式的MDS/MON,无单点故障
强大的容错处理和自愈能力
支持在线扩容和冗余备份,增强系统的可靠性

缺点:
部署和运维较复杂,集群管理工具较少