moosefs 官方網站
mfs权威指南(moosefs)分布式文件系统一站式解决方案(部署，性能测试)不断更新
分布式文件系统MFS(moosefs)实现存储共享(第二版)
建立高可用的Moosefs文件系统 -- Moose通过DNBD提供磁盘及时同步，通过HeartBeat提供Failover,来达到高可用。
使用 moosefs 的網站：豆瓣
ref: QClub - 豆瓣存儲經驗分享
moosefs 幾種主機身份
Managing Server (Master)
1台
負責管理 Data Server 的檔案增、刪
Metalogger Server
1~n台
備份 Master 的日誌(Log)
可在 Master 掛掉時，接替成為新的 master
Data Server (Chunk Server)
1~n台
實際的檔案儲存空間
會在硬碟中開 00~FF 的目錄來存放檔案
檔名類似 chunk_0000000000000304_00000001.mfs，檔案會加上 header (所以不是以原始檔案的大小、內容來儲存)
Client
1~n台
要 mount moosefs 檔案系統的主機(Client)
2010-09-30 note
掏寶 TFS 今天正式 open source
淘宝整体图片存储系统容量1800TB（1.8PB），已经占用空间990TB（约1PB）。保存的图片文件数量达到286亿多个，这些图片文件包括根据原图生成的缩略图。平均图片大小是17.45K；8K以下图片占图片数总量的61%，占存储容量的11%。
相關介紹：
揭秘淘宝自主研发的文件系统——TFS
章文嵩：Taobao海量图片存储与CDN系统-v2-系统架构师
揭秘淘宝286亿海量图片存储与处理架构
**
2014-05 記錄：
使用環境 version: 1.6.19
刪除大量檔案 非常快，比刪除 local 硬碟上的速度還快非常非常多
-->因為不是真的刪除，而是先移到【trash folder】中
而當系統開始大量的刪除【trash folder】中檔案時 (例如有一二十萬個)
chunk server 會忙著處理檔案刪除的工作 ( default設定值，chunk server 每分鐘約刪除 2000檔案)
而無法處理 replication 、也無法無法存入新的檔案
chunk server loading 跑到 15+
**
原 /etc/mfsmaster.cfg 中
# CHUNKS_WRITE_REP_LIMIT = 1
改為
CHUNKS_WRITE_REP_LIMIT = 5
restart mfsmaster 後，系統馬上開始做 replication
若是 CHUNKS_WRITE_REP_LIMIT 以內定值 (1)
重啟 mfsmaster 後 都要等整整 1小時後才會開使做 replication...
