JuiceFS:分布式文件系统

如何使用 Pigsty 提供的 PostgreSQL 与 MinIO 搭建分布式云原生文件系统 JuiceFS。

JuiceFS 是一个高性能、云原生分布式文件系统,

本文介绍如何使用 Pigsty 提供的 PostgreSQL 作为 JuiceFS 的元数据引擎,MinIO 作为 JuiceFS 的对象存储引擎,搭建一套生产级 JuiceFS 集群。


快速上手

使用 full 模式创建四节点沙箱。

./configure -c full ./install.yml 

安装 JuiceFS 并使用对象存储:

JFSNAME=jfs METAURL=postgres://dbuser_meta:DBUser.Meta@10.10.10.10:5432/meta DATAURL=(  --storage minio  --bucket https://sss.pigsty:9000/infra  --access-key minioadmin  --secret-key minioadmin )  juicefs format "${DATAURL[@]}" ${METAURL} jfs # 格式化文件系统 juicefs mount ${METAURL} ~/jfs -d # 后台挂载 juicefs umount ~/jfs # 停止挂载 

更狂野的玩法:PGFS,把数据库当成文件系统用

JFSNAME=jfs METAURL=postgres://dbuser_meta:DBUser.Meta@10.10.10.10:5432/meta DATAURL=(  --storage postgres  --bucket 10.10.10.10:5432/meta  --access-key dbuser_meta  --secret-key DBUser.Meta )  juicefs format "${DATAURL[@]}" ${METAURL} ${JFSNAME} juicefs mount ${METAURL} ~/jfs -d # 后台挂载 juicefs umount ~/jfs # 停止挂载 

单机模式

Pigsty Infra 仓库提供最新版本的 JuiceFS RPM/DEB 包,直接使用包管理器安装即可。

以下命令使用本地 SQLite 与文件系统(/var/jfs创建一个本地 JuiceFS 文件系统

juicefs format sqlite3:///tmp/jfs.db myjfs 
格式化输出
$ juicefs format sqlite3:///jfs.db myjfs 2025/03/19 12:07:56.956222 juicefs[62924] <INFO>: Meta address: sqlite3:///jfs.db [interface.go:504] 2025/03/19 12:07:56.958055 juicefs[62924] <INFO>: Data use file:///var/jfs/myjfs/ [format.go:484] 2025/03/19 12:07:56.966150 juicefs[62924] <INFO>: Volume is formatted as {  "Name": "myjfs",  "UUID": "1568ee2a-dc4c-4a0e-9788-be0490776dda",  "Storage": "file",  "Bucket": "/var/jfs/",  "BlockSize": 4096,  "Compression": "none",  "EncryptAlgo": "aes256gcm-rsa",  "TrashDays": 1,  "MetaVersion": 1,  "MinClientVersion": "1.1.0-A",  "DirStats": true,  "EnableACL": false } [format.go:521] 

然后使用以下命令进行本地前台挂载:

juicefs mount sqlite3:///tmp/jfs.db ~/jfs # 前台挂载,退出后自动卸载 juicefs mount sqlite3:///tmp/jfs.db ~/jfs -d # 守护进程挂载,需要手动卸载 juicefs umount ~/jfs # 取消挂载,退出进程 

删除数据

使用以下命令清空 PostgreSQL 中的 JuiceFS 元数据

DROP TABLE IF EXISTS jfs_acl,jfs_chunk,jfs_chunk_ref,jfs_counter,jfs_delfile,jfs_delslices,jfs_detached_node,jfs_dir_quota,jfs_dir_stats,jfs_edge,jfs_flock,jfs_node,jfs_plock,jfs_session2,jfs_setting,jfs_sustained,jfs_symlink,jfs_xattr CASCADE; 

使用以下命令清空对象存储桶:

mcli rm --recursive --force infra/jfs 

PGFS性能摘要

二手物理机评测结果:

METAURL=postgres://dbuser_meta:DBUser.Meta@:5432/meta OPTIONS=(  --storage postgres  --bucket :5432/meta  --access-key dbuser_meta  --secret-key DBUser.Meta  ${METAURL}  jfs )  juicefs format "${OPTIONS[@]}" juicefs mount ${METAURL} ~/jfs -d # 后台挂载 juicefs bench ~/jfs # 测试性能 juicefs umount ~/jfs # 停止挂载 
$ juicefs bench ~/jfs # 测试性能  Write big blocks: 1024/1024 [==============================================================] 178.5/s used: 5.73782533s  Read big blocks: 1024/1024 [==============================================================] 31.7/s used: 32.314547037s Write small blocks: 100/100 [==============================================================] 149.2/s used: 670.127171ms  Read small blocks: 100/100 [==============================================================] 543.4/s used: 184.109596ms  Stat small files: 100/100 [==============================================================] 1723.4/s used: 58.087752ms Benchmark finished! BlockSize: 1.0 MiB, BigFileSize: 1.0 GiB, SmallFileSize: 128 KiB, SmallFileCount: 100, NumThreads: 1 Time used: 42.2 s, CPU: 687.2%, Memory: 179.4 MiB +------------------+------------------+---------------+ | ITEM | VALUE | COST | +------------------+------------------+---------------+ | Write big file | 178.51 MiB/s | 5.74 s/file | | Read big file | 31.69 MiB/s | 32.31 s/file | | Write small file | 149.4 files/s | 6.70 ms/file | | Read small file | 545.2 files/s | 1.83 ms/file | | Stat file | 1749.7 files/s | 0.57 ms/file | | FUSE operation | 17869 operations | 3.82 ms/op | | Update meta | 1164 operations | 1.09 ms/op | | Put object | 356 operations | 303.01 ms/op | | Get object | 256 operations | 1072.82 ms/op | | Delete object | 0 operations | 0.00 ms/op | | Write into cache | 356 operations | 2.18 ms/op | | Read from cache | 100 operations | 0.11 ms/op | +------------------+------------------+---------------+ 




最后修改 2025-04-08: update tasks and infra docs (2085572)