内容
活动
关注

【赵渝强老师】在PostgreSQL中使用file_fdw访问外部文件系统

简介: 本文介绍了PostgreSQL的file_fdw扩展,它支持直接从数据库访问服务器文件系统中的文件,文件格式需为text、csv或binary。内容涵盖从编译安装扩展、配置postgresql.conf参数、重启数据库实例,到创建扩展、外部文件服务及外部表的完整流程,并通过具体示例展示如何查询外部表数据,同时附有视频讲解以帮助理解操作步骤。

b223.png

PostgreSQL的file_fdw扩展允许直接从数据库中来访问服务器的文件系统中的文件,而文件的格式要求为text、csv或者 binary。下面通过具体的操作来演示如何使用file_fdw扩展,视频讲解如下:


(1)进入PostgreSQL源码目录下的contrib/file_fdw目录,编译并安装file_fdw扩展。

cd postgresql-15.3/contrib/file_fdw/ make make install # 编译完成后,会在当前目录下生成file_fdw.so文件,并自动将编译好的文件拷贝到PostgreSQL安装目录下。


(2)修改postgresql.conf文件中的shared_preload_libraries参数。

shared_preload_libraries = 'file_fdw'


(3)重启PostgreSQL数据库实例。

bin/pg_ctl -D data/ -l logfile restart


(4)创建file_fdw扩展。

postgres=# create extension file_fdw ;


(5)查看PostgreSQL数据库中已安装的扩展。

postgres=# select * from pg_extension; # 输出信息如下: -[ RECORD 1 ]--+--------- oid | 13566 extname | plpgsql extowner | 10 extnamespace | 11 extrelocatable | f extversion | 1.0 extconfig | extcondition | -[ RECORD 2 ]--+--------- oid | 16628 extname | file_fdw extowner | 10 extnamespace | 2200 extrelocatable | t extversion | 1.0 extconfig | extcondition |


(6)基于file_fdw创建外部文件服务service_file。

postgres=# create server service_file foreign data wrapper file_fdw;


(7)查看当前数据库中已创建的外部服务。

postgres=# \des # 输出的信息如下:  List of foreign servers  Name | Owner | Foreign-data wrapper --------------+----------+----------------------  service_file | postgres | file_fdw (1 row)


(8)创建基于file_fdw的外部表。

postgres=# create foreign table ft_emp(  empno int,  ename varchar(10),  job varchar(10),  mgr int,  hiredate varchar(10),  sal int,  comm int,  deptno int)  server service_file options  (filename '/home/postgres/emp.csv',format 'csv');  # emp.csv文件参考,文件中的数据如下: 7369,SMITH,CLERK,7902,1980/12/17,800,0,20 7499,ALLEN,SALESMAN,7698,1981/2/20,1600,300,30 7521,WARD,SALESMAN,7698,1981/2/22,1250,500,30 7566,JONES,MANAGER,7839,1981/4/2,2975,0,20 7654,MARTIN,SALESMAN,7698,1981/9/28,1250,1400,30 7698,BLAKE,MANAGER,7839,1981/5/1,2850,0,30 7782,CLARK,MANAGER,7839,1981/6/9,2450,0,10 7788,SCOTT,ANALYST,7566,1987/4/19,3000,0,20 7839,KING,PRESIDENT,-1,1981/11/17,5000,0,10 7844,TURNER,SALESMAN,7698,1981/9/8,1500,0,30 7876,ADAMS,CLERK,7788,1987/5/23,1100,0,20 7900,JAMES,CLERK,7698,1981/12/3,950,0,30 7902,FORD,ANALYST,7566,1981/12/3,3000,0,20 7934,MILLER,CLERK,7782,1982/1/23,1300,0,10


(9)查看外部表ft_emp的数据。

postgres=# select * from ft_emp; # 输出的信息如下:  empno | ename | job | mgr | hiredate | sal | comm | deptno -------+--------+-----------+------+------------+------+------+-----  7369 | SMITH | CLERK | 7902 | 1980/12/17 | 800 | 0 | 20  7499 | ALLEN | SALESMAN | 7698 | 1981/2/20 | 1600 | 300 | 30  7521 | WARD | SALESMAN | 7698 | 1981/2/22 | 1250 | 500 | 30  7566 | JONES | MANAGER | 7839 | 1981/4/2 | 2975 | 0 | 20  7654 | MARTIN | SALESMAN | 7698 | 1981/9/28 | 1250 | 1400 | 30  7698 | BLAKE | MANAGER | 7839 | 1981/5/1 | 2850 | 0 | 30  7782 | CLARK | MANAGER | 7839 | 1981/6/9 | 2450 | 0 | 10  7788 | SCOTT | ANALYST | 7566 | 1987/4/19 | 3000 | 0 | 20  7839 | KING | PRESIDENT | -1 | 1981/11/17 | 5000 | 0 | 10  7844 | TURNER | SALESMAN | 7698 | 1981/9/8 | 1500 | 0 | 30  7876 | ADAMS | CLERK | 7788 | 1987/5/23 | 1100 | 0 | 20  7900 | JAMES | CLERK | 7698 | 1981/12/3 | 950 | 0 | 30  7902 | FORD | ANALYST | 7566 | 1981/12/3 | 3000 | 0 | 20  7934 | MILLER | CLERK | 7782 | 1982/1/23 | 1300 | 0 | 10 (14 rows)


相关实践学习
使用PolarDB和ECS搭建门户网站
本场景主要介绍如何基于PolarDB和ECS实现搭建门户网站。
阿里云数据库产品家族及特性
阿里云智能数据库产品团队一直致力于不断健全产品体系,提升产品性能,打磨产品功能,从而帮助客户实现更加极致的弹性能力、具备更强的扩展能力、并利用云设施进一步降低企业成本。以云原生+分布式为核心技术抓手,打造以自研的在线事务型(OLTP)数据库Polar DB和在线分析型(OLAP)数据库Analytic DB为代表的新一代企业级云原生数据库产品体系, 结合NoSQL数据库、数据库生态工具、云原生智能化数据库管控平台,为阿里巴巴经济体以及各个行业的企业客户和开发者提供从公共云到混合云再到私有云的完整解决方案,提供基于云基础设施进行数据从处理、到存储、再到计算与分析的一体化解决方案。本节课带你了解阿里云数据库产品家族及特性。
相关文章
|
11月前
|
存储 关系型数据库 数据库
【赵渝强老师】PostgreSQL的服务器日志文件
本文介绍了PostgreSQL数据库的物理存储结构,重点讨论了服务器日志文件。通过`pg_ctl`命令启动PostgreSQL实例时,使用`-l`参数指定日志文件位置,记录数据库启动、运行及关闭过程中的关键信息。附有相关视频讲解和日志文件示例。
300 0
|
2月前
|
安全 Oracle 关系型数据库
【赵渝强老师】基于PostgreSQL的MPP集群:Greenplum
Greenplum是基于PostgreSQL的MPP架构分布式数据库,由Master、Segment和Interconnect组成,支持海量数据并行处理。本文介绍其架构及集群安装配置全过程。
181 1
|
3月前
|
存储 关系型数据库 数据库
【赵渝强老师】PostgreSQL数据库的WAL日志与数据写入的过程
PostgreSQL中的WAL(预写日志)是保证数据完整性的关键技术。在数据修改前,系统会先将日志写入WAL,确保宕机时可通过日志恢复数据。它减少了磁盘I/O,提升了性能,并支持手动切换日志文件。WAL文件默认存储在pg_wal目录下,采用16进制命名规则。此外,PostgreSQL提供pg_waldump工具解析日志内容。
267 0
|
4月前
|
关系型数据库 PostgreSQL
【赵渝强老师】PostgreSQL的并行查询
PostgreSQL的并行查询功能通过多CPU提升查询速度,尤其适用于处理大量数据但返回少量结果的场景。它利用Leader进程、Gather节点和Worker线程协作完成查询任务,显著提高性能。本文详细解析其工作原理及适用场景,并通过实例展示开启与关闭并行查询的性能差异。
160 2
|
5月前
|
存储 关系型数据库 分布式数据库
【赵渝强老师】基于PostgreSQL的分布式数据库:Citus
Citus 是基于 PostgreSQL 的开源分布式数据库,采用 shared nothing 架构,具备良好的扩展性。它以插件形式集成,部署简单,适用于处理大规模数据和高并发场景。本文介绍了 Citus 的基础概念、安装配置步骤及其在单机环境下的集群搭建方法。
430 2
|
6月前
|
Oracle 关系型数据库 数据库
【赵渝强老师】在PostgreSQL中访问Oracle
本文介绍了如何在PostgreSQL中使用oracle_fdw扩展访问Oracle数据库数据。首先需从Oracle官网下载三个Instance Client安装包并解压,设置Oracle环境变量。接着从GitHub下载oracle_fdw扩展,配置pg_config环境变量后编译安装。之后启动PostgreSQL服务器,在数据库中创建oracle_fdw扩展及外部数据库服务,建立用户映射。最后通过创建外部表实现对Oracle数据的访问。文末附有具体操作步骤与示例代码。
215 6
【赵渝强老师】在PostgreSQL中访问Oracle
|
6月前
|
关系型数据库 数据库 PostgreSQL
【赵渝强老师】使用postgre_fdw访问外部PostgreSQL
本文介绍了如何使用postgres_fdw扩展让PostgreSQL访问外部远端数据库数据。通过编译安装扩展、修改配置文件、重启数据库、创建扩展及外部服务器对象等步骤,最终实现本地数据库通过外部表访问远程数据。附带视频讲解,详细演示操作流程,并提醒需调整远端PostgreSQL配置以支持远程登录。
142 7
|
8月前
|
SQL 关系型数据库 数据库
【赵渝强老师】使用PostgreSQL客户端工具
PostgreSQL数据库服务器安装配置完成后,用户可以使用客户端工具连接并操作数据库。本文重点介绍两款常用的PostgreSQL客户端工具:命令行客户端psql和图形化客户端pgAdmin。 **psql**是PostgreSQL自带的命令行工具,支持交互式和非交互式模式。交互式模式下,用户可以直接输入SQL命令进行操作;非交互式模式则通过执行脚本文件来完成任务。 **pgAdmin**是一款功能全面的图形化管理工具,支持Linux、Windows和Mac OS X系统。 通过这两种工具,用户可以高效地管理和操作PostgreSQL数据库。
411 12
【赵渝强老师】使用PostgreSQL客户端工具
|
7月前
|
SQL 关系型数据库 数据库
【赵渝强老师】创建PostgreSQL的数据库
本文介绍了在PostgreSQL中通过SQL命令“create database”创建数据库的方法。首先查询系统目录pg_database以查看现有数据库集合,然后使用“create database”命令创建新数据库,并了解其在$PDATA/base目录下对应的文件夹生成。最后重新查询数据库集合确认创建结果,附带视频讲解便于理解操作步骤及注意事项。
196 1
|
8月前
|
关系型数据库 数据库 PostgreSQL
【赵渝强老师】PostgreSQL的模板数据库
在PostgreSQL中,创建新数据库时,默认通过拷贝`template1`实现。`template1`包含标准系统对象,可自定义以影响新数据库内容;而`template0`是纯净模板,仅含预定义对象且不应修改。视频讲解和代码示例展示了如何查看现有数据库信息及标识字段的作用。 ![图示](https://ucc.alicdn.com/pic/developer-ecology/yub6x2mlkqwck_398ed06397a44c2d9bfbb5ae5c90bbc0.png) [视频链接](https://www.bilibili.com/video/BV1szyfY4EQn)
137 0
【赵渝强老师】PostgreSQL的模板数据库

推荐镜像

查看更多
下一篇