# Node.js中的Buffer模块怎么使用 ## 1. Buffer模块简介 ### 1.1 什么是Buffer Buffer是Node.js中用于处理二进制数据的核心模块，它提供了一种在V8堆外分配固定大小内存的方法，专门用来处理像TCP流、文件系统操作等需要处理二进制数据的场景。与JavaScript中的String类型不同，Buffer处理的是原始二进制数据。 ### 1.2 为什么需要Buffer 在Node.js中，传统的JavaScript字符串（UTF-16编码）不适合处理二进制数据，因为： - 二进制数据不一定是有效的Unicode字符串 - 字符串操作对二进制数据不够高效 - 网络协议、文件系统等经常需要处理原始字节流 Buffer的出现填补了JavaScript在处理二进制数据方面的不足，使得Node.js能够高效地处理图像、音频、视频等二进制文件。 ### 1.3 Buffer与字符串的区别 | 特性 | Buffer | String | |------------|---------------------------|------------------------| | 编码 | 原始二进制数据 | Unicode字符 | | 内存分配 | 堆外内存 | V8堆内存 | | 可变性 | 可修改 | 不可变 | | 适用场景 | 二进制数据操作 | 文本处理 | ## 2. 创建Buffer ### 2.1 废弃的构造函数方式（不推荐） ```javascript // 已废弃的方式（Node.js v10+不推荐使用） const buf1 = new Buffer(10); // 创建一个10字节的Buffer const buf2 = new Buffer([1, 2, 3]); // 从数组创建 const buf3 = new Buffer('hello', 'utf8'); // 从字符串创建 // 创建一个10字节的Buffer，并用0填充 const buf1 = Buffer.alloc(10); console.log(buf1); // <Buffer 00 00 00 00 00 00 00 00 00 00> // 创建一个10字节的Buffer，不填充（可能包含旧数据） const buf2 = Buffer.allocUnsafe(10); console.log(buf2); // <Buffer 00 00 00 00 00 00 00 00 00 00> 或包含随机数据 // 创建一个10字节的Buffer，并用1填充 const buf3 = Buffer.alloc(10, 1); console.log(buf3); // <Buffer 01 01 01 01 01 01 01 01 01 01> // 从数组创建 const buf1 = Buffer.from([1, 2, 3]); console.log(buf1); // <Buffer 01 02 03> // 从字符串创建（默认utf8编码） const buf2 = Buffer.from('hello'); console.log(buf2); // <Buffer 68 65 6c 6c 6f> // 从已有Buffer创建副本 const buf3 = Buffer.from(buf2); console.log(buf3); // <Buffer 68 65 6c 6c 6f> const buf1 = Buffer.from('Hello'); const buf2 = Buffer.from(' '); const buf3 = Buffer.from('World'); const concatedBuf = Buffer.concat([buf1, buf2, buf3]); console.log(concatedBuf.toString()); // Hello World const buf = Buffer.alloc(10); // 写入字符串（返回写入的字节数） const bytesWritten = buf.write('Node.js'); console.log(bytesWritten); // 7 console.log(buf.toString()); // 'Node.js\u0000\u0000\u0000' // 指定位置写入 buf.write('Buffer', 2); console.log(buf.toString()); // 'NoBuffer\u0000\u0000' // 写入不同编码 const buf2 = Buffer.alloc(10); buf2.write('你好', 'utf8'); console.log(buf2.toString('utf8')); // '你好' const buf = Buffer.from('Node.js Buffer'); // 读取指定位置字节 console.log(buf[0]); // 78 (ASCII码'N') // 转换为字符串 console.log(buf.toString()); // 'Node.js Buffer' console.log(buf.toString('utf8', 0, 5)); // 'Node.' // 转换为JSON console.log(buf.toJSON()); // { type: 'Buffer', data: [ 78, 111, 100, 101, 46, 106, 115, 32, 66, 117, 102, 102, 101, 114 ] } // 转换为数组 console.log(Array.from(buf)); // [78, 111, 100, 101, 46, 106, 115, 32, 66, 117, 102, 102, 101, 114] const buf = Buffer.from('Node.js Buffer Module'); // 创建切片（共享内存） const slice = buf.slice(8, 14); console.log(slice.toString()); // 'Buffer' // 修改切片会影响原Buffer slice[0] = 98; // 'b'的ASCII码 console.log(buf.toString()); // 'Node.js buffer Module' const buf1 = Buffer.from('Hello'); const buf2 = Buffer.from('World'); const buf3 = Buffer.alloc(10); // 将buf2复制到buf3 buf2.copy(buf3); console.log(buf3.toString()); // 'World\u0000\u0000\u0000\u0000\u0000' // 指定位置复制 buf1.copy(buf3, 6); console.log(buf3.toString()); // 'WorldHello' // 复制部分内容 const buf4 = Buffer.alloc(3); buf1.copy(buf4, 0, 1, 4); console.log(buf4.toString()); // 'ell' const buf1 = Buffer.from('ABC'); const buf2 = Buffer.from('BCD'); const buf3 = Buffer.from('ABC'); console.log(buf1.equals(buf2)); // false console.log(buf1.equals(buf3)); // true console.log(buf1.compare(buf2)); // -1 (buf1 < buf2) console.log(buf2.compare(buf1)); // 1 (buf2 > buf1) console.log(buf1.compare(buf3)); // 0 (相等) Node.js Buffer支持以下编码： - utf8 (默认) - utf16le - latin1 - base64 - hex - ascii - binary (已废弃，等同于latin1)
const buf = Buffer.from('你好，世界'); // 转换为Base64 const base64String = buf.toString('base64'); console.log(base64String); // '5L2g5aW977yM5LiW55WM' // 从Base64转换回来 const bufFromBase64 = Buffer.from(base64String, 'base64'); console.log(bufFromBase64.toString()); // '你好，世界' // 转换为Hex const hexString = buf.toString('hex'); console.log(hexString); // 'e4bda0e5a5bdefbc8ce4b896e7958c' // 从Hex转换回来 const bufFromHex = Buffer.from(hexString, 'hex'); console.log(bufFromHex.toString()); // '你好，世界' const text = 'π is pi'; const buf = Buffer.from(text); console.log(text.length); // 7 console.log(buf.length); // 9 (π占2个字节) // 安全处理多字节字符 const safeSlice = Buffer.from(text.slice(0, 1)); // 正确获取第一个字符 console.log(safeSlice.toString()); // 'π' Node.js维护了一个8KB的Buffer内存池，用于快速分配小Buffer。当请求的Buffer小于4KB时，会从内存池中分配，减少系统调用。
// 不好：频繁创建小Buffer function concatFiles(files) { let result = Buffer.alloc(0); files.forEach(file => { result = Buffer.concat([result, fs.readFileSync(file)]); }); return result; } // 更好：预先计算总大小 function concatFilesOptimized(files) { const sizes = files.map(file => fs.statSync(file).size); const totalSize = sizes.reduce((sum, size) => sum + size, 0); const result = Buffer.alloc(totalSize); let offset = 0; files.forEach(file => { const data = fs.readFileSync(file); data.copy(result, offset); offset += data.length; }); return result; } 对于大文件处理，应该使用流(Stream)而不是一次性读取到Buffer中：
const fs = require('fs'); const readStream = fs.createReadStream('large-file.bin'); const writeStream = fs.createWriteStream('copy-large-file.bin'); readStream.on('data', (chunk) => { // 处理每个chunk（Buffer） writeStream.write(chunk); }); readStream.on('end', () => { writeStream.end(); console.log('File copied successfully'); }); const fs = require('fs'); // 读取文件到Buffer fs.readFile('example.txt', (err, data) => { if (err) throw err; console.log(data); // <Buffer ...> console.log(data.toString()); }); // 写入Buffer到文件 const buf = Buffer.from('Hello File System'); fs.writeFile('output.txt', buf, (err) => { if (err) throw err; console.log('File written successfully'); }); const net = require('net'); const server = net.createServer((socket) => { socket.on('data', (data) => { // data是一个Buffer console.log('Received:', data.toString()); socket.write(Buffer.from('Message received')); }); }); server.listen(3000, () => { console.log('Server listening on port 3000'); }); const crypto = require('crypto'); // 创建哈希 const hash = crypto.createHash('sha256'); const data = Buffer.from('secret data'); hash.update(data); const digest = hash.digest('hex'); // 返回hex字符串 console.log('SHA-256:', digest); // 加密 const cipher = crypto.createCipher('aes192', 'password'); let encrypted = cipher.update(data, 'utf8', 'hex'); encrypted += cipher.final('hex'); console.log('Encrypted:', encrypted); const sharp = require('sharp'); // 从Buffer创建图像 fs.readFile('input.jpg', (err, data) => { if (err) throw err; sharp(data) .resize(200, 200) .toBuffer() .then(outputBuffer => { fs.writeFile('output-thumbnail.jpg', outputBuffer, () => {}); }); }); // 不安全：可能包含旧数据 const unsafeBuf = Buffer.allocUnsafe(256); // 安全：用0填充 const safeBuf = Buffer.alloc(256); // 对于敏感数据，使用后清除 function handleSensitiveData(data) { const buf = Buffer.from(data); // 处理数据... // 使用后清除 buf.fill(0); } function safeBufferFrom(input) { if (typeof input === 'string') { return Buffer.from(input); } if (Array.isArray(input)) { return Buffer.from(input); } if (input instanceof ArrayBuffer) { return Buffer.from(input); } throw new Error('Invalid input type for Buffer creation'); } // 避免保存大Buffer的引用 const cache = {}; function processLargeData(data) { // 处理数据... // 不要这样做：cache.data = data; // 应该只保存必要的信息 cache.metadata = { size: data.length, hash: createHash(data) }; } Node.js Buffer实际上是Uint8Array的子类，可以与ES6 TypedArray互操作：
const buf = Buffer.from([1, 2, 3, 4]); // Buffer转为普通Uint8Array const uint8array = new Uint8Array(buf.buffer, buf.byteOffset, buf.byteLength); // TypedArray转为Buffer const newBuf = Buffer.from(uint8array.buffer); const buf = Buffer.alloc(8); const view = new DataView(buf.buffer); // 写入32位整数 view.setInt32(0, 123456789, true); // little-endian // 写入32位浮点数 view.setFloat32(4, Math.PI, true); console.log(buf); // <Buffer 15 cd 5b 07 db 0f 49 40> // 错误方式：大Buffer分片转换可能导致乱码 const buf = Buffer.from('你好世界'); const part1 = buf.slice(0, 3).toString(); // 乱码 const part2 = buf.slice(3).toString(); // 乱码 // 正确方式：使用StringDecoder const { StringDecoder } = require('string_decoder'); const decoder = new StringDecoder('utf8'); const part1Safe = decoder.write(buf.slice(0, 3)); // '' const part2Safe = decoder.write(buf.slice(3)); // '你好世界' // 监控Buffer内存使用 const used = process.memoryUsage(); console.log(`Buffer memory: ${used.arrayBuffers / 1024 / 1024} MB`); // 使用Buffer.poolSize调整内存池大小 Buffer.poolSize = 16 * 1024; // 16KB const buf = Buffer.from('hello'); // Buffer转JSON const json = JSON.stringify(buf); console.log(json); // {"type":"Buffer","data":[104,101,108,108,111]} // JSON转Buffer const parsed = JSON.parse(json); const newBuf = Buffer.from(parsed.data); console.log(newBuf.toString()); // 'hello' Node.js的Buffer模块是处理二进制数据的强大工具，它弥补了JavaScript在二进制操作方面的不足。通过本文的介绍，我们了解了：
随着Node.js的发展，Buffer API也在不断改进，建议始终使用最新的安全方法（如Buffer.from()、Buffer.alloc()）而不是已废弃的构造函数。合理使用Buffer可以显著提高Node.js应用的性能，特别是在处理I/O密集型操作时。
| 方法 | 描述 |
|---|---|
| Buffer.alloc(size[, fill[, encoding]]) | 创建指定大小的Buffer |
| Buffer.allocUnsafe(size) | 创建未初始化的Buffer |
| Buffer.from(array) | 从数组创建Buffer |
| Buffer.from(string[, encoding]) | 从字符串创建Buffer |
| Buffer.concat(list[, totalLength]) | 合并多个Buffer |
| buf.length | Buffer的字节长度 |
| buf.toString([encoding[, start[, end]]]) | 转换为字符串 |
| buf.write(string[, offset[, length]][, encoding]) | 写入字符串 |
| buf.slice([start[, end]]) | 创建Buffer切片 |
| buf.copy(target[, targetStart[, sourceStart[, sourceEnd]]]) | 复制Buffer内容 |
| buf.equals(otherBuffer) | 比较Buffer是否相等 |
| buf.fill(value[, offset[, end]][, encoding]) | 填充Buffer |
| buf.indexOf(value[, byteOffset][, encoding]) | 查找值的位置 |
| buf.includes(value[, byteOffset][, encoding]) | 检查是否包含值 |
”`
这篇文章详细介绍了Node.js中Buffer模块的使用方法，涵盖了从基础操作到高级应用的各个方面，总字数约5250字。文章采用markdown格式，包含代码示例、表格和层级标题，便于阅读和理解。
免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：is@yisu.com进行举报，并提供相关证据，一经查实，将立刻删除涉嫌侵权内容。
