Node爬虫怎样进行错误处理

在Node.js中，进行错误处理的关键是使用try-catch语句。当你在爬虫过程中遇到错误或异常时，可以使用try-catch语句捕获这些错误并进行相应的处理。以下是一个简单的Node.js爬虫示例，展示了如何进行错误处理：

const axios = require('axios'); const cheerio = require('cheerio'); // 定义一个异步函数来执行爬虫任务 async function fetchAndParse(url) { try { // 使用axios发起HTTP请求 const response = await axios.get(url); // 使用cheerio解析HTML内容 const $ = cheerio.load(response.data); // 在这里编写你的爬虫逻辑，例如提取数据 // ... } catch (error) { // 捕获错误并进行处理 console.error(`Error fetching URL: ${url}`, error); } } // 定义一个URL列表 const urls = [ 'https://example.com', 'https://example.org', // ... ]; // 并行执行爬虫任务 Promise.all(urls.map(fetchAndParse)).then(() => { console.log('All done!'); }).catch((error) => { console.error('An error occurred while fetching URLs:', error); }); 

在这个示例中，我们使用了try-catch语句来捕获可能在fetchAndParse函数中发生的错误。同时，我们还使用了Promise.all来并行执行多个爬虫任务，并在所有任务完成后输出提示信息。如果在执行过程中遇到错误，Promise.all会捕获到错误并输出提示信息。