当前位置：首页 > news >正文

烟台网站建设.com百度深圳总部

news 2025/7/18 22:22:56

烟台网站建设.com,百度深圳总部,洛阳市宜阳建设局网站,网站上线需要怎么做背景介绍现代爬虫技术中，模拟人类行为已成为绕过反爬虫系统的关键策略之一。无论是模拟用户点击、滚动，还是鼠标的轨迹移动，都可以为爬虫脚本带来更高的“伪装性”。在众多的自动化工具中，Puppeteer作为一个无头浏览器控制库&am…

背景介绍

现代爬虫技术中，模拟人类行为已成为绕过反爬虫系统的关键策略之一。无论是模拟用户点击、滚动，还是鼠标的轨迹移动，都可以为爬虫脚本带来更高的“伪装性”。在众多的自动化工具中，Puppeteer作为一个无头浏览器控制库，以其强大的功能和灵活的 API 赢得了开发者的青睐。

本文将深入探讨 Puppeteer 如何通过X 和 Y 坐标精准实现鼠标移动，并结合实际案例展示如何采集小红书网站的内容。在此过程中，我们还将运用代理 IP 技术、设置 cookie 和 user-agent，模拟一个更加“真实”的用户环境。

问题陈述

在爬取小红书等具备强大反爬能力的网站时，仅简单发送 HTTP 请求已不足以满足需求。网站可能会通过以下方式检测爬虫：

缺乏真实用户行为（鼠标移动、点击、键盘输入等）。
请求 IP 地址异常频繁，导致触发封禁机制。
浏览器指纹（如 User-Agent 或 Cookie）不符合常规。

这就要求我们在代码中实现：

模拟人类鼠标移动：基于 X 和 Y 坐标的动态轨迹。
代理 IP 技术：隐藏爬虫的真实 IP。
自定义请求头：包括 User-Agent 和 Cookie。
完整采集流程：以小红书为例，成功抓取页面内容。

解决方案

Puppeteer 的鼠标移动 API

Puppeteer 提供了 page.mouse.move(x, y, options) 方法来实现鼠标移动。结合一定的随机性，我们可以模拟真实用户的鼠标行为，避免直线轨迹暴露爬虫的本质。

实现代理 IP

使用代理 IP 技术能够有效地绕过 IP 限制。本文将参考爬虫代理的服务，通过配置代理服务器的地址、端口、用户名和密码，让 Puppeteer 的请求看起来更真实。

案例分析：采集小红书

以下是完整的代码实现，包含代理 IP、Cookie、User-Agent 的设置，以及鼠标移动的模拟。

const puppeteer = require('puppeteer');// 配置代理IP信息 亿牛云爬虫代理 www.16yun.cn
const proxy = {host: '代理服务器域名', // 替换为16yun爬虫代理提供的域名port: '代理服务器端口', // 替换为16yun爬虫代理提供的端口username: '用户名',      // 替换为16yun爬虫代理提供的用户名password: '密码',        // 替换为16yun爬虫代理提供的密码
};// 自定义 Cookie 和 User-Agent
const cookies = [{name: 'test_cookie',value: 'test_value',domain: 'xiaohongshu.com',path: '/',},
];
const userAgent = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/113.0.0.0 Safari/537.36';(async () => {// 启动 Puppeteer，并设置代理const browser = await puppeteer.launch({headless: false, // 可设置为 true 来启用无头模式args: [`--proxy-server=http://${proxy.host}:${proxy.port}`, // 配置代理],});const page = await browser.newPage();// 设置认证代理await page.authenticate({username: proxy.username,password: proxy.password,});// 设置 User-Agentawait page.setUserAgent(userAgent);// 设置 Cookieawait page.setCookie(...cookies);// 打开小红书主页await page.goto('https://www.xiaohongshu.com', {waitUntil: 'networkidle2',});// 模拟鼠标移动console.log('模拟鼠标移动...');await page.mouse.move(100, 100); // 从点 (100, 100) 开始await page.waitForTimeout(500); // 等待 500 毫秒await page.mouse.move(200, 200, { steps: 20 }); // 平滑移动到点 (200, 200)// 获取页面内容const content = await page.evaluate(() => document.body.innerText);console.log('页面内容:', content);// 关闭浏览器await browser.close();
})();

代码解析

代理 IP 配置：通过 Puppeteer 的 --proxy-server 参数以及 page.authenticate 方法，完成代理 IP 的配置。
Cookie 和 User-Agent：模拟浏览器的指纹数据，避免爬虫身份暴露。
鼠标移动模拟：采用 mouse.move 方法，通过动态坐标和步数实现平滑移动，模仿人类操作。
页面内容抓取：成功获取小红书页面的文本内容。