0%

抓取 JS 动态生成网页数据

静态网页使用 bs4 + requests 进行抓取
动态网页数据不在 HTML 中,需要分析之后设计程序

转载 网络数据抓取-JS动态生成数据-Python-requests爬虫

理解页面

动态填充数据页面流程

能够动态请求数据和填充数据的代码就是 Html 网页内运行的 JavaScript 脚本代码,它们可以做各种事情,尤其善于玩弄数据。

理解数据请求Request

使用 chrome 开发者工具分析 Network

发送数据请求

复制请求地址

requests.get(url, headers=User_Agents[0], timeout=50)