Skip to main content
本示例介绍如何将 HTML 文档从一组 URL 加载到我们可以下游使用的 Document 格式中。

非结构化 URL 加载器

对于下面的示例,请安装 unstructured 库,并查看 Unstructured 以获取更多关于在本地设置 Unstructured 的说明,包括设置所需的系统依赖项:
传入 ssl_verify=Falseheaders=headers 以绕过 SSL 验证错误。

Selenium URL 加载器

这介绍了如何使用 SeleniumURLLoader 从 URL 列表加载 HTML 文档。 使用 Selenium 允许我们加载需要 JavaScript 才能渲染的页面。 要使用 SeleniumURLLoader,您必须安装 seleniumunstructured

Playwright URL 加载器

Playwright 是由 Microsoft 开发的开源自动化工具,允许您通过编程方式控制和自动化 Web 浏览器。它旨在用于跨各种 Web 浏览器(如 ChromiumFirefoxWebKit)进行端到端测试、抓取和任务自动化。
这介绍了如何使用 PlaywrightURLLoader 从 URL 列表加载 HTML 文档。 Playwright 为现代 Web 应用提供可靠的端到端测试。 与 Selenium 情况一样,Playwright 允许我们加载和渲染 JavaScript 页面。 要使用 PlaywrightURLLoader,您必须安装 playwrightunstructured。此外,您还必须安装 Playwright Chromium 浏览器:
目前,仅支持异步方法: