Skip to main content

Documentation Index

Fetch the complete documentation index at: https://langchain-zh.cn/llms.txt

Use this file to discover all available pages before exploring further.

Microsoft OneDrive(原名 SkyDrive)是由微软运营的文件托管服务。
本笔记本介绍如何从 OneDrive 加载文档。默认情况下,文档加载器会加载 pdfdocdocxtxt 文件。您可以通过提供适当的解析器来加载其他文件类型(详见下文)。

前提条件

  1. 按照 Microsoft 身份平台 的说明注册一个应用程序。
  2. 注册完成后,Azure 门户会显示应用注册的概览页面。您会看到应用程序(客户端)ID。也称为 client ID,此值在 Microsoft 身份平台中唯一标识您的应用程序。
  3. 在遵循 第 1 项 的步骤时,您可以将重定向 URI 设置为 http://localhost:8000/callback
  4. 在遵循 第 1 项 的步骤时,在“应用程序密码”部分生成一个新密码(client_secret)。
  5. 按照此文档的说明,将以下 SCOPESoffline_accessFiles.Read.All)添加到您的应用程序。
  6. 访问 Graph Explorer Playground 获取您的 OneDrive ID。第一步是确保您使用与您的 OneDrive 账户关联的账户登录。然后您需要向 https://graph.microsoft.com/v1.0/me/drive 发出请求,响应将返回一个包含 id 字段的有效负载,该字段保存您的 OneDrive 账户 ID。
  7. 您需要使用命令 pip install o365 安装 o365 包。
  8. 完成这些步骤后,您必须拥有以下值:
    • CLIENT_ID
    • CLIENT_SECRET
    • DRIVE_ID

🧑 从 OneDrive 提取文档的说明

🔑 身份验证

默认情况下,OneDriveLoader 期望 CLIENT_IDCLIENT_SECRET 的值必须存储为名为 O365_CLIENT_IDO365_CLIENT_SECRET 的环境变量。您可以通过应用程序根目录下的 .env 文件或在脚本中使用以下命令传递这些环境变量。
os.environ['O365_CLIENT_ID'] = "您的客户端 ID"
os.environ['O365_CLIENT_SECRET'] = "您的客户端密钥"
此加载器使用一种称为 代表用户 的身份验证方式。这是一个需要用户同意的两步验证过程。当您实例化加载器时,它会打印一个 URL,用户必须访问该 URL 以同意应用程序所需的权限。然后用户必须访问此 URL 并同意应用程序的请求。接着,用户必须复制生成的页面 URL 并将其粘贴回控制台。如果登录尝试成功,该方法将返回 True。
from langchain_community.document_loaders.onedrive import OneDriveLoader

loader = OneDriveLoader(drive_id="您的驱动器 ID")
身份验证完成后,加载器将在 ~/.credentials/ 文件夹中存储一个令牌(o365_token.txt)。此令牌可用于后续的身份验证,而无需之前解释的复制/粘贴步骤。要在加载器实例化时使用此令牌进行身份验证,您需要将 auth_with_token 参数更改为 True。
from langchain_community.document_loaders.onedrive import OneDriveLoader

loader = OneDriveLoader(drive_id="您的驱动器 ID", auth_with_token=True)

🗂️ 文档加载器

📑 从 OneDrive 目录加载文档

OneDriveLoader 可以从您的 OneDrive 中的特定文件夹加载文档。例如,您希望加载存储在 OneDrive 中 Documents/clients 文件夹内的所有文档。
from langchain_community.document_loaders.onedrive import OneDriveLoader

loader = OneDriveLoader(drive_id="您的驱动器 ID", folder_path="Documents/clients", auth_with_token=True)
documents = loader.load()

📑 从文档 ID 列表加载文档

另一种可能性是提供您要加载的每个文档的 object_id 列表。为此,您需要查询 Microsoft Graph API 以找到您感兴趣的所有文档 ID。此链接提供了一系列有助于检索文档 ID 的端点。 例如,要检索存储在 Documents 文件夹根目录下所有对象的信息,您需要向以下地址发出请求:https://graph.microsoft.com/v1.0/drives/{您的驱动器 ID}/root/children。一旦您有了感兴趣的 ID 列表,就可以使用以下参数实例化加载器。
from langchain_community.document_loaders.onedrive import OneDriveLoader

loader = OneDriveLoader(drive_id="您的驱动器 ID", object_ids=["ID_1", "ID_2"], auth_with_token=True)
documents = loader.load()

📑 选择支持的文件类型和首选解析器

默认情况下,OneDriveLoader 使用默认解析器(见下文)加载在 document_loaders/parsers/registry 中定义的文件类型。
def _get_default_parser() -> BaseBlobParser:
    """获取基于 MIME 类型的默认解析器。"""
    return MimeTypeBasedParser(
        handlers={
            "application/pdf": PyMuPDFParser(),
            "text/plain": TextParser(),
            "application/msword": MsWordParser(),
            "application/vnd.openxmlformats-officedocument.wordprocessingml.document": (
                MsWordParser()
            ),
        },
        fallback_parser=None,
    )
您可以通过向 OneDriveLoader 传递 handlers 参数来覆盖此行为。传递一个字典,将文件扩展名(如 "doc""pdf" 等)或 MIME 类型(如 "application/pdf""text/plain" 等)映射到解析器。请注意,您必须仅使用文件扩展名或仅使用 MIME 类型,不能混合使用。 文件扩展名不要包含前导点。
# 使用文件扩展名:
handlers = {
    "doc": MsWordParser(),
    "pdf": PDFMinerParser(),
    "mp3": OpenAIWhisperParser()
}

# 使用 MIME 类型:
handlers = {
    "application/msword": MsWordParser(),
    "application/pdf": PDFMinerParser(),
    "audio/mpeg": OpenAIWhisperParser()
}

loader = OneDriveLoader(document_library_id="...",
                            handlers=handlers # 将 handlers 传递给 OneDriveLoader
                            )
如果多个文件扩展名映射到同一个 MIME 类型,将应用字典中的最后一项。 示例:
# 'jpg' 和 'jpeg' 都映射到 'image/jpeg' MIME 类型。SecondParser() 将用于
# 解析所有 jpg/jpeg 文件。
handlers = {
    "jpg": FirstParser(),
    "jpeg": SecondParser()
}