Documentation Index
Fetch the complete documentation index at: https://langchain-zh.cn/llms.txt
Use this file to discover all available pages before exploring further.
本笔记本提供了快速入门 DirectoryLoader 文档加载器 的简要概述。如需了解 DirectoryLoader 所有功能和配置的详细文档,请参阅 API 参考。
本示例演示如何从包含多个文件的文件夹中加载数据。第二个参数是一个文件扩展名到加载器工厂的映射。每个文件将被传递给匹配的加载器,最终生成的文档将被串联在一起。
示例文件夹结构:
src/document_loaders/example_data/example/
├── example.json
├── example.jsonl
├── example.txt
└── example.csv
集成详情
| 类 | 包 | 兼容性 | 本地 | Python 支持 |
|---|
DirectoryLoader | langchain | 仅 Node | ✅ | ✅ |
要使用 DirectoryLoader 文档加载器,您需要安装 langchain 包。
LangChain DirectoryLoader 集成位于 langchain 包中:
npm install langchain @langchain/core
实例化
现在我们可以实例化模型对象并加载文档:
import { DirectoryLoader } from "@langchain/classic/document_loaders/fs/directory";
import {
JSONLoader,
JSONLinesLoader,
} from "@langchain/classic/document_loaders/fs/json";
import { TextLoader } from "@langchain/classic/document_loaders/fs/text";
import { CSVLoader } from "@langchain/community/document_loaders/fs/csv";
const loader = new DirectoryLoader(
"../../../../../../examples/src/document_loaders/example_data",
{
".json": (path) => new JSONLoader(path, "/texts"),
".jsonl": (path) => new JSONLinesLoader(path, "/html"),
".txt": (path) => new TextLoader(path),
".csv": (path) => new CSVLoader(path, "text"),
}
);
const docs = await loader.load()
// 禁用 console.warn 调用
console.warn = () => {}
docs[0]
Document {
pageContent: 'Foo\nBar\nBaz\n\n',
metadata: {
source: '/Users/bracesproul/code/lang-chain-ai/langchainjs/examples/src/document_loaders/example_data/example.txt'
},
id: undefined
}
console.log(docs[0].metadata)
{
source: '/Users/bracesproul/code/lang-chain-ai/langchainjs/examples/src/document_loaders/example_data/example.txt'
}
API 参考
如需了解 DirectoryLoader 所有功能和配置的详细文档,请参阅 API 参考。