01
import { Document } from '@langchain/core/documents'
02

03
// Document 是后面整条检索链里最基础的数据结构。
04
// 不管原始内容来自 PDF、Markdown 还是网页，读进来以后都会先变成它。
05
const doc = new Document({
06
  // pageContent 放真正要参与 embedding 和检索的正文。
07
  pageContent: '这是文档正文',
08
  metadata: {
09
    // metadata 不直接参与语义匹配，但后面可以拿来标记来源、页码、时间等信息。
10
    source: 'notes.txt',
11
    page: 1,
12
  },
13
})

01
import { PDFLoader } from '@langchain/community/document_loaders/fs/pdf'
02

03
// 这里先把原始 PDF 接进来。
04
// 这一步只负责“读文件”，还没有开始切块。
05
const loader = new PDFLoader('./data/product-handbook.pdf')
06

07
// 这里拿到的是按页拆开的 Document[]。
08
const docs = await loader.load()
09

10
// 先看一眼整体数量，通常等于 PDF 页数。
11
console.log(docs.length)
12
// 再看正文内容，确认 Loader 真的把文字读出来了。
13
console.log(docs[0].pageContent.slice(0, 80))
14
// metadata 里通常会带 source、页码之类的信息，后面检索结果回显时会很有用。
15
console.log(docs[0].metadata)

01
import { RecursiveCharacterTextSplitter } from '@langchain/textsplitters'
02

03
const splitter = new RecursiveCharacterTextSplitter({
04
  // 每个块的最大长度。
05
  // 这里不是越大越好，太大了后面检索出来会不够聚焦。
06
  chunkSize: 800,
07
  // 相邻两个块保留一小段重叠，减少一句话刚好被切断的情况。
08
  chunkOverlap: 120,
09
})
10

11
// createDocuments 适合直接从纯文本字符串开始切。
12
// 如果前面已经有 Loader 产出的 Document[]，后面更常用的是 splitDocuments。
13
const chunks = await splitter.createDocuments([
14
  `请假流程分为三步。
15

16
第一步，员工需要在系统里提交申请。
17
第二步，直属主管审批。
18
第三步，人事确认并归档。`,
19
])
20

21
console.log(chunks.length)
22
// 看一眼切出来的第一块，确认它是不是一个完整的小段，而不是半句话。
23
console.log(chunks[0].pageContent)

01
import { PDFLoader } from '@langchain/community/document_loaders/fs/pdf'
02
import { RecursiveCharacterTextSplitter } from '@langchain/textsplitters'
03

04
// 这一层还是知识准备阶段，不是实时问答阶段。
05
// 所以代码目标很明确：先把文档整理成适合后面建索引的 chunks。
06
const loader = new PDFLoader('./data/employee-handbook.pdf')
07

08
const splitter = new RecursiveCharacterTextSplitter({
09
  // 每块不要太大，后面检索出来才容易聚焦。
10
  chunkSize: 900,
11
  // 留一点重叠，避免一句完整的话刚好被切断。
12
  chunkOverlap: 120,
13
})
14

15
async function prepareKnowledgeBase() {
16
  // 1. 先把原始文档读成 Document[]。
17
  const rawDocs = await loader.load()
18

19
  // 2. 再把长文档切成更小的块。
20
  // splitDocuments 会保留原来每个 Document 的 metadata。
21
  const chunks = await splitter.splitDocuments(rawDocs)
22

23
  // 3. 这里顺手把每个块整理成我们自己更容易处理的结构。
24
  // 后面做 embedding、写向量库、调试来源信息，都会用到这些字段。
25
  return chunks.map((doc, index) => ({
26
    // id 先用顺序号演示，真实项目里通常会拼 source + chunkIndex。
27
    id: `handbook-${index}`,
28
    // pageContent 是后面真正要做 embedding 的正文。
29
    pageContent: doc.pageContent,
30
    // metadata 则继续保留来源信息，方便后面回溯这块是从哪里切出来的。
31
    metadata: doc.metadata,
32
  }))
33
}
34

35
// 真正执行一次知识准备流程。
36
// 走完这里以后，chunks 就已经是后面做 embedding 和写向量库的输入了。
37
const chunks = await prepareKnowledgeBase()
38

39
// 先看总量，确认这份手册最终被切成了多少块。
40
console.log(chunks.length)
41
// 再看第一块长什么样，顺手检查正文和 metadata 有没有一起保留下来。
42
console.log(chunks[0])

01
import { MarkdownTextSplitter } from '@langchain/textsplitters'
02

03
const splitter = new MarkdownTextSplitter({
04
  // Markdown 文档通常希望尽量沿着标题结构切。
05
  chunkSize: 900,
06
  chunkOverlap: 120,
07
})
08

09
const chunks = await splitter.createDocuments([
10
  `# 员工手册
11

12
## 请假流程
13

14
员工提交申请后，需要主管审批。
15

16
## 报销流程
17

18
报销需要上传票据和审批单。`,
19
])
20

21
// 这里切出来的块，通常会比普通分割更容易保持章节完整。

01
import { RecursiveCharacterTextSplitter } from '@langchain/textsplitters'
02

03
// 代码文档不要只按自然语言段落切。
04
// fromLanguage 会优先参考函数、代码块这些更像“代码边界”的位置。
05
const splitter = RecursiveCharacterTextSplitter.fromLanguage('js', {
06
  chunkSize: 1200,
07
  chunkOverlap: 150,
08
})
09

10
const chunks = await splitter.createDocuments([
11
  `function login() {
12
  // ...
13
}
14

15
function logout() {
16
  // ...
17
}`,
18
])
19

20
// 这样切出来的块，后面做代码类检索时通常更稳定。