增量挖掘

概述

MemPalace 支持随时追加挖掘新内容，通过 MD5 去重保证幂等性，不会重复存储已有内容。

关键内容

• 核心机制：每次挖掘前，先从 ChromaDB 加载所有现有 MD5 哈希，新内容只存不重复的块
• 幂等性保证：对同一文件多次执行挖掘命令，结果与只挖掘一次完全相同
• 使用场景：
• 今天挖掘新对话：mempalace mine ~/chats/2026-04-08.json --mode convos
• 明天再挖掘：mempalace mine ~/chats/2026-04-09.json --mode convos
• 不会有重复内容
• 与 cron 集成：可设置定时任务自动挖掘新文件 bash # 每日自动挖掘（crontab 示例） 0 9 * * * mempalace mine ~/chats/ --mode convos 0 9 * * * mempalace mine ~/projects/myapp/
• 推荐工作流：
• 项目初始化：对代码库跑一次 projects 模式
• 对话归档：每周导出一次 AI 对话，跑 convos 模式
• 决策记录：重要文档用 general 模式提取决策和里程碑
• 增量同步：设置 cron job，自动挖掘新文件

来源

• raw/articles/ai-tools/mempalace/mempalace_05_mining_pipelines.md — MemPalace 深度解析第五篇：三种挖掘管道

相关

• 挖掘管道 — part_of
• MemPalace — part_of
• MD5 去重 — implements