Iemail MongoDB 发送记录磁盘占用优化方案

1. 需求澄清

本需求不是客户直接提出的功能诉求，而是 DMTX/Iemail 内部成本优化诉求：当前 Iemail 使用阿里云 MongoDB 单独存储邮件发送数据，发送记录占用大量磁盘，后续仅通过扩容无法长期满足 DMD 全部客户增长。

2. 现状与容量分析

DMTX 报告下载入口主要从本地 PG 的 contact_dmd_log 导出；Iemail 的磁盘大头在 MongoDB 的 send_record_*，其中保存发送记录、状态、供应商响应、收件人和邮件内容等大字段。

结论：磁盘治理主目标应是 send_record_*，尤其是大字段瘦身、历史归档、字段裁剪、物理空间释放；events_* 虽占比较低，但支撑报表和 DMTX 回收，不能粗暴删除。

3. 竞品调研

DMTX 不建议直接采用“超过 6 个月完全不可查”的硬删除体验。建议采用三层策略：0-3 个月热数据保持现有体验；3-6 个月温数据仍可查但导出异步化；6 个月以上默认不提供在线逐条明细，改为归档异步下载和聚合统计。

4. 用户体验设计

核心流程

1. 客户在报告下载页选择活动、数据类型、时间范围。
2. 系统自动判断热库、冷库或混合范围；如包含归档数据，提示生成时间较长。
3. 客户点击导出/申请导出，文件生成后通过邮件通知，下载链接默认 7 天有效。

默认值

5. 技术方案

阿里云 MongoDB 热库
  ├─ send_record_*    0-3/6个月热明细
  ├─ events_*         事件明细，供 DMTX 回收和报表
  ├─ mail_link        链接字典
  └─ open_report      聚合报表
        │ DTS/归档任务同步
        ▼
扬州机房冷库/归档存储
  ├─ iemail_archive.send_record_yyyyMM
  ├─ iemail_archive.events_yyyyMM
  ├─ iemail_archive.mail_link_snapshot
  ├─ iemail_archive.open_report_snapshot
  └─ archive_manifest / archive_job
        │ 历史导出服务
        ▼
DMTX/Iemail 下载任务
  ├─ 热数据：走现有 DMTX contact_dmd_log 或 Iemail Mongo 查询
  ├─ 冷数据：走扬州冷库生成文件
  └─ 混合范围：热冷拆分后合并 zip/CSV

方案一：减少发送记录热库存储

• 新写入 send_record_* 只保存发送排查和列表需要的字段。
• 大字段 content 写入对象存储或冷库，Mongo 仅保存 contentHash、contentObjectKey、contentSize。
• 供应商完整响应短周期保留，长期只保存 statusCode、错误分类和摘要。
• 历史数据先归档整条原始记录，校验后再 $unset 大字段或删除超期明细。

方案二：历史数据冷处理

• DTS 负责从阿里云 MongoDB 到扬州机房的基础同步。
• 自研 Archive Orchestrator 按公司、集合、月份创建归档批次。
• 自研校验任务执行记录数、hash、抽样字段校验，校验通过后才允许热库清理。
• 自研历史导出服务屏蔽热库/冷库差异，为 DMTX 下载入口提供统一能力。

6. 数据模型与 API

核心数据模型

核心 API

GET /inner-api/iemail/v1/data-availability
POST /inner-api/iemail/v1/archive-export-requests
GET /inner-api/iemail/v1/archive-export-requests/{requestId}
POST /inner-api/iemail/v1/archive-jobs
POST /inner-api/iemail/v1/archive-jobs/{jobId}/cleanup

7. 边界情况

8. DMTX 报告下载事实源边界

9. 实施计划与工作量

从 MVP 到可灰度预计 44-67 人日。

10. 本周评审决策点

11. 推荐结论

12. 质量自检

13. 参考来源

• Mailchimp Transactional Activity and Reports Documentation
• Mailchimp Marketing API Email Activity Reports
• Mailchimp Marketing API List Recent Activity
• Brevo FAQ: Data retention policy for email events
• ActiveCampaign: Export campaign report data
• ActiveCampaign: Archive contacts