Databricks

湖仓一体的数据平台，提供 Vector Search 向量检索与 Mosaic AI 能力，用于构建企业级 RAG 应用。

核心定位：湖仓一体，而非单纯的数据湖或数据仓库

Databricks 的核心是一个 Lakehouse（湖仓一体） 架构。它打破了传统数据仓库（成本高、封闭）与数据湖（灵活但难治理）的割裂状态。在同一份数据上，你既能用数据仓库的 ACID 事务、索引和治理能力，也能直接运行 Spark、Flink 等开源大数据引擎进行机器学习和 ETL。

• 对数据工程师：统一批流处理，减少数据在湖与仓之间的冗余拷贝。
• 对数据科学家：可直接访问原始数据与特征工程产物，无需申请导出。

---

关键能力拆解：不止是“跑 SQL”的平台

对于构建企业级 RAG（检索增强生成） 应用，以下两个模块是核心切入点：

#### 1. Vector Search（向量检索）

这是专为 AI 应用设计的托管向量数据库能力，而非简单的 Elasticsearch 插件。

• 索引类型：支持 ANN（近似最近邻）索引，且与 Delta Lake 表原生集成。这意味着向量索引不再是孤立系统，而是作为表的一个“索引属性”存在。
• 实时更新：当源表数据变更（如新增 PDF 切片），向量索引自动增量更新，无需重建全量索引。
• 过滤能力：支持在向量检索前附加元数据过滤（如“仅检索 2024 年合同”），显著提升 RAG 召回精度。

#### 2. Mosaic AI（模型与特征工程）

这是 Databricks 将机器学习流程产品化的统一框架，重点解决 RAG 中的“模型管理”与“上下文工程”问题。

• 模型服务：可托管开源模型（如 Llama 3、Mistral）或微调后的模型，提供 OpenAI 兼容的 API 端点。
• Agent 框架：支持构建多步骤推理的 Agent，而不仅是单轮问答。例如，先调用 SQL 查询工具，再根据结果调用向量检索。
• 在线评测：内置 LLM-as-a-judge 评测集，可量化回答的忠实度与相关性，避免“凭感觉调 prompt”。

---

典型应用路径（如何落地一个 RAG 项目）

在 Databricks 上构建 RAG 应用，通常遵循以下流水线，且所有步骤均在一个平台内闭环：

| 阶段 | 具体操作 | 使用的 Databricks 模块 |

| --- | --- | --- |

| 1. 数据接入与解析 | 将 PDF、Word、网页等非结构化数据入库，并切片为 chunk | Delta Lake + Spark |

| 2. 向量化与索引 | 调用 Embedding 模型生成向量，写入 Vector Search 索引 | Mosaic AI + Vector Search |

| 3. 检索与重排 | 根据用户问题检索 top-K 片段，并做 rerank 提升精度 | Vector Search API |

| 4. 生成与反馈 | 将片段注入 LLM 上下文，输出回答并记录日志用于后续评测 | Mosaic AI Model Serving |

---

适用场景与边界

适合：

• 已重度使用 Spark/Delta Lake 的团队，希望避免引入独立的向量数据库（如 Pinecone）造成架构复杂度。
• 需要处理大规模（TB 级以上）非结构化数据，且要求数据安全合规（如私有化部署或 VPC 内网）。

需谨慎评估：

• 若你的 RAG 应用仅依赖轻量级 API 调用（如纯 SaaS 场景），且无复杂数据治理需求，使用云厂商的托管向量服务（如 Azure AI Search）可能更轻量。
• 平台学习曲线较陡，需要团队具备一定的 Spark 或 SQL 基础。

---

结论要点

• 核心价值：将“数据工程”与“AI 应用”统一到同一套权限、血缘和计算引擎下，减少系统割裂带来的运维成本。
• 决策建议：如果企业已有 Databricks 数据底座，构建 RAG 无需额外引入外部向量库；若从零起步，则需评估团队对 Spark 的熟悉程度。
• 下一步动作：建议先试用其 14 天免费版本，重点验证 Vector Search 的增量索引延迟 和 Mosaic AI 的模型服务吞吐量 是否满足业务峰值要求。

常见问题

Databricks 是什么？

湖仓一体的数据平台，提供 Vector Search 向量检索与 Mosaic AI 能力，用于构建企业级 RAG 应用。

Databricks 的官方网站是什么？

Databricks 的官方网站是 https://www.databricks.com，可直接在浏览器中打开使用。