企业级 AI 工具部署最容易被说成一句话:上某个大模型,接上知识库,再给员工一个入口。但真正做起来,最先卡住的往往不是模型能力,而是安全、成本、权限、审计和谁来对结果负责。
我现在更倾向把企业 AI 分成三种部署方式:公开 SaaS 快速验证,私有化或专有云承载敏感链路,混合架构负责把两边接起来。不是每个场景都值得私有化,也不是每个场景都能放心只用公开 SaaS。关键是先把数据和动作分级。

不是先选模型,而是先分级数据和动作
- 低敏内容:公开资料、已脱敏样本、通用 SOP,可以先用 SaaS 验证交互和流程价值。
- 中敏内容:内部文档、指标口径、运营复盘,适合走受控 RAG、权限过滤和日志记录。
- 高敏内容:客户数据、财务、账号权限、业务密钥,默认不进入通用对话入口。
- 高影响动作:调预算、发布内容、改配置、删除数据,必须进入审批和回滚链路。
企业 AI 的第一张架构图,不应该画模型,而应该画边界。
上线前的五个门
数据是否分级?用户是否只看到被授权的资源?工具是否在白名单内?高影响动作是否需要确认并可回滚?日志是否足以回答谁在什么时候用什么依据做了什么?
三种架构,各自有适合的阶段
公开 SaaS 适合做 0 到 1:知识问答、文档总结、报表解释、低风险自动化。优点是快,缺点是数据边界和可控性有限。私有化或专有云适合核心数据域:权限、日志、存储和模型网关都能统一管。混合架构则更现实:把 LLM 调用、RAG、业务工具、审批和通知拆开,让敏感数据尽量留在自己的系统里。
User / IM / Web entry
-> identity and resource scope
-> policy check and data classification
-> model gateway with cost budget
-> tool gateway with allowlist
-> human approval for write-risk actions
-> logs, traces, retention and rollback
成本不是财务问题,也是产品设计问题
很多 AI 工具一开始看起来便宜,是因为没有算“重复问、长上下文、错误重试、多人滥用和无效检索”的成本。企业部署里,成本控制应该内置在产品体验里:任务模板、短上下文、缓存、分级模型、批处理和限额,比事后看账单更重要。
- 问答类任务优先检索小块证据,不把整份文档塞给模型。
- 固定流程优先结构化工具,不把每一步都交给自由对话。
- 高频任务做缓存和离线批处理,低频复杂任务才使用更强模型。
- 每个团队和项目要有预算、速率限制和可解释的使用日志。
人不是兜底,而是系统的一部分
我不太相信一开始就全自动的企业 Agent。更可靠的路径是让 AI 先生成草稿、检查项、diff、候选动作和解释,再让人确认关键节点。人审不是效率倒退,而是把责任边界清楚地放进系统里。
一个可落地的 MVP 长什么样
如果从作品集视角做企业级 AI 部署方案,我会先做一个“AI 工具控制台”:统一入口、统一资源白名单、统一访问日志、统一下载/导出、统一审批。模型可以换,RAG 可以换,编排框架可以换,但安全边界、成本记录和可回滚动作不能随便换。
这也是我现在做网站和 Lab 时反复坚持的思路:公开体验可以轻,但数据链路要诚实;Demo 可以是合成样本,但访问、日志、下载和权限边界要像真实系统那样设计。