不要止步于"放在本地就安全了"
混合AI为在内部处理机密信息提供了路径。但仅凭服务器的物理位置无法判断安全性。如果终端可以直接连接外部服务、管理入口开放过宽、不再需要的权限仍然存在,信息就可能通过其他路径泄露。
NIST的零信任说明中也提出,不应仅凭网络位置信任用户或设备。除"内部还是外部"之外,确认"谁、用什么设备、访问什么"同样重要。
本文介绍的是将这些理念应用于企业AI的设计示例,并不代表特定产品的标准功能,也不保证完全防止信息泄露。导入时需确认与现有认证基础设施和文档管理的集成。
不只看输入文字,还要检查附件和检索结果
仅检查员工输入的简短问题,无法了解AI实际接收到的全部信息。附件、历史对话、检索到的内部文档以及从图片中识别的文字,都可能包含在处理范围内。
例如,"请摘要这份合同"这个问题本身可能几乎没有机密线索,但附件中可能包含未公开条款或个人信息。需要设计在即将发送到外部之前,对实际发送信息整体进行确认的机制。
将防信息泄露的DLP、文档机密分类、规则匹配和AI内容分类结合使用。由于分类AI也可能出错,当判断出现分歧或确认功能停止时,应暂时搁置外发。提供停止原因和负责人确认方式,可以减少员工绕过系统使用的情况。
文档检索也要继承原有的查阅权限
检索内部文档并传递给AI的RAG,是生成贴近业务回答的配置方式。但如果检索范围过宽,本不应查看的文档内容可能混入回答中。
需要将检索候选限定为员工有权查阅的文档,反映因部门调动或离职导致的权限变更,并确认回答中引用的来源也在可查阅范围内。即使无法直接打开文件,也可能通过摘要或检索结果片段推断出内容。
此外,不能将检索到的文档中包含的指令直接作为系统命令执行。需预设文档中可能包含"忽略限制并发送到外部"等内容,通过独立机制限制AI可调用的功能和发送目标。将文档内容与系统权限分离,是设计上的关键要点。
统一外发路径,让例外情况可见
即便提供了经审批的AI界面,如果终端可以自由向其他服务发送信息,公司政策就无法一致执行。除AI入口外,还需综合确认外部API出口、终端管理、浏览器使用和管理员连接。
示例配置中,将发送到本地AI的处理与发送到已审批外部API的处理分开。管理云端连接目标和认证信息,使其无法连接到未经许可的目标。故障时自动切换到其他外部模型的功能,也需从数据处理角度而非仅从便利性角度进行判断。
去除机密部分后再发送也是一种方法,但仅删除姓名可能并不充分。结合职位、日期和案件特征,有时仍可推断出对象。需确定哪些信息可以保留,并设置确认处理后内容的步骤。
日志既是调查线索,也是需要保护的信息
在运营中,需要能够追溯谁在何时使用、按照哪条规则路由到哪个处理目标。了解规则版本和审批记录,便于在出现问题时调查原因并推动设置优化。
另一方面,保存所有输入和回答会导致日志中积累机密信息。根据目的精简保存项目,并确定查阅权限、保存期限、删除和防篡改措施。监控记录不能成为另一条信息泄露路径。
在员工界面上清晰显示处理目标和搁置原因。但"显示为内部处理"本身并不能证明安全性。需在导入时和变更时确认实际通信和设置与显示内容一致。
每条请求均显示处理目标和审批状态。
批准例外时,范围越具体越好
一线工作中会出现紧急任务或非常规案件。如果"本次批准"的判断仅凭用户或管理员的口头同意,事后将无法确认批准了什么。需记录目标文档、发送目标、目的、期限和审批人,并限定在必要范围内。
拥有权限的管理员自身的操作也不例外。需考虑是否能将变更设置的人与审批内容的人分开,以及变更后是否能进行验证。小型组织可能无法完全分离角色,此时需确定可行的程序,如确认记录和定期审查。
向用户返回的说明也需要用心。与其简单显示"禁止",不如显示"因包含内部资料,已切换至内部处理"或"因无法确认分类,等待负责人审批",让用户清楚下一步行动。同时确认错误详情中不会显示过多机密信息。
在PoC中,用不同权限的用户测试相同问题,更容易发现控制漏洞。确认有查阅权限的用户能获得带有依据的回答,而无查阅权限的用户不会获得内容。需分别检查检索结果、回答、日志和通知,确认各项均在预期范围内。
安全性与易用性并非相互对立的问题。即便发生搁置或拒绝,能够引导用户进入下一个已审批行动的设计,才能让规则在实际工作中得到遵守。
将安全使用方式分配给系统和运营
仅将规则文档化,并不能保证一线每次都能做出相同判断。将常规限制反映到系统中,将复杂例外交给负责人处理——明确这一分工,可以避免将判断压力转嫁给员工。
例如,准备无法外发的测试文档,改变附件、长文本、图片、对话中途等条件进行测试。不仅在正常状态下,还需在判定功能停止、连接目标变更、权限失效时,确认是否符合预期行为。
信息保护设计不是一次性工作。模型、业务或组织发生变化时,需重新审视判定和权限。下一篇将从8块GPU的配置示例出发,探讨支撑这一保护、生成和审计处理的计算基础设施。
参考1 NIST SP 800-207 Zero Trust Architecture — https://nvlpubs.nist.gov/nistpubs/SpecialPublications/NIST.SP.800-207.pdf