大多数企业数据并不复杂,只是缺乏管控。
组织机构用“复杂”来形容他们的数据环境,其实指的是更精确的情况:数据积累在原本不打算共享数据的系统中,已停用的应用程序保存着数十年的业务历史记录,格式是当前团队从未见过的,元数据只存在于电子表格或可能已经离职的工程师的记忆中,而且每个 AI 项目都是以同样的方式开始的——在训练第一个模型之前,需要进行数月的数据工程。
这并非复杂性,而是缺乏治理。这种区别至关重要,因为复杂性意味着问题出在架构层面——需要新的平台、新的投资和新的基础设施。而缺乏治理的数据则是一个结构性问题——可以通过一系列明确的决策来解决,这些决策应从数据到达的那一刻开始。
三个阶段,一个序列
从数据沼泽到可用于人工智能的资产,需要经历三个阶段:临时数据、管理型数据和优化型数据。大多数企业都高估了自己的进度。诊断方法很简单。如果一项人工智能计划需要数月的数据工程才能训练出第一个模型,那么数据就处于临时状态。如果人工智能的输出无法追溯到来源,则语义层缺失。如果“谁可以查询这些数据?”的答案是“数据团队,在提交工单后”,则尚未达到优化阶段。
这三个阶段并非连续谱,而是一个连续序列。管理是优化的前提。那些最快达到优化状态的组织,都是将每个阶段都视为精心设计的决策,而非偶然积累的结果。
第一阶段:临时存储——大多数企业数据都存储于此。
在临时阶段,数据存在但无法可靠使用。这些数据被存储在为事务处理而构建的存储系统中。已弃用的应用程序保存着财务记录、采购数据和客户交易记录——数年甚至数十年的业务历史——但提供这些数据上下文的应用程序已被停用。剩下的往往是晦涩难懂的:对最初开发人员而言意义重大的表名、从另一个年代编写的软件继承而来的列约定,以及编码在应用程序逻辑而非数据库模式中的关系。
人工智能项目启动之初就需付出高昂代价。数据工程团队为每个新项目构建定制化的数据摄取管道。质量检查缺乏一致性,甚至缺失。数据治理——包括保留策略、访问控制和分类——虽然有文档记录,但在实际存储数据的系统中却无法有效执行。每个项目都在重复构建相同的基础架构。在第一个模型训练完成之前,人工智能投资的商业价值就已经被削弱,因为模型所需的数据尚未准备就绪。
第二阶段:管理——先有治理后有情报
管理阶段始于数据摄取。数据进入受控环境,从第一个字节开始就强制执行保留策略,在数据到达任何下游系统之前运行质量检查,根据组织自身的分类体系对记录进行分类标记,并且法律保留功能从数据到达的那一刻起就已激活。这并非存储升级,而是数据接收方式的结构性变革——一种数据保留区架构,它根据单一策略模型,为来自已停用应用程序、已收购系统和正在运行的生产环境的数据提供一个受控的集中存储环境。
执行层位于治理平台中:实时应用数据保留策略,在访问时强制执行数据掩码,所有治理操作均记录在不可篡改的审计跟踪中。管理阶段不产生人工智能输出,而是产生足够可信的数据,这些数据经过分类、验证、治理,并具有法律效力,可供后续开发使用。达到此阶段的组织已经解决了合规性问题,但他们尚未解决的是数据意义问题。
第三阶段:优化——当数据转化为燃料
当添加语义层后,托管数据即可用于人工智能。大多数通用平台都忽略了这一转变——而这一转变决定了人工智能是基于已验证的业务含义还是基于推断的模式运行。数据库模式仅标识了存在的字段,它并未编码这些字段的含义、它们在业务价值流中的关联方式,也未定义在特定应用场景下有效的查询模式。人工智能系统基于原始模式进行推理,本质上是在猜测。它产生的答案无法解释、追踪,也无法在业务决策中得到验证。
应用知识图谱弥补了这一差距:它对企业应用特有的业务对象、关系、词汇表和经过测试的查询模式进行编码。Solix为Oracle EBS、SAP ECC/S4HANA、PeopleSoft和JD Edwards (这些 ERP 系统承载着大部分企业结构化数据)提供预构建的应用知识图谱,并通过 AI 驱动的发现功能,为没有预构建对应功能的传统应用和收购应用构建自定义知识图谱。对于非结构化内容,内容智能会在文档、合同和记录之上构建语义层,使其能够与结构化数据一起在单一的受控界面中进行查询。
有了语义层,业务用户就可以用自然语言提问,并获得基于认证业务定义的、可审计且受监管的答案。数据科学团队可以在已经过监管、分类和语义增强的基础之上构建人工智能应用,而无需花费数月时间准备本应在数据到达时就已准备就绪的数据。保存的数据不再是基础设施成本,而是如Solix 企业数据保存白皮书中所述,成为“智能分析、发现和决策的燃料”。
诊断,而非抽吸。
成熟度模型只有在被如实应用时才有用。三个问题可以确定一个组织实际处于哪个阶段。
数据从第一个字节开始就处于受控环境中吗?——在数据摄取时就进行分类、质量验证和强制保留?——还是在出现合规性问题时才进行治理?无法回答第一个问题的组织将面临风险,而且随着在其上部署的AI应用数量的增加,风险也会随之扩大。
是否存在一个语义层,用于编码组织运行的应用程序的业务含义?还是人工智能系统仅仅基于原始模式进行推理,并推断它们并不了解的上下文?如果没有语义层,人工智能的输出就无法被可靠地追踪、解释或自信地呈现。
业务用户能否直接使用自然语言查询数据,并获得基于认证定义且可追溯到来源的答案?还是每个问题仍然需要数据团队和工单队列?
对于这些问题,否定与肯定之间的距离,就是临时方案与人工智能就绪方案之间的距离。这是一条可以跨越的距离——但必须按部就班,并且必须将每个阶段都视为深思熟虑的决策,而不是历史的必然结果。
免责声明:本博客中表达的内容、观点和意见仅代表作者本人,并不反映 SOLIX TECHNOLOGIES, INC.、其关联公司或合作伙伴的官方政策或立场。本博客独立运营,未经 SOLIX TECHNOLOGIES, INC. 以官方身份审核或认可。本文引用的所有第三方商标、徽标和版权材料均为其各自所有者的财产。根据合理使用原则(美国版权法第107条及同等国际法),任何使用均仅限于身份识别、评论或教育目的。SOLIX TECHNOLOGIES, INC. 不承担任何赞助、认可或与 SOLIX TECHNOLOGIES, INC. 的关联关系。内容按“原样”提供,不保证其准确性、完整性或适用于任何用途。SOLIX TECHNOLOGIES, INC. 对基于此材料采取的任何行动不承担任何责任。读者对其使用此信息的行为承担全部责任。SOLIX 尊重知识产权。如需提交 DMCA 删除请求,请发送电子邮件至 INFO@SOLIX.COM,并同时提交以下信息:(1) 作品识别码;(2) 侵权材料的 URL;(3) 您的联系方式;以及 (4) 诚信声明。有效的索赔将得到及时处理。访问本博客即表示您同意本免责声明和我们的使用条款。本协议受加利福尼亚州法律管辖。