打破数据孤岛,实现数字化成功

时间:2023-12-06

本文来自微信公众号“计算机世界”。

多年来,IT和业务领导者一直在讨论如何打破企业内部存在的数据孤岛。鉴于在数字化转型时代不同学科之间共享信息的重要性,这一概念可以说与以往一样重要。

事实上,在企业进行数字化转型时,数据转型通常是第一位的,而要做到这一点,往往首先要打破企业各个角落的数据孤岛和政治孤岛。这样做的目的是将源于企业各个角落的数据规范化、汇总并最终提供给整个组织的分析师。

其中一些数据以前可能只有少数小组或用户可以访问。当这些数据与以前存在于其他系统或其他数据管辖范围内的数据结合在一起时,大部分数据都能发挥协同作用。

不难理解,打破数据访问的壁垒是很有吸引力的。但是,打破数据孤岛究竟涉及哪些方面?有哪些挑战和潜在回报?以下是几个已经找到答案的组织案例。

集中报告提升数据价值

十多年来,儿科医疗系统Phoenix Children儿童医院运营着一个包含120多个独立数据系统的数据仓库,提供了连接不同系统数据的能力。

执行副总裁兼首席创新官David Higginson说:“实际上,我们医疗系统中使用的每一个电子系统都为数据仓库做出了贡献,在我们的数据管理和分析工作中发挥了关键作用,并为我们需要解决的问题提供了独特的见解。”

但是,由于使用的是专有报告工具,数据的广泛访问受到了限制。Higginson说,几年前,公司做出了一项战略决策,停止购买和使用来自各自为政的孤立系统的报告工具。

Higginson说:“现在,我们的报告是通过一个集中的报告编写团队,从中央数据仓库中生成的。最初,在我们推出这种新的报告方式后,由于我们要努力摆脱传统的、嵌入式的、孤岛式的数据方法,因此运营方面的变化是一项政治挑战。”

当同事们开始意识到,将其他系统的数据结合起来,可以大大提高数据的实用性和准确性,并产生更好的结果时,就是接受非孤岛式方法的转折点。Higginson说,随后,摒弃孤岛式方法的进程加快了。

例如,通过评估门禁数据来确定工作人员是否在现场,是否需要完成COVID调查;如果在病人的电子病历中下了订单,但文件没有扫描到健康信息管理系统中,就会收到通知。

Higginson说:“选择集中式数据和报告模式,而不是在各个部门培训和安插分析师,使我们能够保持灵活性和响应性,以满足紧急需求,并防止我们将宝贵的资源花费在低价值的数据项目上,因为这些项目往往对组织影响甚微。”

Phoenix Children儿童医院在数据访问民主化方面采取的新方法带来了多种益处。Higginson说:“通过公平竞争,确保所有部门都能平等地获得数据资源和报告,我们消除了某些部门获得过多数据分析师和数据洞察力的常见问题,这些数据分析师和数据洞察力很少得到评估,而且影响甚微。”

Higginson说:“组织从将分析师安置在各自为政的部门(这些部门往往没有充分利用分析师,让他们从事基本工作)过渡到一种更加集中的方法,重点是将数据资源优先分配给能取得有效成果的领域。这种方法"很快就显示出人们对新见解的重视,而且往往需要尽快获得新见解,这一点正在整个组织中得到应用。”

Lakehouse架构支持数据驱动型决策

Lexmark公司全球首席技术官、首席信息官兼互联技术高级副总裁Vishal Gupta表示:“在过去的五到七年里,我们一直在努力成为一家数据驱动型公司,因为我们意识到数据是新的‘黄金’。”

Gupta说:“这是一项非同小可的工作,因为它要求我们拥有战略、人才、协调和技术架构,使我们能够系统地收集所有相关的结构化、非结构化和流式数据,对其进行存储和转换,根据需要对其进行聚合和标记,并最终对其进行优化,以便数据分析师和人工智能(包括生成式人工智能用例)能够对其加以利用。”

作为消除组织内数据孤岛的努力的一部分,Lexmark成立了一个“数据指导团队”。Gupta说,该团队帮助公司调整了各业务领域的数据;建立了数据治理功能,以实现数据的信任、隐私和安全;并投资于所需的人才和技术,以在Lexmark建立一个整体的数据架构。

Lexmark使用的数据湖架构建立在微软Azure环境之上。Gupta说:“这使得每个职能部门都能利用数据做出决策,比如生产哪些产品、如何定价、库存多少,甚至预测我们部署的每台设备何时会出现故障。”

公司目前有20多个机器学习模型在运行,数千名员工利用数百个仪表盘帮助决策。

Gupta说:“以数据为主导的决策总是能产生最佳结果,但你需要所有可用数据才能做出最明智的决策。单个数据孤岛中的员工无法获得潜在的发现,而这些发现可能为更好的方向提供依据。这还会导致重复劳动,耗费资源。此外,还有偏见问题。这可能看起来是一个好的决定,但只是因为你无法获得所有细节,而这些细节会引导你向另一个方向发展。”

Gupta说,Lexmark发现,通过打破孤岛实现信息民主化,可以在组织内部创造一种“创新文化”。

Gupta说:“当每个人都在同一页数据上工作时,不同小组之间的协调与合作就更容易实现。”因为有了数据共享,应对复杂挑战的新颖想法就会浮出水面。这也让员工更加快乐,因为他们觉得自己已经做好了成功的准备。每个人都能平等地获得最佳工作所需的信息。

通用数据平台提供更清晰的分析

ISG首席数据和分析官Kathy Rudy说,为了打破数据和政治孤岛,推动数据的民主化和标准化,技术研究和咨询公司ISG首先推出了一项计划,建立并提供一个通用数据平台。

带头人向各业务部门的领导介绍了这一计划,并请求他们的支持,同时他们还与各业务部门的数据所有者进行了接触。

Rudy说:“在准备推广过程中,我们清点了整个组织的数据,并按类型、所有者、平台、数据使用情况、数据格式、术语等进行了分类。有了这些知识,我们建立了数据字典和通用分类法。”

Rudy认为,提前掌握这些信息对于建立数据所有者的信任和合作至关重要,而数据所有者的参与是计划成功的关键。他说:“我们对他们的数据及其结构的了解,使我们能够就创建通用分类法和数据结构所需的努力进行务实的对话,以便在整个公司更好地访问、使用数据并实现数据货币化。打破各自为政的局面,使数据更广泛地可用,这带来了许多好处。"她说:"对数据的访问使用户能够做出更好的决策,提高了提供分析的效率,使我们能够以更多的知识为客户提供更快的服务,并开始显示出新产品和服务的可能性,而在更全面地查看数据之前,这些可能性可能并不明显。”

Rudy指出,这样做的好处还包括提高了数据质量,能够制定集中的数据保留政策,并提高了数据资产的安全性。

成功秘诀

那些成功打破数据孤岛的人提出了一些实施此类计划的最佳做法。确保高管的支持和远见。

Phoenix Children儿童医院的Higginson表示:“打破孤岛通常需要克服来自拥有嵌入式资源的部门的阻力。要应对这一挑战,必须要有强有力的行政支持和愿景。对我们来说,这种支持始于最高层,[与]我们的总裁兼首席执行官。”

Higginson说,高管的支持有助于克服政治阻力,并为数据集成工作提供明确的方向和承诺。

Rudy表示:“你需要得到业务领导的支持和认同,他们需要了解支持该计划的价值或[投资回报]。否则,你就会被那些将你的要求放在次要位置的团队和数据所有者所左右。”

建立跨职能团队。ISG的Rudy说,除了获得高管的支持,IT领导者还应该组建由各业务部门人员组成的团队。这是在数据所有者之间建立信任、透明度和问责制的好方法。

Rudy说:“如果你能把团队聚集在一起,分享管理数据和克服挑战的策略,这将有助于营造一种我们同舟共济的氛围。”

确定差异化因素,并纳入数据发现。另一个关键是,当你打破数据藩篱时,就能发现新的可能性。Higginson说:“与其复制本地功能,不如寻找集中数据方法所能提供的差异化优势,比如将多个系统的数据结合起来,以更好地说明问题或机会。”

Higginson认为,公司还应纳入数据发现功能。"他说:"与其专注于建立完美的规范化数据仓库,不如收集原始格式的数据,并在实际用例出现时进行数据发现。他说:“了解和记录无人问津的系统数据模型毫无意义。让期望的结果来推动数据的发现,不要在产生价值之前就专注于理解或重组所有数据。”

创建数字线程。Lexmark的Gupta表示,企业应该创建一个数字线程,以便更好地了解产品生命周期中的信息流。他说:“这将是打破这些数据孤岛的关键。"如果你要为你的产品线创建一个数字线程,那么它将是一个端到端的渠道,包含了该产品创建过程中每个阶段的数据--构思、设计、制造、装运、实施、使用、维护和退役。”

Gupta说,数字线程使企业能够优先处理某些数据集;创建自动化流程,使数据干净、准确和安全;并添加工具,使数字线程中的任何人都能将数据转化为与他们相关的见解。