数据治理丨研究报告
核心摘要：
治理需求热潮：在数字化转型过程中，企业先建后治常态，这使得数据治理对企业越来越重要。另一方面，新兴技术和应用场景的快速落地也导致数据治理需求加速增长。未来，随着非结构化数据积累的增加和对AI应用数据需求的驱动，企业对非结构化数据的价值需求将更快释放中国人工智能行业，基于多源异构数据的数据治理模块也将进一步获得增长。发展。关注和优化。
治理体系升级：目前传统数据治理体系多停留在结构化数据治理工作，难以满足人工智能应用的高质量数据需求。企业可以吸取传统系统的智慧，以人工智能应用数据需求为核心，优化构建“面向人工智能的数据治理”体系，显着提升人工智能应用的规模化落地。依托数据与AI模型的紧密联系，数据治理与AI应用产品逐渐融合融合，厂商多元化，咨询公司、数据服务商、人工智能产品服务商构建三方竞争在行业中。2021年，
治理实践洞察：本报告选取金融、零售、医疗和工业四大典型行业作为切入点，分析呈现各行业的信息化建设阶段和高频率、高价值的人工智能应用场景。基于高频率、高价值的人工智能应用 面向人工智能的数据治理体系引发的数据治理需求提供建设指导，同时对数据治理陷阱和发展趋势提供洞察分析：1）企业需要避免陷入治理“大数据埋藏”的陷阱；2）供需双方共同保障建设后数据治理体系的运行和流通；3）企业需要建立满足管理现状和发展需要的数据安全治理框架，保证数据全周期的安全合规；4）联邦学习技术可以在数据安全合规范围内带来共同繁荣；5）数据的“自治和自我进化”成为未来数据处理发展的必由之路，为企业打造“治理+AI”系统的良性循环。
数据：范围界定
信息经济的“货币”不再局限于数字形式
数据的价值不断被认可，“数据资产化”已成为企业发展的重要组成部分。数据长期以来被理解为以数字形式存储的信息，但现在技术可以衡量更多的事件和活动，人们可以收集、存储和分析各种不被视为传统数据的信息，如电子邮件、图片、音频和视频等. 数据根据其特点和治理方式的不同可分为内部数据和外部数据、结构化数据、非结构化数据和半结构化数据、元数据和主数据。
数据量：爆发式增长
由于广泛的物联网连接，基础设施“扩展”，数据量猛增
随着数据时代的到来，暴涨的数据量为企业数字化提供了基础支撑，可以收集、存储大量业务数据，最终创造经济效益。然而，很多企业在信息化建设初期缺乏整体规划。为解决当前业务问题，他们按照垂直、个性化的业务逻辑，独立采购和部署IT系统，导致企业内部形成多个数据孤岛。数据不规则、不一致、难打通成为普遍存在的问题，阻碍了企业充分挖掘数据的价值。这种先建后治理的常态，让数据治理越来越受到企业的重视。另一方面，
数据治理：需求释放
治理需求广泛，非结构化数据成为价值挖掘的难点
当企业经历数字化转型的不同阶段时，需要通过数据治理来解决数据在生产、管理和使用中的问题，而数据治理的需求和复杂性也会随着企业数字化程度的提高而增加。从企业内部的数据类型来看，非结构化数据占企业总数据的80%，但仅占整体使用率的30%。长期以来，其价值并未得到充分有效利用。未来，随着非结构化数据积累的增加和对AI应用数据需求的带动，企业对非结构化数据的价值需求将更快释放，基于多源异构数据的数据治理模块也将得到进一步发展。关注和优化。
数据治理：范围界定
数据治理是实现企业数据应用服务的重要环节
数据治理从数据源的导入开始，对数据进行清洗和处理，在数据存储、数据计算、数据服务应用等环节提供持续的治理服务。是企业实现数据服务和应用的重要环节。从数据层面来看，数据本身具有从生产到消亡的生命周期，数据治理将在数据生命周期的各个阶段通过相应的工具和方法进行标准化和定义，在企业内部构建有效的数据闭环. 让数据更有价值。
数据治理：架构
根据企业的特点和需求，设计符合企业要求的数据治理结构
虽然行业对数据治理的定义不尽相同，但涉及的数据架构模块大体相同，核心包括数据标准管理、数据集成管理、元数据管理、主数据管理、数据资产管理、数据质量管理、数据模型管理、数据服务和数据安全管理模块。依托企业对数据治理的侧重点不同，数据治理体系和架构也会根据行业特点、经营性质和企业信息化程度而有所不同。在实际设计中，一方面企业可以参考先进的系统框架和行业最佳实践，另一方面，
人工智能应用规模
人工智能技术创新与应用的大规模落地带动大数据智能市场蓬勃发展
近年来，随着新技术模式的出现，各行业应用场景的打磨，以及海量数据积累下产品效果的提升，人工智能应用已从消费、互联网等泛C端辐射制造业、能源、电力等传统行业。. 各行业企业在设计、采购、生产、管理、营销等经济生产活动主要环节的人工智能技术和应用成熟度不断提升，加快人工智能在各环节的落地，逐步融合它与他们的主要业务。，以达到产业地位的提升或运营效率的优化，并进一步扩大自身优势。人工智能技术创新应用的大规模落地，带动了大数据智能市场的蓬勃发展，也为底层数据治理服务注入了市场活力。
大数据智能市场产业规模
2021年市场规模约553亿元，财务数据率先释放价值
据艾瑞统计，2021年涵盖大数据分析与预测（机器学习/深度学习模型）、领域知识图谱和NLP应用的大数据智能市场规模约553亿元，市场规模预计达到145.6 2026 年 10 亿。2021-2026 年 CAGR=21.3%。随着市场大数据基础的完善和数据需求的觉醒，大数据智能市场规模将持续上升。下降趋势。从细分结构来看，金融领域数据价值率先释放，市场规模占比高达32%。
大数据智能市场投融资热情
融资规模稳步提升，赛事数量创历史新高
从2011年至2021年的投资数量来看，资本市场对大数据智能市场的关注度越来越高，融资事件逐年增多。融资轮次方面，C轮及早期投融资事件占比50%。随着政策的大力支持和技术的成熟，大数据智能应用在多个行业的成功落地，极大地增强了市场和投资者的信心。“大数据智能”标签已成为市场创业和投资的热点，具备市场想象空间和明确的使用价值是早期招商引资的关键。
面向人工智能的数据治理：需求传递
人工智能应用引发的数据治理需求
企业在部署人工智能应用时，数据资源的好坏在很大程度上决定了人工智能应用的落地效果。因此，为推动人工智能应用的高质量落地，开展有针对性的数据治理是首要的、必要的环节。但对于企业自身搭建的传统数据治理体系，目前多集中在结构化数据的治理与优化上，仍难以满足人工智能应用在数据质量、数据等方面的高数据要求。领域丰富度、数据分布和数据实时性。质量要求。为保障人工智能应用的高质量高效落地，企业仍需对人工智能应用进行二次数据治理。
人工智能的数据治理：迭代治理
面对重复的治理工作，构建有针对性的体系，解决重复环节
数据治理90%以上的精力都花在了人工智能项目的实施上。但是，面对企业的各种人工智能项目，在人工智能数据层面存在很多重复的治理任务，大大降低了人工智能应用规模化落地的效率。借助有效的方法论和实用工具提高数据治理效率，是企业管理数据资产、实现人工智能大规模应用的重要课题。构建面向AI的数据治理体系，可以对AI应用的数据治理流程进行精简、规范、系统化，降低重复数据准备、特征选择、模型调优迭代的成本，
面向人工智能的数据治理：系统构建
吸取传统系统智慧，以AI应用数据需求为核心优化构建
面向人工智能的数据治理是在人工智能应用落地的指导下对传统数据治理体系的“升级”。从数据管理的角度来看，面向人工智能的数据治理体系仍将符合建立元数据管理、数据资产管理、主数据管理、数据生命周期管理的视角，数据结构流程、数据资产管理需求，以及数据安全需求。以及数据安全隐私管理等组成模块。在数据治理过程中，将更加注重多源数据融合的底层实现、数据采集频率、数据标准建立、数据质量管理，以满足人工智能对数据的规模、质量和时效性要求。型号。核中国人工智能行业，
人工智能的数据治理：数据准备
基于AI模型需求，明确数据的特征准备、实时闭环循环
从构建过程来看，AI模型大致可以分为离线训练和在线推理两个阶段。离线训练时，需要根据运行AI模型的目的确认数据采集的来源，选择数据对应的时间区间和时间节点，让AI离线建模后获取真实的业务数据并在线运行，模型训练效果可保质保量落地。如果模型需要实时访问AI数据，还需要构建批流一体化的产品体系。基于实时数据处理、实时特征开发、实时应用开发等数据架构，构建批流一体化数据产品，流数据的访问实时反馈到模型运算输出，使模型结果更加及时准确。另外，AI模型上线后，需要实现AI数据的闭环循环。通过打造闭环自学习系统进行数据采集和反馈分析，实现AI模型上线后的持续迭代优化。
人工智能的数据治理：数据质量
对应AI应用的高质量需求，唤醒沉睡数据，挖掘核心价值
多源异构数据质量管理体系可以从数据有效性、数据一致性、数据唯一性、数据时序性、数据完整性、数据完整性、数据合理性和数据准确性六个维度建立。其中，传统的数据治理体系也非常注重数据的有效性、一致性和唯一性，但是当数据治理的范围扩大到多源异构数据时，这三个维度需要在过程中重新判断的数据融合。数据时序是对数据时间维度的质量要求，考虑到数据访问的实时性以及如何选择数据的时间间隔；数据完整性要求数据符合多维字段特征以满足建模要求，而数据完整性是指数据从历史到在线反馈的完整访问，实现高质量的闭环；数据合理性和数据准确性是对数据本身表达的更高质量要求。传统数据治理体系在为数据可视化和基础数据分析服务时，并没有过多考虑数据分布是否合理，表达的内容是否准确。但在人工智能模型的开发和训练中，数据的合理分布和准确表达在很大程度上决定了人工智能模型的分析和决策效果。因此，在面向人工智能的数据治理体系中，数据合理性和数据准确性的质量评估是系统需要重点关注的维度模块。
人工智能的数据治理：数据标准
为AI模型开发提供“一致的数据语言”，实现数据复用共享
数据标准是数据治理的基础，为人工智能模型开发和应用提供了“一致的数据语言”。在面向人工智能的数据治理体系中，数据标准的建立仍然是数据共享和价值挖掘的核心环节。公司根据相应的国家标准、行业标准、地方标准等规范，结合自身情况和业务术语，以人工智能应用需求划定的数据范围为治理导向，构建相关基础数据标准、指标数据标准和数据模型标准。全球统一的数据定义和价值体系。
人工智能的数据治理：特征管理
将多源异构数据源转化为机器可理解的“结构化数据”
在划定AI数据源范围并访问相应数据后，特征管理中心会对数据进行预处理，基于AI应用的数据需要处理缺失值、异常值、重复值、数据格式等。 ，然后通过特征工程改造。人工智能模型可以理解的结构化数据。在特征工程环节，面向AI的数据治理体系可以凝聚业务场景中的数据治理和模型开发经验，规范定义AI数据形态，建设特征管理中心，实现特征标准化、自动化和完善工程链接。智能、快速对接，获取机器可理解的高质量结构化数据，并反馈给AI模型。
人工智能的数据治理：性能优化
显着提升AI应用规模落地效果
数智融合产业带来多种厂商参与
数据治理与AI应用融合，厂商参与更丰富多元
依托数据与人工智能模型的紧密联系，数据治理与人工智能应用产品逐渐融合融合，呈现出“从数据治理到人工智能应用平台/产品开发”和“人工智能应用平台/产品开发向人工智能化”数据治理”两个发展方向：1）数据治理厂商，在积累数据经验和对AI模型的理解后，将领域从数据层延伸到AI应用和平台开发层，以实现业务拓展；2）从事AI应用和平台开发的AI厂商，在不断丰富数据治理经验的背景下，也将开始深入开展面向AI的数据治理服务，依托自身的AI技术和业务理解，让面向AI的数据源更符合AI应用模型的要求，提高模型仿真度。综合作用。因此，面向人工智能的数据治理从业者不仅是数据治理厂商，还包括众多人工智能企业，参与者越来越多元化。
数字智能产业生态圈受益节奏
三方阵营厂商搭建行业竞争与资质局
AI应用加速落地带来的海量数据治理需求，吸引了众多厂商参与。从行业厂商来看，主要有咨询公司、数据服务相关提供商和人工智能产品提供商三类。各厂商根据自身的业务特点和进入方式，获得差异化的竞争优势。由于面向AI的数据治理服务的丰富参与，厂商可能会基于同类业务展开竞争，并在差异化领域开展合作。形成竞争与合作高度并存的产业格局。
参与数字智能产业生态圈的落脚点
“智能”是面向AI的数据治理服务的核心立足点
面向人工智能的数据治理服务通常包含在数据服务、平台能力和数据产品三种采购形式中。第一类，数据服务以单独的数据治理产品的形式出现；第二类，数据平台，主要包括大数据平台、数据中台、数据仓库、人工智能能力平台等项目；第三类，数据产品，范围 仅限于人工智能算法应用的数据产品可以分为三类人工智能产品：机器学习产品、自然语言理解产品、知识图谱。为保证AI算法模型的高质量运行效果，更好地提供预测、决策、推荐、风控等产品功能，需要对算法模型的训练素材，即支撑AI应用的底层数据，进行针对性的优化和管理。如今，对AI产品的需求旺盛，AI开发平台陆续推动AI产品的大规模落地，AI数据治理效果与最终平台产品交付效果息息相关。人工智能应用驱动已成为面向人工智能的数据治理服务的核心立足点。而AI数据治理效果与最终平台产品交付效果密切相关。人工智能应用驱动已成为面向人工智能的数据治理服务的核心立足点。而AI数据治理效果与最终平台产品交付效果密切相关。人工智能应用驱动已成为面向人工智能的数据治理服务的核心立足点。
人工智能的数据治理：市场规模
2021年市场规模约40亿元，5年内有望突破100亿元
2021年，中国人工智能数据治理市场规模约40亿元。在数据平台服务、数据治理服务和人工智能应用建设需求的推动下，面向人工智能的数据治理市场规模将持续上升。2021年，中国数据治理市场规模约121亿元。作为数据服务的基础性工作，中国数据治理市场规模将保持上升趋势。预计2026年市场规模将达到294亿元，2021-2026年CAGR=19.5%。从发展曲线上看，我国数据治理和以人工智能为导向的数据治理市场规模增长处于良性区间，共同巩固了相关治理产业生态系统的积极态势。
人工智能的数据治理：机遇之路
满足客户数据基础和AI应用需求的多样化选择
从数据基础维度，企业可以分为数据原生企业和非数据原生企业。数据原生企业往往不需要信息化和数字化转型，只需要让数据共享和流通的标准化管理。非数据原生企业自然缺乏以软件和数据平台为核心的数字世界的入口，往往需要对企业进行数字化转型。非数据原生企业的数据基础需要通过数字化转型程度和数据治理阶段来判断。面对不同类型的企业，
大而全的数据掩埋陷阱
抓大放小，从核心数据做起
数据埋点是指捕获、处理和发送特定用户行为或事件的相关技术和实现过程，是数据治理范围划定的一部分。客户出于投资回报的考虑，往往会做一个覆盖整个业务和技术领域的大型综合数据治理项目，将每一个数据都纳入数据治理范围，从而导致数据被埋没。沉迷于不时增加的需求，埋藏的需求爆发式增长，会给后续的数据治理和数据分析带来隐患。为避免大而全地埋葬数据的陷阱，企业应该着眼于大而放手小，
数据治理系统的流通与运行
沟通、组织、重点、文化
为了充分发挥数据治理的价值，避免一次性的数据治理，供需双方必须共同努力，共同、持续、高质量地运行数据治理体系。数据治理是一项系统工程，是一项自上而下引导、自下而上推进的系统性工作。因此，供方企业和需求方厂商需要在系统运行和建设上形成共识，目标明确、组织合理、监管严格、制度完善，这样才能保证数据治理和系统流通。 . 手术。
关注数据治理中的安全合规性
完善数据安全治理框架，确保数据安全合规
大数据时代，数据泄露事件层出不穷。随着行业新网络形态、新技术、新应用场景的发展，新的数据类型、数据生产方式、数据处理方式和终端形态不断涌现，数据安全挑战也愈演愈烈。. 国家颁布了各级各行业的法律法规和配套文件，不断加大对数据安全和隐私保护的监管力度。对此，企业需要建立符合当前企业管理和发展需要的数据安全治理框架。数据的采集、存储、传输、处理有相应的执行管理依据，
联邦学习带来数据治理升华
治理升华，数据安全合规行内共同繁荣
在数据治理和准备过程中，一方面，企业需要尽可能全面地获取数据，以扩大训练样本的规模。另一方面，由于隐私和安全要求，他们不能随意收集、整合和使用数据进行人工智能处理。为解决上述问题，联邦学习技术应运而生。联邦学习的建模原理是基于分布在多个设备上的数据集构建机器学习模型，并通过安全多方计算、差分隐私、同态加密等技术为模型提供隐私保障，防止数据泄露。因此，联邦学习可以有效打通企业之间的数据孤岛，让数据可用和不可见。在满足数据安全合规的基础上，通过连接和协同，发挥数据的更高价值。目前，联邦学习技术已成为大数据智能厂商的核心发展方向，在金融、医疗、政务等领域率先应用。
数据的“自治和自我进化”
简化、自动化和智能化数据治理
数据规模的指数级增长给数据治理工作带来了巨大压力。传统的数据清洗、判别、调优等人工方式使得治理工作耗时长，人工成本高，越来越难以满足智能应用的数据需求。随着对规模、数量和质量的高要求，传统的人工数据治理工作变得捉襟见肘。如今，人工智能、RPA等技术手段已逐步应用于数据治理的模型管理、质量管理、资产管理、元数据管理等模块，最终实现数据系统的“自治、自我进化”。总的来说，前沿技术手段的应用可以让数据治理工作更加精简、自动化、智能化，
打造“治理+AI”系统的良性循环
相互关联、相互依托，共同推动人工智能应用内外发展
面向人工智能的数据治理充分利用机器学习技术，实现数据治理过程的自动化和智能化，可以大大提高数据治理的效率。质量管理的传统问题使得被管理的数据更符合人工智能应用的要求，从效率和质量两方面推动人工智能模型的应用。同时，人工智能应用落地效果的显着优化也将为企业智能化转型带来更多信心，让企业加大对人工智能相关项目的预算投入，进一步推动相关治理体系建设，创造良性循环。 “治理+AI”的圈子。