富士通实验室有限公司开发了世界上第一个AI技术，该技术可以准确捕获基本特征，包括高维数据的分布和概率，以提高AI检测和判断的准确性。
高维数据(包括通信网络访问数据，医疗数据的类型和图像)由于其复杂性而仍然难以处理，这使得获取目标数据的特征成为一项挑战。到现在为止，这有必要使用通过深度学习来减小输入数据的尺寸的技术，有时会导致AI做出错误的判断。
富士通将深度学习技术与其在图像压缩技术方面的专业知识相结合，并积累了多年的经验，以开发一种AI技术，从而可以利用深度学习技术优化高维数据的处理并准确地提取数据特征。
它将图像压缩中使用的信息理论与深度学习相结合，优化了高维数据中要减少的维数，并通过深度学习对降维后的数据分布进行了优化。
富士通实验室副研究员中川彰(Akira Nakagawa)表示：“这是应对AI领域近年来的主要挑战之一的重要一步：捕获数据的概率和分布。我们相信，这项技术将对性能有所贡献。 AI方面的改进，我们很高兴能够应用这些知识来改进各种AI技术。”
在7月12日星期日的国际机器学习大会“ ICML 2020(2020年国际机器学习大会)”上介绍了该技术的详细信息。
发展背景
近年来，各个业务领域对AI驱动的大数据分析的需求激增。人工智能还有望帮助支持检测数据异常，以揭示诸如未经授权的网络访问尝试或甲状腺数据或心律失常数据的医学数据异常之类的事情。
许多业务操作中使用的数据是高维数据。随着数据维数的增加，准确表征数据所需的计算复杂度呈指数增长，这种现象被广泛称为“维数诅咒”。
近年来，使用深度学习来缩小输入数据的尺寸的方法已被认为是有助于避免这一问题的有前途的候选方法。但是，由于在不考虑尺寸分布的情况下减小了尺寸的数量，并且没有考虑减小后的出现概率，因此不能准确地捕获数据的特性，并且AI的识别精度受到限制，并且可能会发生误判。