大数据时代及数据挖掘的应用

国网信息通信有限公司北京信息灾备中心主任    刘军   

国网信息通信有限公司北京信息灾备中心常务副主任   吕俊峰

        随着社会的进步和信息通信技术的发展，信息系统在各行业、各领域快速拓展。这些系统采集、处理、积累的数据越来越多，数据量增速越来越快，以至用“海量、爆炸性增长”等词汇已无法形容数据的增长速度。

       2011 年5 月，全球知名咨询公司麦肯锡全球研究院发布了一份题为《大数据：创新、竞争和生产力的下一个新领域》的报告。报告中指出，数据已经渗透到每一个行业和业务职能领域，逐渐成为重要的生产因素；而人们对于大数据的运用预示着新一波生产率增长和消费者盈余浪潮的到来。2012年 3 月29 日，美国政府在白宫网站上发布了《大数据研究和发展倡议》，表示将投资2 亿美元启动“大数据研究和发展计划”，增强从大数据中分析萃取信息的能力。

        什么是大数据？

       “大数据”到底有多大？根据研究机构统计，仅在 2011 年，全球数据增量就达到了 1.8ZB （即1.8 万亿 GB），相当于全世界每个人产生 200GB以上的数据。这种增长趋势仍在加速，据保守预计，接下来几年中，数据将始终保持每年 50%的增长速度。

        纵观人类历史，每一次划时代的变革都是以新工具的出现和应用为标志的。蒸汽机把人们从农业时代带入了工业时代，计算机和互联网把人们从工业时代带入了信息时代，而如今大数据时代已经到来，它源自信息时代，又是信息时代全方位的深化应用与延伸。大数据时代的生产原材料是数据，生产工具则是大数据技术，是对信息时代所产生的海量数据的挖掘和分析，从而快速地获取有价值信息的技术和应用。

        概括来讲，大数据有三个特征，可总结归纳为“3V”，即量（Vo l ume）、类（Va r i e ty）、时（Velocity）。量，数据容量大，现在数据单位已经跃升至 ZB 级别。类，数据种类多，主要来自业务系统，例如社交网络、电子商务和物联网应用。时，处理速度快，时效性要求高，从传统的事务性数据到实时或准实时数据。

        什么是数据挖掘？

        数据挖掘，又称为知识发现（KnowledgeDiscovery），是通过分析每个数据，从大量数据中寻找其规律的技术。知识发现过程通常由数据准备、规律寻找和规律表示 3 个阶段组成。数据准备是从数据中心存储的数据中选取所需数据并整合成用于数据挖掘的数据集；规律寻找是用某种方法将数据集所含规律找出来；规律表示则是尽可能以用户可理解的方式（如可视化）将找出的规律表示出来。

        “数据海量、信息缺乏”是相当多企业在数据大集中之后面临的尴尬问题。目前，大多数事物型数据库仅实现了数据录入、查询和统计等较低层次的功能，无法发现数据中存在的有用信息，更无法进一步通过数据分析发现更高的价值。如果能够对这些数据进行分析，探寻其数据模式及特征，进而发现某个客户、群体或组织的兴趣和行为规律，专业人员就可以预测到未来可能发生的变化趋势。这样的数据挖掘过程，将极大拓展企业核心竞争力。例如，在网上购物时遇到的提示“浏览了该商品的人还浏览了如下商品”，就是在对大量的购买者“行为轨迹”数据进行记录和挖掘分析的基础上，捕捉总结购买者共性习惯行为，并针对性地利用每一次购买机会而推出的销售策略。

     数据挖掘在供电企业的应用前景

在电力行业，坚强智能电网的迅速发展使信息通信技术正以前所未有的广度、深度与电网生产、企业管理快速融合，信息通信系统已经成为智能电网的“中枢神经”，支撑新一代电网生产和管理发展。目前，国家电网公司已初步建成了国内领先、国际一流的信息集成平台。随着三地集中式数据中心的陆续投运，一级部署业务应用范围的拓展，结构化和非结构化数据中心的上线运行，电网业务数据从总量和种类上都已初具规模。随着后续智能电表的逐步普及，电网业务数据将从时效性层面进一步丰富和拓展。大数据的“量类时”特性，已在海量、实时的电网业务数据中进一步凸显，电力大数据分析迫在眉睫。

        当前，电网业务数据大致分为三类：一是电力企业生产数据，如发电量、电压稳定性等方面的数据；二是电力企业运营数据，如交易电价、售电量、用电客户等方面的数据；三是电力企业管理数据，如 ERP、一体化平台、协同办公等方面的数据。如能充分利用这些基于电网实际的数据，对其进行深入分析，便可以提供大量的高附加值服务。这些增值服务将有利于电网安全检测与控制（包括大灾难预警与处理、供电与电力调度决策支持和更准确的用电量预测），客户用电行为分析与客户细分，电力企业精细化运营管理等等，实现更科学的需求侧管理。

        例如，在电力营销环节，针对“大营销”体系建设，以客户和市场为导向，省级集中的 95598客户服务、计量检定配送业务属地化管理的营销管理体系和 24 小时面向客户的营销服务系统，可通过数据分析改善服务模式，提高营销能力和服务质量；以分析型数据为基础，优化现有营销组织模式，科学配置计量、收费和服务资源，构建营销稽查数据监控分析模型；建立各种针对营销的系统性算法模型库，发现数据中存在的隐藏关系,  为各级决策者提供多维的、直观的、全面的、深入的分析预测性数据,  进而主动把握市场动态,采取适当的营销策略，获得更大的企业效益，更好地服务于社会和经济发展。此外，还可以考虑在电力生产环节，利用数据挖掘技术，在线计算输送功率极限，并考虑电压等因素对功率极限的影响，从而合理设置系统输出功率，有效平衡系统的安全性和经济性。

        公司具备非常好的从数据运维角度实现更大程度信息、知识发现的条件和基础，完全可以立足数据运维服务，创造数据增值价值，提供并衍生多种服务。以数据中心为纽带，新型数据运维的成果将有可能作为一种新的消费形态与交付方式，给客户带来全新的使用体验，打破传统业务系统间各自为阵的局面，进一步推动电网生产和企业管理，从数据运维角度对企业生产经营、管理以及坚强智能电网建设提供更有力、更长远、更深入的支撑。