MapReduce是现有大数据平台中典型的分布式并行计算编程模型,在大数据处理中被广泛应用于电网综合系统中。由于MapReduce屏蔽底层复杂的数据源连接,将不同数据源映射为统一的接口,有效地为智能电网一体化平台(IMS)监管系统上层应用提供对异构数据的访问,成为现阶段数据分析需要解决的问题。本文将针对电网海量GIS信息数据及其对电网调度几种控制系统带来的数据存取问题,采用Hadoop HDFS进行海量GIS电网地理信息数据存取,利用MapReduce,设计面向HDFS、HBase和Mysql数据库的多数据源的统一数据模型,集成数据操作代码,减少重复代码,提高开发效率。
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
全部0条评论
快来发表一下你的评论吧 !