郭进伟
- 作品数：10 被引量：23H指数：3
- 供职机构：华东师范大学更多>>
- 发文基金：国家自然科学基金国家高技术研究发展计划国家重点基础研究发展计划更多>>
- 相关领域：自动化与计算机技术生物学更多>>
- 基于MapReduce的SON算法实现被引量：7
- 2014年
- 在挖掘频繁项集的算法中,SON算法能够有效地降低CPU和I/O负载,但是SON算法在单节点上运行时仍然受限于内存和CPU;并且随着海量数据的来临,单节点也无法满足数据的存储。在深入研究SON算法的基础之上,提出了MapReduce编程模型实现SON算法的方法。算法的执行需要两轮MapReduce迭代,第一轮迭代求出局部频繁项集,第二轮迭代求出全局频繁项集。实验结果表明:SON算法采用MapReduce编程模型并行化后,部署在Hadoop集群上运行,随着分区数目的增加能够获取较好的加速比。
- 郭进伟皮建勇
- 关键词：数据挖掘频繁项集MAPREDUCEHADOOP
- 基于MapReduce的序列规则在推荐系统中的研究
- 目前常用的个性化推荐系统模型通常是基于协同过滤或者是基于内容的，也有部分基于关联规则的。这些算法没有考虑事务间的顺序，然而在很多应用中这样的顺序是很重要。本文提出了一种简易的基于序列模式的推荐模型，并且考虑到大规模数据的...
- 元二菊郭进伟皮建勇
- 关键词：推荐系统MAPREDUCE
- 一种混合工作负载的乐观并发控制方法
- 本发明公开了一种混合工作负载下的乐观并发控制方法，其特点是采用本地读集合验证与全局写集合验证整合的方法，根据工作负载动态地估计和比较不同验证方法产生的验证成本，选择成本最低的验证方法和对应的跟踪机制进行混合工作负载下乐观...
- 蔡鹏郭进伟钱卫宁周傲英
- 文献传递
- 高可用事务处理系统的并发控制技术
- 事务处理是数据库管理系统的特性之一。随着移动互联网的发展,互联网应用迫切地需要数据库管理系统在保证事务语义的前提下能够提供持续不断的数据访问服务,即高可用服务。由于复制技术可以提高系统服务的可用性,并且共识协议可以提供强...
- 郭进伟
- 关键词：事务处理高可用系统并发控制
- OceanBase数据库监控系统被引量：1
- 2016年
- 针对目前Oceanbase数据库监控方面薄弱的问题,基于OceanBase的系统架构以及参考其集群部署,并借助其提供的系统接口,提出一套适用于OceanBase在系统监控、系统预警以及故障定位等方面的可执行方案,以此实现了OceanBase监控系统OBDMS。首先,调研OceanBase在系统架构及集群部署等方面的特点;其次,根据OceanBase提供的系统接口以及系统监控、预警和故障定位等目标,构建OBDMS的系统架构;最后,利用OBDMS的系统架构并结合分布式系统的原理,实现了OBDMS。通过分析对比、实验结果表明:只需在每个监控节点上部署监控代理,OBDMS就能自动收集各个节点上的监控信息,节省了运维时间;并且通过一个月的运行以及压力测试,OBDMS各模块均运行正常,具有较高的可靠性。因此,OBDMS具备部署简单、节省运维时间、可靠稳定等特点。
- 王雷钱招明郭进伟张蓉周敏奇高明钱卫宁
- 关键词：分布式数据库故障定位
- 高可用数据库系统中的分布式一致性协议被引量：3
- 2016年
- 可用性和一致性是分布式数据库系统中的两个重要特性和基础,需要借助分布式一致性协议来保证.保证一致性需要使用一致性协议为并发的事务更新操作确定一个全局的执行顺序,并协调局部状态和全局状态不断地达到动态一致.可用性的实现,需要一致性协议协调多副本之间的一致来实现主备节点的无缝切换.可见,分布式一致性协议是高可用数据库系统的实现基础.本文梳理、综述了经典的分布式一致性协议以及一致性协议在高可用数据库系统中的主要应用,并对分布式一致性协议的实现代价和局限性进行了分析与评估.
- 储佳佳郭进伟刘柏众张晨东钱卫宁
- 关键词：高可用性一致性分布式数据库
- 基于MapReduce的序列规则在推荐系统中的研究被引量：1
- 2014年
- 目前常用的个性化推荐系统模型通常是基于协同过滤或者是基于内容的,也有部分基于关联规则的。这些算法没有考虑事务间的顺序,然而在很多应用中这样的顺序很重要。文章提出了一种简易的基于序列模式的推荐模型,并且考虑到大规模数据的处理,结合了MapReduce编程模型。这种简易的推荐模型可以用来辅助通常的个性化推荐系统。
- 元二菊郭进伟皮建勇
- 关键词：推荐系统MAPREDUCE
- 基于Raft一致性协议的高可用性实现被引量：9
- 2015年
- 随着互联网的快速发展和大数据时代的来临,传统数据库的局限性开始逐渐显现,而支持海量数据存储和高并发访问的分布式数据库系统越来越流行.在此背景下阿里巴巴集团研发了一款适用于海量数据存储的分布式数据库系统(OceanBase),并提供单集群和多集群两种部署模式.但多集群部署模式下的可用性较低,无法满足关键性应用的需求,包括:发生故障时不支持主备集群的自动切换;主备集群之间无法保证日志的强同步.针对上述问题,本文分析了传统数据库的高可用方案,针对OceanBase架构的特点,结合了Raft算法的思想,设计并实现了基于时间戳的分布式选举模块、自动化的集群切换模块和基于QUORUM策略的日志强同步模块.经实验验证,以上模块的实现能够提高系统整体的可用性.
- 张晨东郭进伟刘柏众储佳佳周敏奇钱卫宁
- 关键词：分布式数据库高可用性
- 一种基于FP-growth的并行SON算法的实现被引量：2
- 2014年
- 单节点运行的传统SON算法能够有效降低CPU和I/O负载,而且算法仅需要对整个事务数据集扫描两次。但是在算法执行的阶段一中发现局部频繁项集时采用的Apriori算法仍然需要对每个分区进行多次扫描。在深入研究SON算法的基础上,根据MapReduce编程模型提出了基于FPgrowth的SON算法的并行化实现。实验结果表明,基于FP-growth的并行SON算法不仅降低了传统SON算法的运行时间,并且随着分区数目的增加还能获取比较好的加速比。
- 郭进伟皮建勇
- 关键词：FP-GROWTHMAPREDUCE数据挖掘
- 可扩展数据管理系统中的网络请求服务机制
- 2016年
- 请求服务机制涉及请求的传输和处理,是分布式数据管理系统中各组件交互并完成任务的重要前提.本文以可扩展数据管理系统为背景,抽象系统中的网络服务模型,介绍系统中的网络请求服务机制.从数据库的主要实现出发,分析不同类型的请求在传输以及处理上的不同要求.以OceanBase为例,统计各机制在一个可扩展数据管理系统中的服务比重,并进行相关的分析.
- 肖冰郭进伟钱卫宁
