刘建伟
- 作品数：85 被引量：1,395H指数：20
- 供职机构：中国石油大学（北京）更多>>
- 发文基金：国家自然科学基金中国石油大学(北京)基础学科研究基金国家重点基础研究发展计划更多>>
- 相关领域：自动化与计算机技术文化科学水利工程石油与天然气工程更多>>
- 玻尔兹曼机研究进展被引量：71
- 2014年
- 深度学习是机器学习中的新兴研究领域,能够很好地用于解决目标识别、语言理解等复杂问题.玻尔兹曼机作为深度学习的典型代表近年来受到了广泛研究.鉴于玻尔兹曼机的理论意义和实际应用价值,系统综述了玻尔兹曼机的研究进展,首先概述了玻尔兹曼机的相关概念,包括单层反馈网络的结构和拓扑结构分类,然后详细描述了玻尔兹曼机的学习过程和几种典型学习算法,接着对近几年玻尔兹曼机研究的新进展进行了阐述,最后提出了玻尔兹曼机中有待进一步研究解决的问题.
- 刘建伟刘媛罗雄麟
- 关键词：概率分布模拟退火马尔可夫链
- 基于值函数和策略梯度的深度强化学习综述被引量：127
- 2019年
- 作为人工智能领域的热门研究问题,深度强化学习自提出以来,就受到人们越来越多的关注.目前,深度强化学习能够解决很多以前难以解决的问题,比如直接从原始像素中学习如何玩视频游戏和针对机器人问题学习控制策略,深度强化学习通过不断优化控制策略,建立一个对视觉世界有更高层次理解的自治系统.其中,基于值函数和策略梯度的深度强化学习是核心的基础方法和研究重点.该文对这两类深度强化学习方法进行了系统的阐述和总结,包括用到的求解算法和网络结构.首先,本文概述了基于值函数的深度强化学习方法,包括开山鼻祖深度Q网络和基于深度Q网络的各种改进方法.然后介绍了策略梯度的概念和常见算法,并概述了深度确定性策略梯度、信赖域策略优化和异步优势行动者-评论家这三种基于策略梯度的深度强化学习方法及相应的一些改进方法.接着概述了深度强化学习前沿成果阿尔法狗和阿尔法元,并分析了后者和该文概述的两种深度强化学习方法的联系.最后对深度强化学习的未来研究方向进行了展望.
- 刘建伟高峰罗雄麟
- 关键词：值函数
- 用于社区检测的加权非负矩阵三因式分解
- 2014年
- 针对重叠社区的检测问题,描述非负矩阵因式分解方法和概率潜语义分析方法,说明这两种方法的等价性;基于矩阵因式分解方法,提出加权非负矩阵三因式分解方法,使用因式分解中的因子矩阵建立每个顶点的社区关系模型和社区之间的交互关系模型,为解决由于缺失数据产生的稀疏性问题,引入加权阵;在实际场景的数据集上进行实验,根据实验结果分析该方法对于自由参数的敏感度,验证了该方法性能优于一般非负矩阵因式分解方法。
- 刘建伟刘媛罗雄麟
- 关键词：矩阵因式分解概率分布加权
- 基于相关向量机的神经活动分类及译码被引量：4
- 2009年
- 脑机接口研究受到越来越多学者的关注,其中对神经活动的分类和译码是研究的重要方面。利用相关向量机的方法对来自脑皮层的一部分运动神经元的激发率进行分类,识别其神经状态,在此基础上利用激发率进行译码,判断其运动轨迹。实验证明,相关向量机能够较好地进行神经活动的分类和译码,并且拥有比支持向量机和信息向量机更好的性能。
- 张磊刘建伟徐翔罗雄麟
- 关键词：相关向量机支持向量机
- 单词嵌入表示学习综述
- 2022年
- 单词嵌入表示学习是自然语言处理(NLP)中最基本但又很重要的研究内容,是所有后续高级语言处理任务的基础.早期的单词独热表示忽略了单词的语义信息,在应用中常常会遇到数据稀疏的问题,后来随着神经语言模型(NLM)的提出,单词被表示为低维实向量,有效地解决了数据稀疏的问题.单词级的嵌入表示是最初的基于神经网络语言模型的输入表示形式,后来人们又从不同角度出发,提出了诸多变种.本文从模型涉及到的语种数的角度出发,将单词嵌入表示模型分为单语言单词嵌入表示模型和跨语言单词嵌入表示模型两大类.在单语言中,根据模型输入的颗粒度又将模型分为字符级、单词级、短语级及以上的单词嵌入表示模型,不同颗粒度级别的模型的应用场景不同,各有千秋.再将这些模型按照是否考虑上下文信息再次分类,单词嵌入表示还经常与其它场景的模型结合,引入其他模态或关联信息帮助学习单词嵌入表示,提高模型的表现性能,故本文也列举了一些单词嵌入表示模型和其它领域模型的联合应用.通过对上述模型进行研究,将每个模型的特点进行总结和比较,在文章最后给出了未来单词嵌入表示的研究方向和展望.
- 刘建伟高悦
- 关键词：神经网络语言模型跨语言信息瓶颈
- 深度记忆网络研究进展被引量：23
- 2021年
- 近年来,随着深度神经网络的快速发展,它在越来越多的领域中有了广泛的应用.深度神经网络模型在处理有序列依赖关系的预测问题时,需要利用之前学习到的信息进行记忆.在一般的神经网络模型中,数据经过多个神经元节点传输会损失很多关键的信息,因此需要具有记忆能力的神经网络模型,我们把它们统称为记忆网络.本文首先介绍了记忆网络的基础模型,包括循环神经网络(RNN)、长短期记忆神经网络(LSTM)、神经图灵机(NTM)、记忆神经网络(MN)和变送器(Transformer).其中,RNN和LSTM是通过隐单元对前一时刻信息的处理来记忆信息,NTM和NM是通过使用外部存储器来进行记忆,而变送器使用注意力机制来选择性记忆.本文对这些模型进了对比,并分析了各个记忆方法的问题和不足.然后根据基础模型的不同,本文对常见的记忆网络模型进行了系统的阐述、分类和总结,包括其模型结构和算法.接着介绍了记忆网络在不同领域和场景下的应用,最后对记忆网络的未来研究方向进行了展望.
- 刘建伟王园方罗雄麟
- 关键词：循环神经网络记忆网络自然语言处理
- 一种新的基于AR* -GRNN的QoS降载管理框架
- 2011年
- 在过载环境下不是很高的降载比率很可能要丢失要分析的全部信息,故有效地获取流数据的信息是流数据挖掘的关键问题.本文建立基于AR* -GRNN的QoS降载管理框架,提高过载环境下流数据的相似性查询效率.利用离散傅立叶变换(Discrete Fourier Transform,DFT)来获取数据的特征值,运用混合预测模型(时间序列类模型(AR*)-Generalized RegressionNeural Network,AR* -GRNN)和历史的特征值来预测降载部分数据的特征值,建立自适应的降载计划,从而完成降载发生情况下的相似性查询分析.
- 李卫民刘建伟乐嘉锦
- 关键词：降载ARGRNNQOS
- 基于多任务学习的视频和图像显著目标检测方法
- 2024年
- 显著目标检测(Salient Object Detection,SOD)能够模拟人类的注意力机制,在复杂的场景中快速发现高价值的显著目标,为进一步的视觉理解任务奠定了基础。当前主流的图像显著目标检测方法通常基于DUTS-TR数据集进行训练,而视频显著目标检测方法(Video Salient Object Detection,VSOD)基于DAVIS,DAVSOD以及DUTS-TR数据集进行训练。图像和视频显著目标检测任务既有共性又有特性,因此需要部署独立的模型进行单独训练,这大大增加了运算资源和训练时间的开销。当前研究大多针对单个任务提出独立的解决方案,而缺少统一的图像和视频显著目标检测方法。针对上述问题,提出了一种基于多任务学习的图像和视频显著目标检测方法,旨在构建一种通用的模型框架,通过一次训练同时适配两种任务,并进一步弥合图像和视频显著目标检测方法之间的性能差异。12个数据集上的定性和定量实验结果表明,所提方法不仅能够同时适配两种任务,而且取得了比单任务模型更好的检测结果。
- 刘泽宇刘建伟
- 关键词：多任务学习
- 深度学习研究进展被引量：290
- 2014年
- 鉴于深度学习的重要性,综述了深度学习的研究进展。首先概述了深度学习具有的优点,由此说明了引入深度学习的必要性;然后描述了三种典型的深度学习模型,包括卷积神经网络模型、深度信任网络模型和堆栈自编码网络模型,并对近几年深度学习在初始化方法、网络层数和激活函数的选择、模型结构、学习算法和实际应用这四个方面的研究新进展进行了综述;最后探讨了深度学习在理论分析、数据表示与模型、特征提取、训练与优化求解和研究拓展这五个方面中有待进一步研究解决的问题。
- 刘建伟刘媛罗雄麟
- 关键词：神经网络堆栈
- 多任务学习被引量：33
- 2020年
- 随着图像处理,语音识别等人工智能技术的发展,很多学习方法尤其是采用深度学习框架的方法取得了优异的性能,在精度和速度方面有了很大的提升,但随之带来的问题也很明显,这些学习方法如果要获得稳定的学习效果,往往需要使用数量庞大的标注数据进行充分训练,否则就会出现欠拟合的情况而导致学习性能的下降.因此,随着任务复杂程度和数据规模的增加,对人工标注数据的数量和质量也提出了更高的要求,造成了标注成本和难度的增大.同时,单一任务的独立学习往往忽略了来自其它任务的经验信息,致使训练冗余重复和学习资源的浪费,也限制了其性能的提升.为了缓解这些问题,属于迁移学习范畴的多任务学习方法逐渐引起了研究者的重视.与单任务学习只使用单个任务的样本信息不同,多任务学习假设不同任务数据分布之间存在一定的相似性,在此基础上通过共同训练和优化建立任务之间的联系.这种训练模式充分促进任务之间的信息交换并达到了相互学习的目的,尤其是在各自任务样本容量有限的条件下,各个任务可以从其它任务获得一定的启发,借助于学习过程中的信息迁移能间接利用其它任务的数据,从而缓解了对大量标注数据的依赖,也达到了提升各自任务学习性能的目的.在此背景之下,本文首先介绍了相关任务的概念,并按照功能的不同对相关任务的类型进行划分,之后对它们的特点进行了逐一描述.然后,本文按照数据的处理模式和任务关系的建模过程不同将当前的主流算法划分为两大类:结构化多任务学习算法和深度多任务学习算法.其中,结构化多任务学习算法采用线性模型,可以直接针对数据进行结构假设并且使用原有标注特征表述任务关系,同时,又可根据学习对象的不同将其细分为基于任务层面和基于特征层面两种不同结构,每种�
- 张钰刘建伟左信
- 关键词：多任务学习信息迁移
