刘凯
- 作品数：20 被引量：59H指数：5
- 供职机构：中国人民解放军海军航空工程学院更多>>
- 发文基金：国家自然科学基金国家部委资助项目更多>>
- 相关领域：自动化与计算机技术电子电信更多>>
- 基于深度玻尔兹曼机的文本特征提取研究被引量：9
- 2015年
- 鉴于深度学习模型在进行知识推理相关研究时提取抽象概念的优势,在目前对文本特征提取性能较好的浅层结构RSM的基础上构建以RSM为特征抽取器的深度玻尔兹曼机模型.通过新模型的能量函数和网络连接关系,对模型组成单元的后验概率进行推导,并结合新的交叉熵稀疏惩罚因子,给出模型的详细学习算法.经20-newgroups文档集上测试证明,经过交叉熵稀疏惩罚因子影响后的新模型提取出的特征在对文本表征上性能较好,相比于浅层模型RSM,其分类准确度更高,概念更加抽象,在处理大规模文本分析上具有良好的可行性.
- 张立民刘凯
- 关键词：文本特征
- 基于GPU的受限玻尔兹曼机并行加速被引量：1
- 2016年
- 为针对受限玻尔兹曼机处理大数据时存在的训练缓慢、难以得到模型最优的问题,提出了基于GPU的RBM模型训练并行加速方法。首先重新规划了对比散度算法在GPU的实现步骤;其次结合以往GPU并行方案,提出采用CUBLAS执行训练的矩阵乘加运算,设计周期更长、代码更为简洁的Tausworthe113和CLCG4的组合随机数生成器,利用CUDA拾取纹理内存的读取模式实现了Sigmoid函数值计算;最后对训练时间和效果进行检验。通过MNIST手写数字识别集实验证明,相较于以往RBM并行代码,新设计的GPU并行方案在处理大规模数据集训练上优势较为明显,加速比达到25以上。
- 张立民刘凯范晓磊
- 关键词：GPUCUDA加速比
- 利用深度玻尔兹曼机与典型相关分析的自动图像标注算法被引量：10
- 2015年
- 提出一种基于深度玻尔兹曼机与典型相关分析的自动图像标注算法(DBM-CCA)。该算法利用深度玻尔兹曼机实现图像与文本的低层次特征向稀疏高层次抽象概念的转变,并通过典型相关分析建立子空间映射关系以实现标注词汇的生成。首先在深度玻尔兹曼机提取图像与文本高层特征过程中,选用伯努利分布和高斯分布分别拟合标注词汇和图像特征,然后在图像与标注词汇高层特征形成的典型变量空间内计算待标注图像与训练集图像的马氏距离并据此加权计算得到高层标注词汇特征,最后由平均场估计生成图像标注词汇。实验结果表明,所提算法对图像的标注准确率改善较好,与经典的基于监督的多类标签方法和多重伯努利相关模型相比,在Corel5K实验中平均查准率和查全查准均率分别提高了10%和5%。
- 刘凯张立民孙永威林雪原
- 关键词：自动图像标注
- 基于遗传算法的RBM优化设计被引量：7
- 2015年
- 为了有效解决受限玻尔兹曼机在设计时没有规律遵循并很难保证网络最优化的问题,提出一种基于遗传算法的RBM辅助优化设计方法 (Genetic Algorithm-Restricted Boltzmann Machine,GA-RBM),完成了RBM模型结构和权值的全局搜索.针对RBM特点,设计RBM模型个体编码方式和适应度函数,实现了通过遗传算法对可见单元维度的优化和隐单元个数的选择.通过MNIST实验证明,相较于其他常规的数据降维方式,该方法不仅可以降低可见单元维数,而且能够有效提高RBM特征提取性能,达到了通过遗传算法实现RBM模型优化设计的目的.
- 刘凯张立民孙永威
- 关键词：人工神经网络遗传算法
- μC/OS-Ⅱ在微处理器LM3S8962上的移植被引量：5
- 2011年
- 基于具有广泛应用前景的ARM Cortex-M3微处理器体系结构,将μC/OS-Ⅱ实时操作系统移植到微处理器LM3S8962。通过分析微处理器LM3S8962和μC/OS-Ⅱ内核结构,并且结合ARM Cortex-M3体系特点,利用ARMCortex-M3所固有的嵌套向量中断控制器(NVIC)和Thumb-2指令集体系结构(ISA),完成了移植μC/OS-Ⅱ所需要的函数的编写,宏的定义和任务堆栈的实现,特别是利用ARM Cortex-M3所提供的新型中断-可挂起系统调用(PendSV)作为实时系统完成任务切换的软中断。给出了部分移植函数的代码,未给出代码的函数也对函数结构进行了详细的描述。通过对移植进行测试,结果表明在时钟频率为20 Hz的情况下系统运行正常,能够正常的完成任务切换,实现了移植的目的。
- 刘凯张立民赵小锋李平
- 关键词：ARM
- 基于改进Hadoop的受限玻尔兹曼机云计算实现
- 2015年
- 针对受限玻尔兹曼机(RBM)面对大数据时存在模型训练缓慢的问题,设计了基于Hadoop的RBM云计算实现方法.针对RBM训练方法,改进了Hadoop任务消息通信机制以适应模型迭代周期短的特点;设计了MapReduce框架,包括Map端实现吉布斯采样,Reduce端完成参数更新;依据Hadoop任务组合方式,将RBM的训练应用于深度玻尔兹曼机(DBM)中.通过手写数字识别实验证明,该计算方法在大规模数据条件下能够有效加速RBM训练,且适应于深度学习模型的学习.
- 刘凯张立民范晓磊孙永威
- 关键词：并行编程
- 一种基于深度学习与典型相关分析的图像自动标注方法
- 本发明公开了一种基于深度学习与典型相关分析的图像自动标注方法，该方法首先通过深度玻尔兹曼机提取图像与标注词汇的高层特征向量，选用多重伯努利分布拟合标注词汇样本，高斯分布拟合图像特征；然后对图像与标注词汇的高层特征进行典型...
- 张立民刘凯邓向阳孙永威张建廷
- 基于监督的RSM改进研究被引量：1
- 2014年
- 为实现带有类别信息的文本特征的提取,在目前文本特征提取性能最好的浅层结构RSM的基础上提出了基于监督的sRSM。通过在RSM上增加类别单元,提出了新模型的能量函数,并对其模型组成单元的后验概率进行了推导,给出了详细的学习算法。该模型考虑了类别信息对于文本特征的影响,同时也可以应用在无类别信息的文本特征提取上。实验结果表明,该模型在处理带有类别信息的文本上具有良好的可行性,要优于RSM。
- 刘凯张立民张建廷马超
- 关键词：文本特征
- 改进卷积玻尔兹曼机的图像特征深度提取被引量：11
- 2016年
- 针对卷积深度和信念网络存在计算复杂度高和训练缓慢的问题,提出卷积深度玻尔兹曼机用于图像特征提取.针对卷积受限玻尔兹曼机进行改进,提出最大化图像中间区域概率的训练目标函数,并引入性能较好的交叉熵稀疏惩罚因子和dropout训练方法.设计卷积深度玻尔兹曼机结构,提出均值聚合机制,将聚合层内点的值定义为block中各点激活概率均值,对层间关联进行简化,将聚合层内各面直接叠加以供高层CRBM提取特征.通过在MNIST手写数字识别集上的实验结果证明,采用新模型提取的图像特征分类准确率提高0.5%、训练时间减少50%,且达到了目前MNIST数据集的最佳水平.
- 刘凯张立民范晓磊
- 关键词：图像特征提取
- 受限玻尔兹曼机的新混合稀疏惩罚机制被引量：5
- 2015年
- 为解决受限玻尔兹曼机(RBM)在学习过程中出现的特征同质化问题,在RBM已有的稀疏模型基础上提出新的混合稀疏惩罚机制(HSPM).鉴于隐单元之间存在的统计相关性,该机制通过在RBM训练过程中引入交叉熵稀疏惩罚因子,实现对RBM的初步处理;按照基于RBM连接权值列相似性的自适应分组策略,构建稀疏组RBM,并按照稀疏组受限玻尔兹曼机(SGRBM)的形式继续进行隐单元稀疏化.实验结果表明:HSPM能够有效解决RBM特征同质化问题,在隐单元的稀疏程度上优于以往的稀疏惩罚因子,可以整体提高RBM的特征提取能力,并可以成功应用于深度玻尔兹曼机(DBM)的训练.
- 刘凯张立民张超
- 关键词：人工神经网络
