国家高技术研究发展计划(2011AA120301)
- 作品数：17 被引量：99H指数：5
- 相关作者：陈振杰周琛李满春王衡汪国平更多>>
- 相关机构：南京大学北京大学中国国土资源航空物探遥感中心更多>>
- 发文基金：国家高技术研究发展计划国家自然科学基金国家科技支撑计划更多>>
- 相关领域：自动化与计算机技术天文地球交通运输工程更多>>
- 栅格地理数据并行格式转换引擎被引量：1
- 2015年
- 如今大规模地理数据正在社会各个部门和组织中迅速积累,但是由于部门利益和历史沿袭等原因,大规模地理数据共享仍然极具挑战,相应共享技术需求仍然极其旺盛。作为地理数据共享的基础方式之一,传统单机地理数据格式转换技术,一方面受限于磁盘读写及带宽瓶颈,另一方面面对日趋庞大的数据规模,已很难满足实际应用需求。因此提出一种针对栅格地理数据的并行格式转换引擎,采用高性能计算集群环境支持大规模栅格地理数据转换共享,大幅降低了大规模栅格地理数据转换过程的时间成本。栅格地理数据并行格式转换引擎采用基于公共接口的设计理念,框架灵活、具有良好的扩展性,支持地理数据格式的读写自定义以及新数据格式添加,能够实现接入数据格式间的任意两两转换。为验证引擎框架及其处理效率,在Lustre并行集群环境下以格网数据交换格式(国家地理空间数据交换格式)向常见栅格地理格式的转换为示例进行了测试实验。结果表明,栅格地理数据并行格式转换引擎能够在8个节点Lustre集群中达到7.54的良好并行加速比。
- 张帅李满春陈振杰黄涛姜晓慧
- 关键词：并行计算地理计算
- 矢量多边形栅格化算法快速并行化方法研究被引量：4
- 2014年
- 本文在分析典型多边形栅格化算法的基础上,研究了串行算法并行化思路,提出一种多边形栅格化算法并行框架。该并行框架包括MPI与OpenMP的双层并行模式、顾及负载均衡的矢量多边形数据划分方法、多边形栅格化基本算子调用接口。利用本文形成的并行框架对扫描线算法、边界代数法进行了并行化,并利用大规模土地现状数据验证本文所提出的并行化方法的有效性。试验结果表明,该方法能够解决矢量多边形栅格化串行算法快速并行化的问题,并行化后的算法大大减少了矢量多边形转换时间,具有良好的并行效率。
- 陈振杰周琛李飞雪李满春任沂斌
- 关键词：多边形并行化地理信息系统
- 采用动态负载均衡的LiDAR数据生成DEM并行算法被引量：4
- 2015年
- 随着高性能计算的发展,并行技术已经广泛应用于Li DAR数据的分析处理。本文针对现有Li DAR数据生成DEM并行算法所存在的负载不均衡问题,设计并实现了动态负载均衡的Li DAR数据生成DEM并行算法。该算法采用主从式并行策略,管理进程负责Li DAR点云的高效自适应条带划分,计算进程负责Li DAR点云生成DEM的计算。本文设计了任务量的动态调度策略:首先,由所有进程并行创建任务量由大到小排列的待处理任务队列;然后,管理进程根据计算进程的反馈对待处理任务进行动态分配,以达到负载均衡。在24核集群环境下,用30 GB(约12亿点)Li DAR数据对本文算法进行测试,生成分辨率为1 m的格网DEM,算法加速比峰值达到15.16;同时,与静态调度策略进行对比实验,结果显示本文的动态负载均衡策略可更好地保证进程间的负载均衡,有效地提高了Li DAR生成DEM并行算法的整体效率。
- 任沂斌陈振杰程亮李满春骈宇哲
- 关键词：LIDARDEM并行计算动态负载均衡
- 改进贝叶斯分类的智能短信分类方法被引量：5
- 2014年
- 随着移动通信技术的不断发展,手机的普及率在不断上升,而短信作为传统的移动通信服务,长久以来一直在人们的日常生活中占据着极为重要的位置。可以说,短信在一定程度上记录了人们生活的轨迹。但是,现有的短信管理系统仅对短信进行以联系人为特征分类、以时间为顺序显示的简单非智能化的管理,导致了用户手机中各类短信混杂不清,短信的管理效率极低。通过研究短信的特征,分析传统的基于文档频率的特征值提取方法和基于互信息的特征值提取方法的优势与不足,提出了一种适用于短信的基于词频和互信息的特征值提取方法,并结合短信长度实现了一种改进的贝叶斯分类算法。实验证明,算法在进行短信分类时可以得到相当可观的召回率和准确率。
- 杨柳殷钊滕建斌王衡汪国平
- 关键词：文本分类特征值提取贝叶斯分类
- 多源异构地理数据并行集成技术研究被引量：3
- 2015年
- 随由于地理坐标系统、地图投影、数据格式的差异,大规模地理数据的集成、应用极为不便。本文基于多核/集群的高性能硬件架构,探索多源异构地理数据并行集成中的关键问题,主要包括:1设计了统一、开放的地理数据读写接口和空间参考扩展接口,实现对不同地理格式以及空间参考的无缝集成;2深入探讨地理数据并行集成的算法原理,设计符合其特征的数据划分及并行调度策略,提高数据集成效率。在多核并行环境中实现本算法,并利用典型苏南地区数据进行应用实验。实验结果表明,提出的并行技术可实现不同数据格式、不同空间参考地理数据的准确、快速集成,取得了14.38的加速比,从而解决了大规模地理数据的快速集成问题。
- 李满春李翔周琛陈振杰陈东
- 关键词：地理数据并行计算
- 多核CPU下的K-means遥感影像分类并行方法被引量：11
- 2015年
- 针对海量遥感影像快速分类的应用需求,提出一种基于K-means算法的遥感影像并行分类方法。该方法结合CPU下进程级与线程级模式的并行特征,设计融合进程级与线程级并行的两阶段数据粒度划分方法和任务调度方法,在保证精度的基础上实现并行加速。利用大数据量的多尺度遥感影像进行实验,结果表明:所提并行方法可大大减少遥感影像的分类时间,取得了良好的加速比(13.83),并可达到负载均衡,从而解决了大区域遥感影像快速分类的问题。
- 吴洁璇陈振杰张云倩骈宇哲周琛
- 关键词：K-MEANS算法消息传递接口MP
- 矢量多边形并行栅格化数据划分方法被引量：4
- 2015年
- 针对多边形并行栅格化中的负载不均衡问题提出一种新的数据划分方法,主要包括:迭代计算划分线的位置,在每次迭代中保证分块间的计算量大致均衡,完成数据划分、实现负载均衡;提出基于二叉树的划分结果融合策略,以解决跨边界多边形的融合问题。在多核CPU环境下实现并行算法,选用多个典型土地利用现状数据集进行测试。结果表明:针对不同类型多边形数据集,所提方法较传统方法可获得更高的并行加速比和更好的负载均衡;针对大数据量数据集,以多边形节点数为度量标准可更精确地估算分块计算量,从而更好地实现负载均衡。
- 周琛李满春陈振杰姜朋辉陈东
- 关键词：地理信息系统并行计算数据划分负载均衡
- 青岛城市道路邻近中心性及其应用方法被引量：11
- 2013年
- 以青岛为实证研究区域,从理论角度探讨了道路全局和局部邻近中心性的地理含义及其各自优缺点,认为全局邻近中心性(GCC)反映的是网络上各点到网络"质心"的距离,可从全局角度反映区位重要性;局部邻近中心性(LCC)反映小范围空间区域的重心,与局部路网密度相关。进一步根据核密度估计(KDE)的机理证明,在城市地理空间结构的实际应用案例中适宜采用KDE法来进行空间分析。本文以手机话务量数据反映的城市居民活动空间结构为例讨论了邻近中心性核密度估计(CC-KDE)的应用,发现与居民活动相关性最高的是核密度全局邻近中心性(GCC-KDE),因为全局邻近中心性核密度估计(GCC-KDE)综合了到网络"质心"距离与道路网络局部密度双重因素,故反映城市人口等与道路密度相关的社会经济现象更有效。
- 王瑶莉高松刘瑜
- 关键词：核密度估计
- 开源GRASS软件等高线生成DEM的算法改进被引量：1
- 2015年
- 针对GRASS软件中等高线生成DEM算法存在的问题,从解决多条等高线经过待插值栅格单元、Flood Fill算法搜索等高线、"平山顶"现象3个方面对算法进行了改进,加强了对山顶等特殊地形的处理。实验结果表明,改进算法与已有软件算法相比,提高了山体陡峭地区DEM插值精度,消除了插值生成的DEM中存在的"平山顶"现象。
- 谢中凯陈振杰李飞雪
- 关键词：等高线DEM
- 结合用户交互行为和资源内容的资源推荐被引量：9
- 2014年
- 为了更好地管理任务以及与任务相关的资源,使用户集中注意力在任务本身上,减少用户的交互负担,提出一种基于隐式Dirichlet分配(LDA)模型的任务建模方法.通过将用户的交互行为按时间片进行切分,实现了时间片序列—任务—文件与LDA模型中的文章—主题—单词的对应,经过LDA方法的学习,得到了时间片—任务的概率分布和任务—文件的概率分布;为了对任务模型进行补充,进一步提出了基于资源内容的主题分析方法,并用LDA方法建立了主题模型;最后通过对资源的关联关系分析,实现了一个结合任务模型和主题模型的资源推荐系统.实验结果表明,任务模型能够有效地发现用户的主要任务和主要文件.
- 杨智强殷钊王衡
- 关键词：资源推荐
