公共文化服务平台

共 1 条记录，以下是 1-1

全选清除导出

排序方式：

基于 Regex 网页去噪 Hash 比对的网络爬虫无登陆微博采集技术被引量：1: 2015年; 针对当前微博采集无精确去噪方法和微博无法无登陆采集现象，笔者提出了基于 Regex 网页去噪 Hash 对比的网络爬虫采集方案并利用插件采集实现了无登陆采集。该方法通过 Regex 构建 DFA 和 NFA 模型来去除网页噪声，通过 Hash 对比对确定采集页面，并通过插件权限提升实现无登陆技术。有效的避免了 Hash 值的变化与网页内容变化产生偏离的现象，解决了网络爬虫虚拟登录时多次对 URL 采集造成的身份认证问题。实验表明，该方法可以实时快速的获取微博信息，为舆情数据分析提供批量精准的数据。; 陈宇孟凡龙刘培玉朱振方

全选清除导出

共1页<1>

山东省自然科学基金(ZR2011FM030)