产品简介:
KSpider网络信息采集系统是集数据采集、智能数据处理(分类、聚类、挖掘)、存储、发布于一体的网络信息资源整合系统。它能够按照用户设定的站点和抓取策略定向采集不同格式的网络数据,并按用户自定义的分类体系进行智能分类和归档,再通过门户式、数据库式及搜索引擎式等多种发布系统为用户提供数据检索服务。它同时是一个强大的数据集成工具,可以为其他应用系统提供结构化的数据。是竞争情报、网络监控、企业搜索等应用的基础工具。
产品价值:
1.可快速获取竞争情报并对相关信息进行分析;
2.实时监控舆论页面信息,并迅速应对;
3.将获取的公开数据加以引用并构建为企业的特色资源库
产品主要功能:
1.数据采集:多蜘蛛、多线程并行抓取;可以抓取动态网页和静态网页;可以抓取word、pdf、ppt、Excel、caj等各种文档数据;能够根据更新周期定期增量抓取网页;自动识别网页正文,剔除网页上的垃圾信息,正确率在90%以上……
2.数据分类与挖掘: 集成多种分类算法KNN、VSM及Bayes;支持规则和模型两种分类方法;能够自动提取关键词和摘要;自动挖掘采集数据之间的相似关系; 挖掘系统中的热点关系词及各个词之间的关联关系。
3.数据存储: 数据可增量索引,新抓取的数据可以及时发布;采用视图和并行表管理方式,可以支持超大规模的数据存储管理;可自动维护数据,定时删除过期数据;数字对象可选择存放目录、数据库和HFS(文件分布系统)的三种灵活存放方式。
4.数据发布: 支持网页快照功能;自动链接相似网页;门户式、数据库式、搜索引擎式等多种发布方式;图片搜索;pdf、Word、ppt等附件搜索。
产品特点:
1.网络信息监控、舆情分析:监控网络非法信息,及时准确发现非法信息并向用户报警,同时对论坛和新闻评论进行聚类和分析,及时掌握网民的舆论热点。
2.新闻聚合系统:从综合门户或者行业新闻频道中抓取最新新闻报到聚合到统一的64体育一足球直播丨NBA上供用户阅读。
3.构建特色数据库:图书馆、高校、研究机构等用来抓取网络特色资源,构建自己的特色资源库,并集成到自己的应用系统中。
4.竞争情报系统:为企业及时搜集产品或者竞争对手的情报,并及时生成简报,为企业决策服务。
5.专题垂直搜索:抓取某一行业的所有网站,搭建某一行业或者专题的垂直搜索引擎。
6.企业搜索:在企业搜索64体育一足球直播丨NBA中为企业整合内网和互联网的网络资源。
适用范围:
各军工单位及其他行业相关企业
典型案例:
航天科技集团某资源卫星中心