相对于传统的舆情信息搜集及人工整理汇总,舆情监测平台具有自动收集,自动识别,自动分析的特点。
基于上述特点,舆情监控平台需要基于哪些关键的技术来实现呢?
以五节数据监控系统为例,主要通过以下5大核心技术实现对网络公开数据的监测:
1.大数据采集、数据挖掘技术:
网络舆情系统依靠强大的大数据计算能力实现对全网公开数据实时采集,清洗、分析,检索,保证信息的实时性,全面性和准确性。
2.NLP算法技术:
自然语言处理(NLP,Natural Language Processing) 是研究人与计算机交互的语言问题的一门学科。通过NLP自然语言算法技术,针对采集到的信息进行情感分析,信息分类,观点抽取等信息处理,以便用户在使用过程中可以轻松检索出需要的信息类型。
3.知识图谱技术:
在图书情报界称为知识域可视化或知识领域映射地图,是显示知识发展进程与结构关系的一系列各种不同的图形,用可视化技术描述知识资源及其载体,挖掘、分析、构建、绘制和显示知识及它们之间的相互联系。
知识图谱,是通过将应用数学、图形学、信息可视化技术、信息科学等学科的理论与方法与计量学引文分析、共现分析等方法结合,并利用可视化的图谱形象地展示学科的核心结构、发展历史、前沿领域以及整体知识架构达到多学科融合目的的现代理论。
通过知识图谱识别主体,进行信息关联及分析,方便信息的关联和分析。
4.OCR技术
OCR技术目的是要把影像作一个转换,使影像内的图形继续保存、有表格则表格内资料及影像内的文字,一律变成计算机文字,使能达到影像资料的储存量减少、识别出的文字可再使用及分析。
通过对图像的处理,可以对图片信息进行分类和检索。用户即可通过指定的关键词来搜索相应的全网图片信息内容。
5.数据分析算法模型
针对不同行业的用户,我们开发了不同行业不同类型的算法模型,可以针对行业和特定客户的需求进行定制化的分析和处理。以帮助客户完成特定的需求。满足高度定制化的需求。