舆情监测系统建设方案

第一篇：舆情监测系统建设方案

突发公共事件发生前、中、后均可进行舆情监测，对网络舆情进行实时关注，及时发生社会稳定的不利因素。

常态和非常态，自动搜索关注量较大的新闻和热点，通过对新闻及相关数据的挖掘、分析，及时发现社会安全隐患，及时发出预警信号，达到早发现、早报告、早处置的目的，做好社会安定防控工作。

舆情监测系统通过对热点问题和重点领域比较集中的网站信息，如：网页、论坛、博客等进行24小时监控，随时下载最新的消息和意见。下载后完成对数据格式的转换及元数据的标引。对下载本地的信息，进行初步的过滤和预处理，减少智能分析的工作量。对热点问题和重要领域实施监控，前提是必须通过人机交互建立舆情监测的知识库，用来指导智能分析的过程。对热点问题的智能分析，首先基于传统基于向量空间的特征分析技术上，对抓取的内容做分类、聚类和摘要分析，对信息完成初步的再组织。然后在监控知识库的指导下进行基于舆情的语义分析、倾向性分析，使管理者看到的民情民意更有效，更符合现实。最后将监控的结果，分别推送到不同的职能部门，供制定对策使用。

1.1 互联网舆情监控系统 1.1.1 需求分析

通过对网页、论坛、博客、新闻评论信息的深度搜索和挖掘，实时对突发公共卫生事件的媒体报道和公众舆论信息进行汇聚和统计分析，使市卫生局应急办人员能够随时了解社会公众的声音，每天自动生成舆情监测专报，上报相关领导，为领导决策提供准确、全面的信息。

1.1.2 建设方案 1.1.2.1 网络舆情抓取

自动采集网络媒体发布的网络新闻、BBS论坛信息、博客内容信息，舆情采集用户只需输入一个待采集的目标网址即可实现图文结合采集到本地。网页采集模块在互联网上不断采集新闻信息，并对这些信息统一加工过滤、自动分类，保存新闻的标题、出处、发布时间、正文、新闻相关图片等信息，经过手工配置还可以获得本条新闻的点击次数。以网络论坛BBS为代表的交互性网络站点，往往是一些突发事件的网络舆情爆发点。

1.1.2.2 网络舆情热点自动发现

对重要的热点新闻信息进行分析和追踪，对于突发事件引起的网络舆情，可以及时掌握舆情爆发点和事态。系统会根据新闻文章数及文章在各大网站和社区的传播链进行自动跟踪统计，提供不同时间段（1天、3天、7天、10天）的热点新闻。对每条热点新闻还可以查看新闻相关传播链，了解在某一时间段该热点新闻在哪些站点的传播数量。同样也提供热点帖子、热点专题等功能。

1.1.2.3 多维度关联的舆情展现

自动对每天采集的海量的、无类别的舆情进行归类，把内容相近的文档归为一类，并自动为该类生成主题词。可支持自动生成新闻专题、重大新闻事件追踪、情报的可视化分析等诸多应用。

1.1.2.4 舆情分析和统计

1、热点专题统计

热点专题总体分布、重点预警事件总分布、各类重点预警事件分布。

2、站点统计

可统计各采集站点的采集文章数、统计各论坛站点的采集文章数。

3、热点人名

系统自动抽取文章中的人名，并按该人名出现的文章次数进行统计，可查看热点人名的传播趋势。可按日期查询热点词语。

4、热点地名

系统自动抽取文章中的地名，并按该地名出现的文章次数进行统计，可查看热点地名的传播趋势。可按日期查询热点地名。

5、热点机构

系统自动抽取文章中的机构名，并按该机构名出现的文章次数进行统计，可查看热点机构的传播趋势。可按日期查询热点机构。

6、热点词语

系统自动抽取文章中的热点词语，并按该词语出现的文章次数进行统计，可查看热点词语的传播趋势。可按日期查询热点词语。1.1.2.5 舆情专报生成

根据配置的关键词信息，自动定时生成要求格式的舆情专报，提供给领导进行参考。

第二篇：云舆情监测系统

云舆情监测系统

随着网络日益的发达，网络媒体已被公认为是继报纸、广播、电视之后的“第四媒体”，网络成为反映社会舆情的主要载体之一，网络舆情的重要性凸显出来。网络舆论热点层出不穷，各种突发性事件都是通过互联网第一时间扩大传播。网络舆情信息主要来源是新闻评论、bbs、博客等，这些成为政府了解社情民意的直接渠道，也是新形势下政府的重要舆论阵地。因此，网络舆论一旦被错误地控制和引导，将成为影响社会稳定的重大隐患。

舆情监测系统在这样的环境下产生，它可以通过采集各大门户网站信息内容来知晓最新的社情民意，民众的舆论导向。

系统工作流程

采集新闻、论坛网站内容→通过监测系统网站分析、舆情分析第一时间发现敏感、热点话题→由专家学者、评论员或是新闻发言人分析报告、进行及时的舆论引导。

系统介绍

系统对所需信息进行过滤、分析、聚合和数据挖掘，以传播力和影响力作为分析指标，及时发现信息，分析并追踪传播及演变过程，并对指定重点敏感事件进行专项监测与分析。

云舆情监测系统提供对互联网信息（新闻、论坛、博客、贴吧、微博客等）实时采集、内容提取及排重；并且对获取的信息进行全面检索、主题检测、话题聚焦、相关信息推荐；按需求定制主题分类；为舆情研判提供时间趋势、传播路径、话题演化等工具，统计舆情信息，生成舆情报告。

全面实时监测网络舆情

采用定向采集为主、全网监控为辅的方式，自动对新闻（新闻跟帖、新闻评论、RSS）、论坛（回帖、点击数、回复数等）、博客、贴吧、微博客等网络媒体进行全面实时监测。智能处理舆情信息

对互联网舆情信息自动提取关键词、摘要、分类、聚类、主题检测、关联分析、情感分析。

完善的舆情监控业务

自动监测敏感信息，自动聚焦热点话题，自动追踪潜在舆情事件。可预置审核流程，逐级审核、上报舆情信息。自动探测页面删除状态，统计研判网络舆情，生成可定制舆情报告。提供对本地网站的属地化管理，支持违规网站信息统计管理。

行业特色功能

支持实现对网络舆论导向的全面掌控、效果评估。

第三篇：最新舆情监测系统采集技术分享

舆情系统原理-参考

舆情调查软件就从舆情监测系统的架构说起是：

1、舆情采集系统：

一、只要是互联网上发生的与“我”相关的舆情信息，都可以第一时间监测到，并且以最直观的方式显示出来，“一网打尽，一目了然”。监测网站类型包括：新闻、论坛、博客、贴吧、微博、电子报、搜索引擎等。

二、对于重点舆情以及负面信息通过手机短信等方式及时预警，不需要有专人值守就可以随时掌握舆情。

三、自动分析舆情信息的发展变化趋势、舆情信息的首发网站、作者、转载情况、热度变化、评估干预处理之后的效果等。

四、自动生成各种统计分析报表和舆情报告，助力舆情工作。配合相应的工作机制，可以有效提升舆情监管的质量和效率，提升舆情应对水平。

五、除了提供系统级7*24小时的运维服务，还配备专门的舆情分析师协助监测，人工预警。系统建设目标是整合互联网信息渠道，形成系统、有效的舆情监测机制。实现系统运行，监控互联网信息、新浪、腾讯等主要微博微博，对其进行实时数据采集、全网监控、分析、检索，对敏感信息进行预警，防止负面信息传播，对重大事件做出最及时的反应和相应处理建议。并对近一段时期的热点问题、敏感词句进行搜索，从而掌握网络舆情，辅助领导决策服务。

主要的门户网站，主要的报纸、主要的大型网络论坛、社区、贴吧、博客、微博。例如新浪新闻、各大报纸的电子报、天涯论坛、新浪微博、百度贴吧等。各类与我相关的以及区域内有影响力的网站。百度、谷歌、360搜索等搜索引擎。论论坛搜索，博客搜索、微博搜索等专业搜索引擎。重点网站提供的站内搜索等。

2、舆情分析系统：

分析引擎是本系统的关键组成部分。其主要作用是对采集系统采集的数据，自动进行智能分析。分析引擎的主要功能包括：自定分析舆情级别、自动生成热点、负面舆情研判、自动分类、自动生成专题、转载计算、自动抽取舆情要素和关键词、自动摘要、自动预警、自动生成统计图表等功能。例如：多瑞科舆情数据分析站系统引擎内置了政府舆情模型、企业舆情模型和垂直监控模型，这些分析模型，是在多年舆情行业中按照客户的实际需求，不断重构和完善起来的，具有良好的实际应用效果。在实际项目中，不用通过二次开发就可以全面满足政府、企业单独应用。或者通过SAAS平台完成从上到下的垂直监测需求。对于特殊的应用需要，分析引擎还支持扩展插件，用于快速完成二次开发，支持各种需求定制。

3、舆情服务平台：

主要是用户进行日常舆情管理的平台，能够及时接受舆情信息，进行一些常规的舆情管理工作。4.舆情系统原理: 全网舆情监测的手段：数据源的获取是做舆情监测的第一步，有了米才能做粥嘛。从获取的方法上有简单的取巧办法，也有复杂到需要应对各类网站难题的情况。方法大致如下： 使用搜索入口作为捷径

搜索入口有两类：一类是搜索引擎的入口，一类是网站的站内搜索。做舆情监测往往是有主题、有定向的去做，所以很容易就可以找到监测对象相关的关键字，然后利用这些关键字去各类搜索入口爬取数据。

当然也会遇到反扒的问题，例如你长时间、高频次的爬取搜索引擎的结果页面，网站的反扒策略就会被触发，让你输入验证码来核实是否是人类行为。使用搜索入口作为捷径也会带来一些好处，除了爬取门槛低，不需要自己收录各类网站信息外，另一个特别明显的好处是可验证性非常好，程序搜索跟人搜索的结果会是一致的，所以人很难验证出你获取的数据有偏颇。爬虫根据网站入口遍历爬取网站内容

第一步要规划好待爬取的网站有哪些？ 根据不同的业务场景梳理不同的网站列表，例如主题中谈到的只要监测热门的话题，这部分最容易的就是找门户类、热门类网站，爬取他们的首页推荐，做文章的聚合，这样就知道哪类是最热门的了。思路很简单，大家都关注的就是热门。至于内容网站怎么判断热门，这个是可以有反馈机制的：一类是编辑推荐；一类是用户行为点击收集，然后反馈排序到首页。

第二步是使用爬虫获取数据。爬虫怎么写是个非常大的话题，在这里不展开说明，需要提一嘴的是，爬虫是个门槛很低但是上升曲线极高的技术。难度在于：网站五花八门；反扒策略各有不同；数据获取后怎么提取到想要的内容。数据检索与聚合

数据获取下来后哪些是你关心的、哪些是垃圾噪声，需要用一些NLP处理算法来解决这些问题。这方面门槛高、难度大。首先大规模的数据如何被有效的检索使用就是个难题。比如一天收录一百万个页面（真实环境往往比这个数量级高很多），上百G的数据如何存储、如何检索都是难题。值得高兴的是业内已经有一些成熟的方案，比如使用solr或者es来做存储检索，但随着数据量的增多、增大，这些也会面临着各种问题。

通常对热门的判断逻辑是被各家网站转载、报道的多，所以使用NLP的手段来做相似性计算是必须的，业内常用的方法有Simhash或者计算相似性余弦夹角。有些场景不单单是文章相似，还需要把类似谈及的文章都做聚合，这时就需要用到一些聚类算法，例如LDA算法。从实践经验来看，聚类算法的效果良莠不齐，需要根据文本特征的情况来测试。

目前舆情监测的现状存在很多待改进的地方。首先，手工监测存在天然局限性。通过安排固定人手24小时值班，不间断地浏览目标站点并搜索目标关键词，是在缺少自动化系统时最直接也是最初级的舆情监测方式。由于受到每个人主观思想的限制，手工监测总会有观察盲区，总会有觉得不重要但事后被证明很严重的地方，且手工无法察觉到一些站点或者一些偏僻的网页内容发生改变；同时，人不是机器，长期反复监测容易导致疲劳，经常会使得该判断出来的舆情，一不留神就漏掉了。这些都会在实时性和准确性上存在很大波动。

其次是过度依赖搜索引擎。人们往往认为在网络舆情的大海里也只有搜索引擎才可能具备捞针的本领。但是，搜索引擎仍然具有不少局限性。除了搜索结果受关键词影响很大外，搜索引擎返回的结果往往来自不受任何访问限制的网站，而诸如论坛等需要登录的网站则完全被排除在外。但是网民发表意见最多的地方，恰恰是这些提供互动功能的网站。更进一步的，搜索引擎的网络爬虫具有一定的时延性，因此不能实时搜索到最新的网页更新。因此，搜索引擎不能为我们提供问题的全貌，因为它只针对关键词而不针对问题，所以谈不上全面性；搜索引擎也不能在第一时间得到我们所想要的结果，因为不仅是它的内容更新不够快，而且它也不能提供针对时效性的服务，所以谈不上及时性；搜索引擎只能在海量网页中返回另一个海量的结果，而且是以杂乱无章的形式，对于我们关心什么，它一无所知，所以它给出的结果是所有人都关心的，而非我关心的，因此也谈不上准确性。可见，我们不能完全依赖搜索引擎来监测网络舆情，需要提出全新的技术手段来获知网络舆情，并跟踪和分析舆情。

因此，要想保证舆情监测的实时性、全面性和准确性，最可靠的办法就是使用自动化的多瑞科舆情数据分析站系统舆情监测系统，依靠软件系统来消除人工方式的不足，依靠软件系统来定点的监测目标站点及整个网络，跟踪分析各个舆情主题的发展轨迹，并自动地整理生成日报/周报等报告，将舆情与政府的日常工作业务有机整合在一起.

第四篇：舆情监测系统的主要流程

舆情监控，整合互联网信息采集技术及信息智能处理技术通过对互联网海量信息自动抓取、自动分类聚类、主题检测、专题聚焦，实现用户的网络舆情监测和新闻专题追踪等信息需求，形成简报、报告、图表等分析结果，为客户全面掌握群众思想动态，做出正确舆论引导，提供分析依据。

天互云镜舆情监控系统的大致工作流程分为如下三个部分：

1.制定危机预警方案。针对各种类型的危机事件，制定比较详尽的判断标准和预警方案，以做到有所准备，一旦危机出现便有章可循、对症下药。此步骤主要是确定好监控的目标网站和过滤关键词。

2.密切关注事态发展。保持第一时间知悉事态发展，加强监测力度。这个可以通过第一时间大量采集、汇总各种互联网上的信息。

3.及时传递和沟通信息。即与舆论危机涉及的政府相关部门保持紧密沟通。建立和运用这种信息沟通机制，已经成为网络舆情管理部门的重要经验。以上海为例，无论在涉日舆情、地铁调价，还是城管打人等“网络热点舆情”处理上，各部门协同作战、相互配合、共同商议，判断危机走向，对预案进行适当修正和调整，以符合实际所需是危机应对的重要措施。

第五篇：舆情信息监测服务系统

舆情信息监测服务系统

舆情信息监测服务系统是一个高度集成的专业化数据检索和分析系统，总体上包括舆情信息采集、舆情分析引擎、舆情监测应用三个核心功能。从互联网采集新闻、论坛、博客、微博、平面媒体、微博等舆情信息，并存储到舆情数据库中，并通过舆情搜索引擎对海量的舆情数据进行实时索引。对采集的数据进行智能筛选，萃取准确的舆情信息。舆情分析引擎负责舆情数据库进行智能分析和加工。舆情服务平台把舆情数据库中经过加工处理的舆情数据发布到Web界面上并展示给客户。客户通过舆情服务平台浏览舆情信息，通过简报生产等功能完成对舆情的深度加工。整个系统结合了C/S、B/S两种不同的应用模式，并形成了优势互补。系统共分四大功能模块。分别为：信息采集功能、信息处理功能、舆情分析功能、舆情展示功能。

（1）信息采集

信息采集可自定义监测站点击监测关键词，新闻、论坛、博客、微博。结合元搜索技术（搜索引擎结果补充），确保信息全面性。

定向抓取源：云腾舆情监测分析系统收录7000个监测网站，包含站点数约为15万个站点，对这些站点中的新闻，论坛，博客等实现全面的抓取，同时支持对主流新闻网页分页、评论内容的采集以及对评论点击数、回帖数的抓取。

搜索引擎结果：云腾智能爬虫系统还可以自动跟踪多个搜索引擎的搜索结果，对监测数据进行补充。

自定义URL来源采集频率：除系统常规监测范围外，还可以自定义需要重点监测的信

息，客户可以设定采集的栏目、URL、更新时间、扫描间隔等，以便及时发现目标信息源的最新变化，并以最快的速度将个性化关注内容采集到本地。

（2）信息处理

垃圾信息过滤：基于机器学习的垃圾过滤机制可以自动过滤广告、水贴等无效垃圾信息。

智能去重：采用“文章相似度技术”，根据文档内容的匹配度确定是否重复、去重的级别；根据不同的需要特点分为：URL去重、标题去重、正文去重三个级别。

HTML内容提取：采用自主知识产权的HTML网页文本萃取技术自动提取任意复杂网页中的标题、内容、作者、发布时间等信息，自动跟踪文章分页；对于论坛信息自动分析主贴、回帖以及作者等信息。

快照保存：对于每个经过抓取和处理的网页，系统都存有一个纯文本的备份，方便客户快速浏览，也方便客户查看被删除的文章或帖子。

（3）舆情分析

文章权重计算：综合网站重要程度、文章出现位置、主题相关度、危机程度、点击回复次数、传播数量以及客户自定义规则等复杂参数计算的文章权重，加上基于自然语言处理技术的训练系统，能准确分析出重要舆情信息。

传播轨迹分析：系统可以对于一段时间（自定义范围）内的舆情信息走势进行分析展示，同时可以以不同的载体如论坛、新闻等分类呈现。

自动分类与情感分析：将自然语言处理技术（NLP）应用于舆情监测领域，对信息精准分类并自动做情感分析。

相似文章聚类去重：基于自然语言处理技术，系统根据文章内容相似程度技术相似文章，方便获取同一内容文章的所有传播网站。采用“文章相似性技术”，根据文档内容的匹配程

度确定是否重复、去重的级别；根据不同的需要特点分为：URL去重、标题去重、正文去重三个级别。在详细信息列表里，分为“过滤”与“不过滤”，展示相关文章；媒体覆盖分析：系统可以对于监测信息的媒体类型进行展示，同时对于信息的主要传播媒体自动识别，进行综合分析，以图表呈现。

（4）舆情展示

在舆情信息呈现上，信息监测平台支持多种互联网终端设备和接入方式。除了传统的移动设备Web网页接入方式，还可以通过短信、邮件对信息进行及时推送，同时还可以通过移动设备客户端（Android客户端、iOS客户端、平板电脑客户端等 如图）进行信息交互。

WEB客户界面：基于云计算模式，客户可以使用WEB浏览器随时登陆系统，在客户界面对舆情状况进行全面的了解。客户界面包含了如舆情走势、舆情详细信息、最新微博信息、载体覆盖情况等主要内容，并以列表以及图表展示等可视化方式呈现，方便客户查看。导航栏清晰明了，方便我们中心查看各种分类；实时搜索功能，可以自定义搜索条件查看系统抓取的最新监测信息；支持关键词组分类、媒体类型分类、信息属性分类查看。

舆情预警：预警级别显示，显示当日舆情级别，方便客户整体把握，同时呈现预警信息走势和预警信息列表。建立多个舆情指标，对于突飞舆情自动发出舆情信号，在最短时间内通过邮件方式通知客户，辅助进行舆情干预和引导。

舆情分析报告：根据舆情分析引擎处理后的结果库生产报告，客户可通过浏览器浏览，并且可以导出生成为Word、PDF等格式的本地文档。方便客户对不同时段的重点和热点以及对事件舆情数据的把握。