基于Spark的舆情情感大数据分析集成方法

来源 :计算机科学 | 被引量 : 0次 | 上传用户:lsdkj
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着移动互联技术的不断发展,社交媒体成为了公众分享观点和抒发情感的主要平台,在重大社会事件下对社交媒体文本进行情感分析能够有效监控舆情。针对现有中文社交媒体情感分析算法的准确性能和运行效率较低的问题,提出了一种基于Spark分布式系统的集成情感大数据分析方法(Spark Feature Weighted Stacking,S-FWS)。该方法首先基于Jieba库预分词和PMI关联度完成新词发现;然后考虑词语重要度混合提取文本特征,并使用Lasso进行特征选择;最后改进传统Stacking框架忽略特征重要度
其他文献
受仪器噪声干扰,高光谱图像(Hyperspectral Image, HSI)往往会受到高斯噪声的破坏,严重影响图像后续处理的精度,因此图像去噪是一项重要的预处理工作。此外,由于高光谱数据维度极高,因此算法效率成为模型应用能力的重要指标。为实现高效HSI去噪,文中首先将高维高光谱图像投影到低维光谱子空间上,从中学习一个正交基矩阵,然后结合高光谱的空间非局部相似性与全局光谱低秩性对低维子空间进行去噪
近年来,基于深度学习模型的图像融合方法备受关注。而传统的深度学习模型通常需要耗时长和复杂的训练过程,并且涉及参数众多。针对这些问题,文中提出了一种基于简单的深度学习模型PCANet的非下采样剪切波(Non-Subsanmpled Shearlet Transform, NSST)域多聚焦图像融合方法。首先,利用多聚焦图像训练两阶段PCANet,用于提取图像特征。然后,对输入源图像进行NSST分解,
现如今,在高等学校中采用线上线下混合式教学平台来辅助教学这一措施已成为一种普遍趋势.尤其是在地处发达国家的高校中,信息化教学平台的开发与应用在促进学习、鼓励互动方
随着虚拟社区在网络用户中的普及,虚拟社区群已经成为一个小型社会,可通过用户浏览所留下的“虚拟痕迹”和发布的用户生成内容提炼出与用户相关的隐私类型资源。根据隐私类型资源自身的特性,可将其分类为数据资源、信息资源和知识资源,三者构成了用户的数据信息知识与智慧图谱(DIKW图谱)。虚拟社区中的隐私类型资源有4个流通过程,即隐私资源的感知、存储、传输和处理;4个过程分别由3个参与方(用户、AI系统和访问者)单独或合作完成,3个参与方所拥有的隐私权包括知情权、参与权、遗忘权和监督权。通过明确3个参与方在4个流通过程
随着智慧城市的不断发展,基于交通卡口自动获取车辆行车轨迹,为基于轨迹的车辆行为分析奠定了基础。但是,因为卡口的位置固定,车辆轨迹表示为卡口序列,所以文中首先将卡口和轨迹分别映射为单词和句子,应用语句的语义相似性方法计算轨迹相似性;然后在轨迹相似性的基础上提出轨迹熵,用轨迹熵度量某个车辆所有轨迹的规律性;最后基于轨迹熵分析车辆的行为特征,如轨迹熵低的车辆意味着行车特别有规律,很可能是通勤车。为便于用户进行深入分析,文中进一步提供了包含多联动视图的可视分析系统,允许用户观察和比较车辆轨迹和轨迹熵,结合聚类分析
人工智能(Artificial Intelligence,AI)治理是解决AI挑战的主要手段。AI治理的主要目的是充分发挥人工智能带来的优势和有效降低人工智能导致的风险,并通过整合技术、法律、政策、标准、伦理、道德、安全、经济、社会等多个方面的影响因素,最终建设负责任的人工智能(Responsible Artificial Intelligence,RAI)。AI治理可以从智能个体治理、智能群体治理以及人机合作与共生系统的治理等3个方面,分技术层、伦理层、社会及法律层等3个层面进行。AI治理的主要关键技术
随着安防需求的日益增长,人群异常行为检测已经成为计算机视觉的研究热点。人群异常行为检测旨在对监控视频中行人的行为进行建模和分析,区分出人群中的正常行为和异常行为,及时发现灾难和意外事件。文中对基于深度学习的人群异常行为检测算法进行了梳理总结。首先,针对人群异常行为检测任务及其现状进行介绍;其次,重点探讨卷积神经网络、自编码网络和生成对抗网络在人群异常行为检测任务中的研究进展;然后,列举该领域常用的
【摘要】 当前,随着微课逐渐被引入到课堂教学中,信息技术与学科教学融合的紧密程度得以不断增强,微课在初中信息技术教学中也得到广泛应用。实践表明,微课在初中信息技术教学中能够有效激发学生学习兴趣、提升学生自主学习能力。进一步地讲,在农村初中信息技术教学中应用微课,可以缩小城乡信息技术教育差距、提高信息技术教育资源配置效率、有效改善教学方式并提升教学效果。然而,微课在农村初中信息技术课程的应用中也面
内陆湖泊水华现象的频繁爆发,严重影响着地表水环境安全,严重阻碍了我国的生态文明建设。充分发挥合成孔径雷达(Synthetic Aperture Radar,SAR)遥感技术全天时、全天候的优势,可实现大尺度、周期性的水华识别与监测工作,对于地表水生态环境的保护与监管具有重大的现实意义。立足于SAR遥感目标识别技术的研究与应用,文中提出了一种基于特征优化的水华识别方法。该方法基于对水华SAR图像特征的深入分析与提取,应用ReliefF特征优化算法对全部的22个水华特征进行筛选与优化,得到包含10个特征的最优
文中提出一种融合深度典型相关分析和对抗学习的跨模态检索方法(DCCA-ACMR),该方法提高了无标签样本的利用率,能够学习到更有力的特征投影模型,进而提升了跨模态检索准确率。具体而言,在DCGAN框架下:1)在图像与文本两个单模态的表示层间增加深度典型相关分析约束,构建图文特征投影模型,充分挖掘样本对的语义关联性;2)以图文特征投影模型作为生成器,以模态特征分类模型作为判别器共同构成图文跨模态检索模型;3)利用有标签样本和无标签样本,在生成器和判别器的相互对抗中学习到样本的公共子空间表示。在Wikiped