信息的爆炸式增长带来了大数据时代,如何从冰冷的网络数据中解读出情感信息成为了自然语言处理推动人工智能发展的关键。情感分析能区分积极和消极情感,以快速了解大众对于某事或某物的态度。但是网络数据具有庞大的数据体量和复杂的数据结构,现有的情感分析算法在分析这些数据时的效果往往不太理想。冗长数据难以提取有效关键词,传统特征提取算法对于权值的把握不太准确,过时数据计算平台的效率低下,一般的情感分析算法在准确率上不高。针对上述问题,首先改进并完善数据预处理方案,将文本中冗余的词分成非法词和无影响词两个部分。将这两部分筛除之后,文本数据量的减少让分析速度提高不少,余下的关键词也能更好的代表文本的情感。然后将程度副词和类别离散度加入到传统特征提取算法的权值计算中,提出了改进的特征提取算法TF-IDF-Dis,Dis表示关键词的离散度。程度副词将其修饰关键词的权值提高1.1倍,类别离散度体现了每个关键词在积极或者消极文本中的不同重要程度,使得此关键词在特征提取时有更好的表现。相比较于传统的TF-IDF算法,TF-IDF-Dis算法使得DT算法的准确率提高了10%,SVM算法的准确率提高了8%。在10000条数据的计算任务中,此算法的运算时间仅仅增加了21.154毫秒。AdaBoost是一个迭代算法,决策树算法经过迭代之后能够有效提高分类效果,这一点从GBDT算法中就可以看出,而SVM算法基于结构风险最小化的技术使其在所有单一分类算法中具有最佳的分类性能和泛化能力,所以将这两个算法作为AdaBoost的基础算法,提出了一种改进的集成情感分析算法AdaBoost-DS,DS表示DT和SVM。此算法使用基于内存技术的Spark计算平台,在运算效率上远高于基于磁盘技术的其他平台,Spark平台的机器学习模块简化了算法的构建,使得开发过程更加高效。通过对Kaggle网站中100000条评论数据的实验,相比较其他单一算法和集成算法,此算法在分类准确率上分别提高了8%和6%;相比较于Hadoop,Spark在时间上节省了287.116秒。根据上述情感分析算法,设计并实现了情感分析系统,能方便快捷的对评论、短信等进行情感分类,表现出了良好的效果。