基于Scrapy框架的电影数据爬取和可视化分析

来源 :西藏科技 | 被引量 : 0次 | 上传用户:lzyrock
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
Scrapy框架是Python封装好提供的一个明星框架,可以帮助使用者更加合理,更加高效的获取数据,分析数据,利用数据来产生价值.文章讨论了 Scrapy网络爬虫框架的基本工作原理与其优点,论述了 Scrapy框架的安装方法,并利用Scrapy框架对1905电影网上的电影数据进行了爬取,得到了 801部电影数据,然后将这些数据保存到本地的MySQL数据库中.通过对内地和欧美地区的电影数据进行可视化分析,得出了电影类型(动作、爱情、喜剧、战争、动画、科幻)与评分之间的关系,以及电影上映年份(2011-2021)与评分之间的关系.结果表明:动作、战争、动画三类电影,我国内地平均评分高于欧美地区;在2011-2021年之间的大部分时间段,我国内地的电影平均评分都高于欧美地区.
其他文献
落后的卫生设施已经成为威胁公众健康以及卫生环境的最主要因素.针对这些环境卫生问题,“厕所革命”一度成为当代流行词,文章通过对拉萨市堆龙德庆区的实地调研,发现“厕所革命”的问题,找出深层次的原因,并提出相对应的对策.目前“厕所革命”的机遇与挑战并存,“厕所革命”的实施得到了广大环境主义保护者的全力支持,政府全力支持普及卫生厕所.但是“厕所革命”也面临着挑战,不足的财政资金供应和政策支持、区域发展的不平衡以及落后的审批流程等.全方位、切实有效的解决拉萨市堆龙德庆区的“厕所革命”问题,给边疆少数民族地区的“厕所
Mergers and acquisitions(M&A)are important parts of banking reform,which can increase the synergies and reduce the costs of the banks.To analyze the effect and importance of the M&A in the reform period,we measure the productivity change of China\'s ban
The article selects the panel data of 289 prefecture-level and above cities in China from 2003 to 2017,establishes simultaneous equations and uses the 3SLS estimation method to study the relationship between air pollution and economic growth.On the whole,
目的 该研究通过临床试验对藏药“其美森斯卡擦”根除和改善“胃幽门螺旋杆菌”感染症状进行疗效观察.方法 以前后对比的方法对60例胃幽门螺旋杆菌患者从药物疗效性和安全性两方面进行测评.结果 “其美森斯卡擦”不但能显著改善胃幽门螺旋杆菌带菌病人的症状及细菌感染定量上改善,而且患者在治疗前后肝肾功能检查无改变,安全性高.结论 与临床实践中以抗生素为主的联合疗法治疗HP感染相比,藏药“其美森斯卡擦”能够为广大患者提供一个既经济又实惠,而且毒副作用小的方式来治疗HP感染,并填补藏药对HP感染的临床研究这一领域空白,值
针对独立光伏储能交直流微网中光伏出力和负荷投切等易造成功率波动问题,利用铅炭电池储能系统实现微电网内部功率波动平抑和直流电压稳定.首先分析铅炭电池寿命模型及其放电特性,提出了一种通过考虑铅炭电池SOC(Stage of Charge)、协调光伏出力和交直流负荷的功率控制策略.具体根据光伏出力和负荷匹配关系,将储能系统的运行分为四种模式,通过切换控制实时调节储能系统输出功率,使微网各部件的工作状态达到动态平衡.最后,在MATLAB/Simulink中搭建光伏储能交直流微网仿真模型.仿真运行结果表明,所提控制
研究一个新的求解非线性加权互补问题的光滑算法.该算法利用一个带有权重的光滑函数,将非线性加权互补问题等价转化成一个光滑方程组,再利用牛顿法求解此方程组.在非奇异条件下,证明了算法具有全局和局部二次收敛性质.数值实验结果表明算法是非常有效的.
以淮河中上游段为研究区域,基于矢量河道数据和ArcGIS 10.2平台,对淮河两侧主要一级支流的走向特征进行了计算和分析.结果表明,淮河中上游段北侧支流的走向为南东向109°~133°,平均走向为120°;而淮河南侧支流的走向为北东向8°~50°,平均走向为28°.淮河北侧和南侧支流走向与淮河干流的夹角分别为59°、42°.通过与区域地形的对比发现,淮河两侧支流的走向与地形特征基本吻合,为较典型的顺向河.然而,淮河南侧的史河和东淝河与其他支流的走向趋势偏离较大,可能是由局地断裂活动的控制所导致的.
以河南大别山野生白头翁(Pulsatilla chinensis)为材料,选用幼叶叶片、中叶叶片、中叶叶柄等3种外植体分别与75%乙醇+2%次氯酸钠、20%过氧化氢+2%次氯酸钠进行两组正交试验,比较各因子对消毒效果的影响,以找出启动培养的最佳外植体与消毒的最佳组合.结果表明:外植体类型是影响消毒效果的最关键因素;刚由嫩绿转为绿色的中叶叶片为最佳外植体,污染率最低(7.4%),出愈率最高(88.9%),且出愈快;幼叶叶片消毒时易受伤褐变,出愈率小于中叶叶片但高于中叶叶柄;中叶叶柄污染率最高(41.7%),
DEA(data envelopment analysis)models can be divided into two groups:Radial DEA and non-radial DEA,and the latter has higher discriminatory power than the former.The range adjusted measure(RAM)is an effective and widely used non-radial DEA approach.However
According to behavioral finance theory,investor sentiment generally exists in investors\'trading activities and influences financial market.In order to investigate the interaction between investor sentiment and stock market as well as financial industry