计算机大数据信息处理技术研究

来源 :锦绣·下旬刊 | 被引量 : 0次 | 上传用户:lmwtz7x8f0
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
  摘 要:在信息时代,数据本身可以称为资产和生产资料,而数据的有效利用是实现其价值的重要途径。计算机大数据信息处理技术为数据价值的挖掘提供了基础支撑,通过分析和处理使数据作为资产和生产资料的价值被充分挖掘,从而实现更高形式的数据资产管理。本文主要论述了计算机大数据技术及信息处理技术,分析了信息时代大数据信息处理技术面临的机遇和挑战,探讨了大数据信息处理的关键技术。旨在为数据资料价值的挖掘和大数据信息处理技术的应用提供一些参考思路,以促进大数据信息处理技术的推广和应用。
  关键词:计算机;大数据信息处理技术;数据资料;应用
  引言
  生活在信息时代,我国随时随地的被各种各样的信息所包围。这些独立的信息看似毫无价值,但实际上潜藏着丰富的价值。各类独立的信息每天以惊人的速度增长,且数据种类和来源趋向于多样化形式,这种数据快速增长的状态和数据内容的海量化推动了大数据及其处理技术的发展。数据本身作为一种资产和生产资料,其利用价值毋庸置疑。海量的数据经过采集、收集、整合、分析后其潜在价值被挖掘出来,利用价值得到提升,这就是大数据信息处理技术的魅力所在。大数据信息處理技术是信息化时代社会资源充分利用、资源高效管理的重要技术,大数据信息处理技术的推广应用对信息时代优化资产管理有着重要的作用。研究计算机大数据信息处理技术对于了解其优势和处理技术,推广大数据处理技术有着重要的意义。
  一、大数据技术
  (一)定义
  大数据旨在规定的时间内应用相关软件或工具对信息内容进行抓取、采集、管理、处理后形成的数据集合[1]。
  (二)特征
  大数据的明显特征是数量巨大、数据种类和来源多样化、分析处理速度快、价值密度低、商业价值高。
  (三)构成
  大数据分为结构化数据、非结构化数据、半结构化数据等。结构化数据具有固定的结构,如学生信息表,它有固定的名称、ID、电话、地址等,一般存储于专用的结构化数据库中。非结构化数据无法用固定的结构表示,如网页信息、声音信息、视频信息、图像信息、文本文件信息等,一般是以整条记录的形式存储在数据库中的。半结构化数据具有一定的结构和一定的灵活性,如HTML、XML,存储时根据数据记录的大小和特点选择合适的存储方式[2]。
  二、大数据信息处理技术
  (一)定义
  大数据信息处理技术指应用特定的大数据处理流程对数据资源进行采集、分析和处理,将处理结果转化为可视化的图表的方式。经过数据统计与分析后结果以图表的形式呈现,其结果清晰明了、简洁直观,能够一目了然的观察到已挖掘的数据价值。
  (二)特征
  大数据信息处理技术的内容规模和体量较大,数据类型、格式呈现多样化特点,信息处理具有时效性和准确性,信息处理结果包含巨大的商业价值。从大数据结构特点分析,大数据信息处理技术数据关系复杂,处理难度大,处理过程需要应用大数据处理的硬件设备、软件平台、集群分布式存储数据库及计算结构完成海量数据的采集、存储、计算、分析及处理。从大数据信息处理的相应能力上看,大数据信息处理具有名副其实的准实时计算特征。
  (三)优势
  大数据信息处理在各个领域及企业竞争之间的应用优势尤为明显。大部分企业将大数据信息处理技术作为高效利用数据价值的重要举措。应用大数据信息处理技术可以提高数据资源的回收利用率,挖掘数据信息的潜在商业价值。目前,大数据在企业竞争之间的应用优势表现如下:(1)提高生产力的优势。一些企业应用大数据处理技术对项目计划的可行性进行分析,通过扩大数据项目来提高生产能力,为提高生产提供了可行性参考依据。(2)改变营销策略的优势。数据盈利是分析企业营销方式,指导营销决策的重要依据。企业应用大数据信息处理技术对一定周期内数据盈利进行精确分析,从而分析客户的忠诚度,为企业更加有商业价值的营销决策提供参考。(3)预测发展方向,指导任务目标制定的优势。大数据信息处理技术目前已经涉及各个领域、各个行业及不同企业之间,市场规模在不断的扩大化。大数据信息处理技术在行业之间的竞争与日俱增,这位大数据信息处理技术的应用提供了更广阔的发展空间。企业通过综合分析行业及产业内的发展情况,对比企业自身的发展条件,有助于预测行业内的发展方向和企业在该行业内的发展优势、发展不足之处,通过分析找到问题的关键,从而指导企业制定任务目标,帮助企业找到在该行业内正确的发展方向。
  (四)处理流程
  大数据信息处理的流程总共分为四步,依次是:数据采集→数据导入及清洗处理→数据统计分析与挖掘→结果可视化。大数据信息处理流程的第一步是应用ETL工具将各类数据抽取到相应的文件及数据库中;第二步是将采集好的数据进行清洗和预处理,之后再进行整合、去重、异常化处理、数据归一处理等,最后以分布式结构的方式将预处理好的数据存储到分布式数据库中;第三步是将预处理好的数据采用SPSS工具、结构算法模型等进行统计分析,并设定数据分析的主题,经过各类算法计算后深入挖掘数据价值,使数据起到预测的效果;第四步是结果的可视化呈现,这些以图表形式呈现的简洁直观、清洗明了,无论是大数据分析专家,还是普通用户,都能根据可视化图表了解到数据资料表现的内在价值,其结果有着较高的接受率[3]。
  三、大数据信息处理技术发展面临的机遇与挑战
  (一)面临的机遇
  大数据信息处理技术对于挖掘数据资源的潜在价值有着重要的意义。在信息时代,信息数据的市场价值不断扩大,企业可应用数据资源来了解客户、分析市场,为企业营销和发展提供决策依据。随着大数据信息处理在企业业务中的应用程度加深,大数据信息处理技术有了更大的发展空间。企业为提高竞争优势应用大数据信息处理技术对竞争对手或市场进行分析,以此来提高自身的竞争优势,这就是大数据信息处理技术发展的新机遇。   (二)面临的挑战
  目前,计算机大数据信息处理技术面临的最大挑战就是网络信息安全隐患。网络信息安全隐患是一直伴随着计算机网络技术发展的一个问题,该问题具体表现为大数据信息存储失真、信息真假难辨、信息病毒、信息泄漏等问题。对于大数据信息处理而言,失真信息、虚假信息、病毒信息、信息泄漏等都会影响大数据信息处理的效率、质量,最终影响信息结果的决策作用。企业在应用大数据处理技术分析市场和竞争对手时,信息泄漏将会给企业造成严重的经济损失、名誉损失及业务决策损失等,这是大数据信息处理技术发展面临的巨大挑战。
  四、大数据信息处理技术
  (一)基础技术
  大数据信息处理技术基础技术包括分布式计算技术、分布式文件系统技术、分布式数据库技术、数据库与数据仓库技术、云计算虚拟化技术。它们发挥各自的优势,确保大数据信息处理过程中数据采集加工、数据存储、信息安全以及信息分析的有效性和安全性,为数据资源管理提供了强有力的技术基础。
  1.分布式计算技术
  分布式计算技术是相对于传统的集中式计算技术而言的。这种数据计算的优势在于将大数据分割为若干小块,采用分布式节点计算模式进行计算,最终再讲计算接故宫进行合并,以得到统一的数据结论。如双十一不同地区消费者习惯的统计,灭国加州大学伯克利分校通过互联网传输信息,发动世界世界各地的志愿者对所一定的数据进行计算,最終合并分析结果,这就是分布式计算[4]。
  2.分布式文件系统技术
  分布式文件系统技术指将数据分散在不同的独立设备上,系统结构为可扩产结构,此时多仁爱服务器共同分担数据存储的负荷,提高了系统运行的可靠性、稳定性。该技术确保了系统结构扩展的可行性。在大数据信息处理方面,应用元数据管理技术、系统高可扩展技术、存储层级内的优化技术、负载存储优化技术,确保了太服务器同时运行时信息处理的高效性,减低了大数据存储处理的负荷。
  3.分布式数据库技术
  分布式数据库技术的核心思想史将集中式数据库中存储的数据分散到多个数据库中,利用网络节点连接主机与各个数据库,从而却把数据存储的完整性和分布计算的高效性。该技术的特点在于高可扩展性、高并发性、高可用性,有助于提高数据存储容量、扩大用户响应规模、加强数据备份。
  4.数据库与数据仓库技术
  数据库与数据仓库技术都面向的是数据存储。数据库存储的是数据集合,数据仓库存储的是具有面向主题的、集成性较高的、相对稳定的、能够梵音历史变化的数据集合。从数据存储的范围来看,数据仓库存储技术的存储范围小于数据库,数据仓库主要为数据的管理决策提供依据。在设计上,数据库需要避免数据冗余的问题,主要目的是为了方便和高效的存储数据。数据仓库色应重视主题域的设计,目的是为了支持数据的分析与决策。
  5.云计算与虚拟化技术
  云计算技术是基于云网络、互联网而形成的一种可扩展的虚拟化资源。云计算技术的实现由共享服务、应用软件、存储器、服务器、网络等资源共同提供。供应商通过对数据的管理实现与用户的交易,用户通过付费来获取大数据资源。这种虚拟化技术有KVM虚拟机提供解决方案。云计算的特点是CPU虚拟化、内存虚拟化、I/O虚拟化。就大数据信息处理技术而言,起到核心作用的是虚拟化技术,而云计算则是应用虚拟化技术实现对大数据的统计和分析。
  (二)信息采集及加工技术
  大数据信息处理技术应用的准确性与信息采集加工的准确性有着直接的关联。信息采集和加工的目的是为了提高基础信息的真实性和有效性,选择更有价值的和更加符合用户需求的信息导入计算机数据库,并对采集的信息进行分类,最后在传递给用户,这有助于提高用户的满意度[5]。
  (三)信息存储技术
  大数据信息存储工作时信息处理的前提条件。常见的信息类型包括图片、音频、视频、文字等多种形式,这种多样化的信息类型对计算机信息存储能力提出了更高的要求。信息存储技术首先要满足信息多样化存储的需求,其次要提高计算机分类存储的能力,再者要提高重复信息合并的能力。通过提升信息存储技术,避免信息冗余,提高大数据信息处理的效率。
  (四)信息安全技术
  在信息时代,信息的透明化已经不足为奇。造成信息流失和透明化的原因较多,其中信息管理安全系数较差是影响信息泄漏的重要原因之一。随着大数据技术的提升,信息资源潜在的价值越来越被企业所重视,因此提高大数据信息存储的安全性是大数据信息处理技术发展的必要前提。特别是一些核心信息需要加强信息安全管理。为此,企业必须要提升核心信息的加密能力,采用加密技术、防火墙技术、数字验证技术等对数据库加强安全管理,确保信息的安全性[6]。
  (五)信息分析技术
  数据信息通过采集、录入等存储在不同的数据库中,再由主机根据大数据信息处理的需求调取数据,完成对不同数据库中同一面向的数据的整合分析,深入挖掘数据资料的潜在价值。在数据分析层,Mabout、Spark、Storm等技术主要服务于数据计算,而Echart、Superset等主要服务于数据结果的可视化,Hsdoop软件则为大数据信息处理技术的集成提供了条件。它集合大数据不同阶段的计算技术,确保了数据综合分析的有效性。
  结语
  综上所述,计算机大数据信息处理技术在信息化时代面临着全新的机遇和挑战。大数据爆炸式增长为大数据信息处理技术提供了广阔的发展空间,同时也因为数据内容多样化、数据来源复杂化的特征,大数据信息处理中信息的安全管理面临着更加严峻的市场考验。一些大数据信息代表着企业的核心,核心资产的泄漏严重影响着企业的发展。大数据信息处理技术在确保数据资产价格深入挖掘的同时,还要确保信息的安全性,提高大数据处理的信息加密功能,通过综合应用大数据信息处理的基础技术、信息采集加工技术、信息存储技术、信息安全技术、信息分析技术等,加强对大数据信息的安全管理和综合处理分析,提高大数据处理的安全性和信息分析的有效性。唯有抓住机遇,积极应对挑战,应用大数据信息处理技术来加强企业信息的管理,企业才能在大数据信息时代保持发展活力,与时俱进,持续向前。
  参考文献
  [1]邵志国.计算机大数据信息处理技术研究[J].信息与电脑(理论版),2018(23):9-10.
  [2]余美华.大数据背景下的计算机信息处理技术分析[J].山东工业技术,2019(06):148.
  [3]杜玺伦.大数据时代下计算机信息处理技术研究[J].计算机产品与流通,2019(07):142.
  [4]贾睿.计算机大数据信息处理技术研究[J].中国新通信,2019,21(15):63.
  [5]王春驹.“大数据”时代的计算机信息处理技术研究[J].通讯世界,2016(06):92-94.
  [6]陈张荣.“大数据”时代的计算机信息处理技术研究[J].黑龙江生态工程职业学院学报,2016(03):23-25.
  作者简介:
  雷琳 (1982-)女(汉族),重庆,大本,副教授,主要研究方向:计算机基础、数据库、算法
其他文献
摘 要:大型生产连锁集团公司以设备台账和产出作为定员核定依据因不同子分公司受地理环境、经济发展、历史沿革等因素影响,定员模型已不能满足企业实际需要,通过标杆定员模型的研究,创建以实际用工总量作为总包,通过劳动定员测算辅以生产过程管控数据形成标杆定员,为集团下各子分公司间无差异用工配置提供了丈量的工具。  一、综合专业标杆定员模型设计  公司平均用工效率=∑(公司(劳动测算定员+劳动定员增量))/∑
期刊
摘 要:目前,我国石油能源开采水平不管提高,在石油工程建设过程中做好项目管理工作与机制完善能够有助于现场改各项任务的有序进行。文章重要对石油工程项目管理工作进行分析,并结合当前环境探讨完善项目管理机制的措施方法。  关键词:石油工程;工程项目;项目管理;管理机制  引言  石油工程项目的建设有一定的繁杂性与难度,在具体施工建设时容易出现突发状况,因此,在保证工程项目建设质量的基础上,更要做好项目建
期刊
摘 要:在现代矿区土地规划工作过程中,通过运用GIS技术能够进一步提升矿区土地空间布局的科学性,从而为土地规划评价和利用提供更加有力的依据,因此GIS教师在土地规划评价工作中的运用愈来愈广泛。基于此,本文对GIS的矿区土地损毁程度评价展开了分析,旨在给同行业工作人员提供一些参考与借鉴。  关键词:GIS;矿区;土地损毁;评价  从当前我国土地利用实际情况来说,土地资源较少,采取集约化和节约化利用模
期刊
摘 要:由于城市化和工业化的快速发展促使了电力需求提高,所以为适应现代化建设的进程,我国必须对电力进行大量的输送。高压输电线路在电力系统运行中的主要作用是运输,因此高压输电线路的高安全性和高稳定性对电力传输的高效性具有重要的影响。近年来我国高压输电线路的增加和广泛应用对高压输电线路的安全性提出了更高的要求,论文指出做好线路的施工、熟练掌握高压输电线路的关键施工技术,是电力系统运行稳定性的保障。  
期刊
长期在外求学,见过很多地方的月亮,有南方的,有北方的,有满月,有弦月,有娥眉月,有残月等。虽“江月年年望相似”,但每次看月亮时感情却是不同的!  小时候只学过李白的《静夜思》,每次望月时想起“举头望明月,低头思故乡”都不明白为什么“望明月”就要“思故乡”呢?不就是一个大白盘吗?有什么好看的?  直到初中去县里读书,才有点明白青莲居士的情感。在一次中秋节时,晚上有点失眠,睁开眼时看到“月光入户”,便
期刊
摘 要:随着经济的不断快速发展与进步,企业和单位中的政治思想工作所发挥的作用越来越重要,做好政治思想工作是企业增强活力的重要环节。然而,当今社会的政治思想工作存在着许多问题,这些问题的出现会阻碍企业和单位发展,这就需要根据政工工作具体问题提出改善的有效策略。通过对政工工作的不断探索与研究,从而增强企业的工作活力,促进企业的可持续稳定发展。基于此,本文首先从三个方面简要分析了政治思想工作所出现的问题
期刊
摘 要:篮球是一项综合性运动,在比赛中不仅考验球员的身体素质和基本功,还考验了球员的心理素质,是否具有一个良好的心理素质将会直接影响到假动作的质量。通过假动作能够有效迷惑对手,让球员在防守上出现错觉,从而达到进攻的目的。文章通过下文首先概述分析了篮球比赛中应用假动作的心理调节的重要性;其次着重分析了篮球比赛中应用假动作的运动感觉与平衡感的方法;最后分析了篮球比赛中应用假动作的思维内容。  关键词:
期刊
摘 要:随着我国经济的快速发展,人们的生活水平有了很大的提升,在生产和生活中人们对电力的需求不断增加,使电力系统的运行负荷在不断增加,所以要提高电力工程的运行效率。在电力工程中电气自动化技术是一个非常重要的技术,可以确保整体效率和水平得到很大的提升,减少电力系统的运行压力,确保电力系统更加安全稳定的运行,因此电力自动化技术得到了非常广泛的应用。基于此,本文主要对电力工程中的电力自动化技术应用进行了
期刊
摘 要:“生产发展、生活宽裕、乡风文明、村容整洁、管理民主”,这既是中央对新农村建设的要求,也是其总体目标。这20个字包含的内容极为丰富,涉及农村政治、经济、文化、社会管理等方方面面。但归根结底就是“服务”和“参与”。  关键词:激发;综合;思考  作为村级“两委”服务群众的重要平台之一——村级综合服务中心,绝不能让成为一种摆设,成为走过场的形式,本文以完善村级综合服务为主线,以群众实际需求为出发
期刊
摘 要:大豆是我国经济农作物中的一种,在农业生产中具有不可忽视的地位。并且在人们的生活中广泛地被使用。譬如大豆在生产中被加工成农业食品、饲料等,分析大豆栽培技术,增长我国的经济,促进我国的地域农业的发展。为了提高大豆的栽培量,必须加强大豆的栽培技术,合理预防大豆栽培中产生的病虫害,不断提高大豆的栽培产量,提高我国的经济发展。  关键词:大豆种植技术;病虫害防治;栽培管理  1 大豆种植技术分析  
期刊