对大数据的认识和学业规划

一颗种子从萌芽到成熟需要经历一个漫长的过程，一项新技术的成长也一样，它首先经历爆发期，而后是狂热期，再历经一番优化进入协同期，再到最后步入成熟期。由于科技产品和成果的不断涌现，新思想不断发展，迫切需要新技术的变革，此时大数据技术因其价值大受到了重视。

大数据是指一种在摘取信息、保存数据、操持材料、剖析方面超出传统数据库的规模的数据会合。其数据规模庞大、数据流转快捷、数据类型多元和价值密度低。其特点可能会引起社会上，经济上以及生活上的变革。大数据时代已经到来。为了进一步了解大数据，对大数据导论中的大数据处理、数据统计与分析、数据可视化进行分析。

大数据处理的五种方法：数据采集。网站常常通过爬虫技术或公开API来进行数据采集；数据清洗。数据清洗包括处理不完整的数据，噪声数据，冗余的数据三大方法。我们可以忽略整个元组或填写残缺值来处理不完整的数据，通过分箱、平滑处理、回归和聚类处理噪声数据，最后通过重复过滤、条件过滤来处理冗余的数据；数据变换。他是将数据由一种表现形式转换为另一种表现形式的方法，也可以将属性值发生变化；数据集成。我们可以通过实体识别来避免集成时出现错误，来应对数据的多样性和结构的复杂性；通过精简数据量采取简单的数据表现形式代替原数据来进行数据归约。

大数据统计分析方法有聚类分析，关联分析与异常分析。为了有效的利用数据，我们可以借助K-Means算法、KNN算法、ID3算法对数据进行充分的挖掘；数据可视化将数据库中每一个数据项切分构成图像，同时，以多维数据的形式表达出数据的各个属性值，从不同的维度对数据进行察看，从而更深入的观察和分析数据。如今数据可视化被充分运用到广泛领域，将抽象化的数据，真实的表现出来，也必然跟随着时代的发展而不断充实。

数据可视化将数据的数值空间坐标和不同位置数据之间的联系等通过采集，处理，变换等方式映射为可视化视觉通道的不同要素，从用户数据的可视化结果中提取信息知识和灵感帮助用户从复杂的理念与流程中克服不同类型的显示环境，带来可扩充性和可视化，大大丰富了用户的体验。

大数据优势多多，但也会产生安全与隐私问题。为了解决好大数据安全问题，我们需要一定的管理安全对策以及安全防护关键技术，还有政策法规来加强大数据技术的安全。

未来大数据该如何发展，需要我们去探索。但可以肯定的是大数据技术必将推动发展个性化的教育，人才培养意识也会逐渐凸显；必将推动金融业，制造业和旅游业等企业的发展，应对风险和挑战，创新企业运行战略；必将推动科学研究精准顺利的进行，城市交通有序发展和人民娱乐生活水平的提高。

数据科学与大数据技术不仅限于一个行业，它涉及的范围很广，未来预见性很强，如今大数据处于成长时期，大数据新技术的出现便利了我们的生活，但是新技术的成熟往往需要经过一个磨合期，因此我们对待新技术要充满信心。新技术的出现，必将加快淘汰落后企业，推动时代的发展，我们对新技术的态度决定了我们的未来。最后让我们带上大数据新技术的信心走向未来吧。