|
|
知识路径： > 电子商务新技术与新应用 > 大数据 > 大数据相关概念 >
|
被考次数：3次
被考频率：中频率
总体答错率：44%
知识难度系数： 
|
由 软考在线 用户真实做题大数据统计生成
|
|
相关知识点：16个
|
|
|
|
|
|
|
大数据的应用和技术是在互联网快速发展中诞生的，起点可追溯到2000年前后。当时互联网网页爆发式增长，每天新增约700万个网页，到2000年底全球网页数达到40亿，用户检索信息越来越不方便。谷歌等公司率先建立了覆盖数十亿网页的索引库，开始提供较为精确的搜索服务，大大提升了人们使用互联网的效率，这是大数据应用的起点。当时搜索引擎要存储和处理的数据，不仅数量之大前所未有，而且以非结构化数据为主，传统技术无法应对。为此，谷歌提出了一套以分布式为特征的全新技术体系，即后来陆续公开的分布式文件系统（Google File System，GFS）、分布式并行计算（MapReduce）和分布式数据库（BigTable）等技术，以较低的成本实现了之前技术无法达到的规模。这些技术奠定了当前大数据技术的基础，可以认为是大数据技术的源头。
|
|
|
|
伴随着互联网产业的崛起，这种创新的海量数据处理技术在电子商务、定向广告、智能推荐、社交网络等方面得到应用，取得巨大的商业成功。这启发全社会开始重新审视数据的巨大价值，于是金融、电信等拥有大量数据的行业开始尝试这种新的理念和技术，取得初步成效。与此同时，业界也在不断对谷歌提出的技术体系进行扩展，使之能在更多的场景下使用。2011年，麦肯锡、世界经济论坛等知名机构对这种数据驱动的创新进行了研究总结，随即在全世界兴起了一股大数据热潮。
|
|
|
|
虽然大数据已经成为全社会热议的话题，但至今“大数据”尚无公认的统一定义。我们认为，认识大数据要把握“资源、技术、应用”三个层次。大数据是具有体量大、结构多样、时效强等特征的数据；处理大数据需采用新型计算架构和智能算法等新技术；大数据的应用强调以新的理念应用于辅助决策、发现新的知识，更强调在线闭环的业务流程优化。因此可以说，大数据不仅“大”，而且“新”，是新资源、新工具和新应用的综合体。
|
|
|
|
|
|
业界通常用Volume、Variety、Value、Velocity这4个V来概括大数据的特点：
|
|
|
|
（1）数据体量巨大（Volume）。IDC研究表明，数字领域存在着1.8万亿吉字节的数据。企业数据正在以55%的速度逐年增长。实体世界中，数以百万计的数据采集传感器被嵌入到各种设备中，在数字化世界中，消费者每天的生活（通信、上网浏览、购物、分享、搜索）都在产生着数量庞大的数据。
|
|
|
|
（2）数据类型繁多（Variety）。数据可分为结构化数据、半结构化数据和非结构化数据。相对于以往便于存储的以文本为主的结构化数据，音频、视频、图片、地理位置信息等类型的非结构化数据量占比达到了80%，并在逐步提升，有用信息的提取难度不断增大。
|
|
|
|
（3）价值密度低（Value）。价值密度的高低与数据总量的大小成反比。以视频为例，一部1小时的视频，在连续不间断监控过程中，可能有用的数据仅仅只有一两秒。
|
|
|
|
（4）时效性高（Velocity）。这是大数据区分于传统数据挖掘最显著的特征。数据的价值除了与数据规模相关，还与数据处理周期成正比关系。也就是，数据处理的速度越快、越及时，其价值越大，发挥的效能越大。
|
|
|
