大数据平台是什么?什么时候需要大数据平台?，大数据平台是什么?什么时候需要大数据平台?如何建立大数据平台?

专业SEO运营推广——帮助您的产品找到客户

电话+V： 152079-09430 ，欢迎咨询大数据平台项目描述，[专业SEO运营]，[SEO搜索引擎排名]，[SEO免费推广平台]，[SEO免费推广产品]，[SEO免费推广网站]，[让你的产品找到客户流量入口销量起飞]

一、大数据平台是什么?什么时候需要大数据平台?

最近我和我的团队一直在做一些大数据相关的工作，我来回答一下这个问题。

首先是第一个问题，大数据平台是什么？

当我们说到一个平台的时候，我们的意识里面往往就知道，这里面肯定不止一样东西，它是很多东西的一个集合，大数据平台也是一样，首先如果用几个字来描述它的话就是“它是一个数据解决方案”，进一步解析就是：大数据平台它是一个以分布式存储为基础，集成了数据获取，数据清洗，数据流转，数据分析，数据输出等工具集的一个数据解决方案。它的核心使命是提供数据存储和数据分析服务给目标客户。

那么它的核心组成部分是什么呢？实现的方法有多种，我就举一个最典型的大数据平台结构作为说明。

目前无论是国内或者国外，应用最广泛也是最典型的大数据平台是以Hadoop为核心进行功能延伸的生态系统，业内把它叫做Hadoop生态，它开源并且免费使用，它长什么样子？它的面目基本上是这样：

从上图我们得知，它就是一套以Hadoop分布式文件系统为核心的数据处理工具集，目的是为了向用户提供数据分析服务的一个集成解决方案。

什么时候需要大数据平台？

简单的说就是当数据总量大到传统单机数据解决方面没办法存储，分析，计算时就要用到大数据平台。

举例说，家用电脑目前一般是配置2TB大小的硬盘(存储容量约等于于18个128G的iPhone)，一般几万块钱的商用服务器容量大约在32TB容量，高端的单机存储器可以达到100TB以上，但是数据量如果再大比如上跳一个数量级1000TB，也就是1PB左右，单机系统就无能为力了，不单是存储容量无能为力，计算能力也无法应对了，因为我们知道，单台计算机的性能是有极限的，数据太多磁盘检索读取的速度就会变慢，CPU和内存压力也会变大，这个时候需要完成一个数据分析任务就要耗时很长，那么这个时候大数据平台就派上用场了，大数据平台的一个特性就是多台计算机组成一个集群集体并行作战，并且理论上可以无限拓展。

希望我的回答能够帮助到您，有任何问题请在留言区留言，也欢迎在线咨询

二、大数据技术平台建设实践

[2015年技术沙龙分享]

因工作内容需要，在2010年初公司规划要建设大数据基础平台，以解决公司多业务多系统支持的混乱局面。因为有之前SNS平台的建设经验，深知一个“平台”的建设不是一个简单的项目，需要投入大量的人力、时间、资源，需要有良好的架构设计能力以及大数据技术的实践储备，是一个持续建设的过程，同时对一个中小企业而言，面临着“大”数据的处理挑战。

一句话定义
互联网信息采集挖掘服务
扩展定义
互联网在线智能计算平台，面向公司内部产品研发和运营团队、第三方应用开发商及独立开发者，在研发政府、媒体、企业、财经、网站等领域的应用时，提供信息、情报、知识、行为、运算等方面的关键支持；

平台整体分为4大部分，同时也成立了4个团队，数据采集、数据存储、数据挖掘、数据接口。

问题1：实时数据在处理过程有延时，时效性不高，业务要求数据处理的及时性在秒级响应
问题2：批处理数据方式效率不高，mfs本质还是文件遍历的方式，无法并行计算
问题3：关联数据的存储和分析

主要做了两个改动：

（1）加入分布式的消息中间件MQ
实时系统原来的轮循模式改为发布订阅模式
解耦流式数据处理和批数据处理模式
（2）引入分布式存储以及并行计算Hadoop生态体系
存储规模增大，写入速度更高
批处理采用MapReduce并行计算方式大幅提升历史数据效率

随着业界的技术发展以及公司业务的持续性发展，大数据平台也逐步引入了更多的开源技术体系

（1）技术方面

（2）业务方面

大数据平台的建设需要成熟的技术团队和公司大量成本的投入，在平台的建设过程中从业务发展、成本投入、技术方案上需要综合考虑，建议在有强烈的业务驱动力下再去投入，公司在平台的建设过程遇中到的各种技术问题很多，包括文中设计的整体架构随着业务的发展仍然面临着新的问题，后续再逐步分享。

三、大数据平台是什么?什么时候需要大数据平台?如何建立大数据平台?

1、大数据平台目前业界也没有统一的定义，但一般情况下，使用了Hadoop、Spark、Storm、Flink等这些分布式的实时或者离线计算框架，建立计算集群，并在上面运行各种计算任务，这就是通常理解上的大数据平台。

2、至于一家企业什么时候需要大数据平台，这取决于这么几方面：

业务需求：业务需求引导是必须的，不能光为了建平台而建平台，建立平台的最终目的是为了服务业务，让业务发展的更好。企业内大数据平台一般是信息管理部门、IT部门承建并承接一些数据需求，业务部门其实不关心你是不是用大数据平台还是用Oracle数据库计算出来的，那么这怎么评估呢？其实主要还是数据量，比如业务部门是不是偶尔会提“去年全年的XX怎么样？”、“去年全年的销售按照渠道、产品类别几个维度进行细分”、“需要用户行为数据、订单数据结合来做用户画像”、“需要给用户打标签”、“设备传感器的数据都有了，需要做实时的故障预测”等等，在承接各种业务需求的时候，是不是偶尔会出现任务运行很久的情况？会不会出现有些需求根本难以实现，因为计算量太大的问题？这就说明，业务上已经有大数据的诉求了，技术上并没有满足。

说到业务需求，企业内的信息管理部门也要注意，自己不能光承担需求，更重要的是要深入业务，理解业务，本部门对技术了解，如果对业务也多了解一下，就能够利用技术优势做到“想业务部门所未想”，实现比业务部门能提出更好的需求，并且能用大数据技术实现这个需求，这时候，信息管理部门的价值就更突出了，在企业内就再也不是一个承接需求或者背锅的部门了。

数据量与计算量：涉及到数据量的评估，也包括2方面：

现有的情况：现在有多少数据？都存储在哪里？业务部门提的各种指标需求，每天需要多长时间计算完成？每天什么时候完成昨天经营情况的数据更新？

增长的情况：每天、每周、每个月的数据增量有多少？按照这个增速，现有的配置还能满足多长时间的需求？

以上2个方面需要综合评估，现有数据量较多或者增长较快，那就需要做大数据平台的打算了。

先进性：本企业在技术上的布局是否需要一定前瞻性？需要早在数据量不太大的时候就进行技术探索？亦或是未来会上马新项目，新项目会产生大量数据。

公有云与私有云的选择：如果企业对公有云比较接受，其实可以考虑直接数据上公有云，公有云在国内主要就是阿里云、腾讯云、百度云等，其中阿里云的技术最为成熟，此外还有亚马逊的AWS等，但这里说的是搭建自己的大数据平台，就不深入展开了。

3、如何搭建大数据平台

建设一个大数据平台不是一朝一夕能完成的，不是下载安装几个开源组件那么简单。

涉及到：

技术层面：如何进行系统架构设计？集群资源如何评估？需要哪些组件？Hadoop、Spark、Tez、Storm、Flink，这些组件有什么区别？它们之间如何有机的组合起来？

团队层面：现有的技术团队配比如何？有没有人力搭建并且运维这个平台？有没有能力运营好这个平台？

对于非常重视主营业