“大数据架构”用哪种框架更为合适?，大数据之大数据参考架构BDRA | 深圳市城市大数据中心—

专业大数据挖掘分析——助力小微企业发现价值

电话+V： 152079-09430 ，欢迎咨询大数据可视化分析框架结构是什么类型，[大数据挖掘与分析]，[大数据应用场景建设]，[大数据接口共享]，[大数据去除冗余]，[大数据精准推送]，[大数据广告价值]，[助力小微企业成长更上台阶]

一、“大数据架构”用哪种框架更为合适?

个完整的大数据平台应该提供离线计算、即席查询、实时计算、实时查询这几个方面的功能。
hadoop、spark、storm无论哪一个，单独不可能完成上面的所有功能。

hadoop+spark+hive是一个很不错的选择.hadoop的HDFS毋庸置疑是分布式文件系统的解决方案，解决存储问题；hadoopmapreduce、hive、sparkapplication、sparkSQL解决的是离线计算和即席查询的问题；sparkstreaming解决的是实时计算问题；另外，还需要HBase或者Redis等NOSQL技术来解决实时查询的问题。

除了这些，大数据平台中必不可少的需要任务调度系统和数据交换工具；
任务调度系统解决所有大数据平台中的任务调度与监控；数据交换工具解决其他数据源与HDFS之间的数据传输，比如：数据库到HDFS、HDFS到数据库等等。关于大数据平台的架构技术文章，可搜索"lxw的大数据田地"，里面有很多。

二、如何让大数据可视化?

大数据，指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

　　为什么会产生大数据？为什么要使用大数据呢？在这里给大家再通俗的解释一下：

　　起初，数据量很少的时代，通过表格工具、mysql等关系型数据库（二维表数据库，数据逐行插入）就能够解决数据存储的问题。

　　但是，随着互联网的飞速发展，产品以及用户的激增，产生了海量的数据。考虑到长足发展，公司会对产品、用户相关的原生数据、埋点数据等进行分析，传统的关系型数据库就无法满足需要，只能通过行式、分布式等数据库来存储这些数据（HBASE、hive等，能够实现集群化，及分配到多台主机上同时计算）。

　　认识数据可视化

　　有了数据之后，对数据分析就是成了最关键的环节，海量的数据让用户通过逐条查看是不可行的，图像化才是有效的解决途径。少量的数据可以通过表格工具生成图表、tou视表的方式进行分析，但是大数据的分析就需要借助专门的可视化工具了，常见的可视化工具包括：Tableau、BDP、Davinci、QuickBI、有数等。

　　大部分商用数据可视化工具的计算、图表展示虽然比较强大，但是却无法做到实时数据快速生成，数据也多为push（固定的范围）的方式，有时候数据还需要二次加工满足可视化产品的规则（商用产品多考虑通用性，无法适用于所有企业的数据规范）。

　　除此之外，现在很多图表插件的开源化（如：Echart、GoogleChart），以及行业内对数据安全性等的考虑，越来越多的公司也开始进行数据可视化的私有化部署。

　　数据可视化的实现

　　数据可视化产品（系统）的结构框架主要分为三层：数据存储层、数据计算层、数据展示层。

　　1.数据存储层

　　数据存储层在开头已经和大家说过了，在数据可视化产品（系统）中，既支持常规数据（MySQL、CSV等）可视化，也支持大数据（hive、HBASE等）的可视化，满足日常分析人员定性、定量的分析。

　　在考虑到数据安全的因素，数据存储还会与权限管理相结合，实现不同角色的人员只能访问指定的数据（未来有机会再分享）。

　　2.数据计算层

　　这里的计算不是平时所说的聚合、排序、分组等计算，解释之前我们先了解一下数据分析的工作流程吧：

　　产品/运营人员提出数据需求，如“APP一周留存”；

　　分析师确认需求后需要明确本次分析需要的字段及分析方式；

　　数仓人员提供整理后的表格（数据模型，多张表join后合成的中间表）；

　　分析师基于数据模型进行可视化分析。

　　数仓提供的数据模型主要分为增量、全量数据，不能直接对某个较长范围的数据进行分析，举个例子1月1日、1月2日两天都产生了数据，增量、全量的数据存储方式效果如下：

　　以上述举例的“APP一周留存”，就需要每天计算一下隔日留存，才能够基于每天的隔日留存计算出一周的留存。分析师每天会有很多任务，大量的基础计算（如每天的隔日留存）就可让电脑自动完成，这里就需要依赖调度功能（你可以理解成一个自动运行公式的工具）。

　　通过以上内容，我们可以得到多表关联、定时计算就是计算层的主要功能。

　　3.数据展示层

　　数据展示层分为两部分：

　　一部分是对看图人的可视化，看图人包括：产品、运营、高层主管等。根据需求方的要求，将数据用适合的图表呈现，比如，趋势相关用折线图、数据明细用表格、留存用漏斗图……

　　另一部分是对作图人的可视化，作图人主要是分析师。让分析师用可视化的操作，来代替尽可能多的SQL语句输入。常见的可视化工具中，可以快捷得将数据模型中的字段拖拽到维度/度量（可理解为X、Y轴）中。

　　通过可视化产品（系统）结构学习，我们不难看出，实现数据可视化的操作过程包括：数据连接（存储）、制作数据模型（计算）、制作图表（展示）。

大数据之大数据参考架构BDRA

首发2023-12-1112:58·新生代農民工99

大数据参考架构BDRA代表大数据价值链的两个维度组织展开：信息价值链（水平轴）和信息技术价值链（垂直轴）。

信息价值链表现大数据作为一种数据科学方法对从数据到知识的处理过程中所实现的信息流价值。信息价值链的核心价值通过数据收集、预处理、分析、可视化和访问等活动实现。

信息技术价值链表现大数据作为一种新兴的数据应用范式对信息技术产生的新需求所带来的价值。信息技术价值链的核心价值通过为大数据应用提供存放和运行大数据的网络、基础设施就、平台、应用工具以及其他信息技术服务实现。

大数据应用提供者位于两个价值链的交叉点上，大数据分析及其实现为两个价值链上的大数据利益相关者提供特定价值。

BDRA提供了一个构件层级分类体系，用于描述BDRA中的逻辑构件以及定义逻辑构件的分类。

BDRA中的逻辑构件被划分为3个层级，从高到低依次为角色、活动和组件。最顶层的逻辑构件是代表大数据系统存在的5个角色，包括系统协调者、数据提供者、大数据应用提供者、大数据框架提供者、数据消费者5个角色。另外，两个非常重要的逻辑构件是安全和隐私以及管理，它们为大数据系统的5个角色提供服务和功能。第二层级的逻辑构件是每个角色执行的活动。第三层级的逻辑构件是执行每个活动需要的功能组件。

该架构可以用来表示由多个大数据系统组成的堆叠式或链式系统，其中一个系统的数据消费者可以作为后面一个系统的数据提供者。

该架构持各种商业环境，包括紧密集成的企业系统和松散耦合的垂直行业，有助于理解大数据系统如何补充并有别于已有的分析、商业智能、数据库等传统的数据应用系统。

【GSFAI BANK FINANCING】尊享直接对接老板

电话+V： 152079-09430

专注于为大数据运营推广及打包交易配套流程服务方案。为企业及个人客户提供高性价比的数据确权、数交所交易及应用场景内外共享解决方案，解决小微企业难题