大数据分析平台开发

    行内人士皆知，大数据分析平台的搭建有利于帮助企业构建统一的数据存储和数据处理资源，围绕企业业务开展大数据应用建设，最终形成面向服务化的数据资产。今天我们就以奕环科技的“大数据平台”为例，透过平台所包含的系统模块来看看其应该具备哪些实际功能？

    1、数据标准子系统：包含检查规则、检查执行、工作流引擎、分析报告、元数据管理、规则配置、日志管理及系统设置等功能。

   2、数据门户子系统：包含搜索及查询、移动端APP、接口及服务、数据展现、安全管理、权限管理等功能。

    3、数据采集子系统：包含ETL、爬虫、ESB、适配器管理、数据预处理、数据加载及集群管理等功能。

    4、数据计算子系统：包含数据存储、离线计算、实时计算、内存计算、数据仓库、统计模型、分析模型、挖掘模型、机器学习及集群管理等功能。

    5、数据分析与报表工具：包含即席查询、多维分析、报表系统、仪表盘、问题发现及门户管理等功能。

    6、数据服务子系统：包含服务管理、接入管理、服务日志及监控管理等功能。

    7、服务管理工具：包含任务管理、调度管理、日志管理及配置管理等功能。

    8、安装部署工具：包含资源检查、模块安装、更新分发、安装日志等功能。

    9、平台管理子系统：包含集群管理、运维管理、元数据管理、日志管理、消息管理、配置管理及系统设置等功能。

    如上所述，平台的每个子系统所包含的功能各不相同，而正是这些功能各不相同的模块组合成了有实际使用价值的大数据分析平台，实现了对各类业务的前瞻性预测及分析，为用户提供了统一的决策分析支持，从而更好地彰显出平台本身的价值。