集成 MicroStrategy 与 IBM Power Systems 上运行的 Hortonworks Data Platform (HDP)

2018-02-07 10:16:46来源:http://www.ibm.com/developerworks/cn/linux/l-microstrategy-h作者:IBM developerWorks中国人点击

分享
第七城市
简介

MicroStrategy 提供了一个名为 MicroStrategy Desktop 的商业智能 (BI) 解决方案。MicroStrategy Desktop 提供了自助分析功能,通过内置工具和仪表板来帮助探索和可视化数据。MicroStrategy 支持访问 Hadoop 环境中的数据。我们执行了验证测试,验证 MicroStrategy 与基于 IBM® POWER8® 处理器的服务器上的 Hortonworks Data Platform (HDP) 集成的能力,以及可视化其中的专有数据的能力。本文将概述已完成的验证测试。


目标

对 MicroStrategy 执行验证测试的关键目的是:


配置 MicroStrategy 来连接到在基于 IBM POWER8 处理器的服务器上运行的 HDP 2.6。
提取并可视化在基于 POWER8 处理器的服务器上运行的 HDP 的 Hadoop 分布式文件系统 (HDFS) 中的样本数据。
测试环境

本节将列出测试环境中使用的 MicroStrategy 和 HDP 的高级组件。


MicroStrategy
MicroStrategy Personal Edition 10.6.0
Hortonworks ODBC Driver for Apache Hive v2.1.5
运行 Microsoft Windows 7 的笔记本电脑
Hortonworks Data Platform
HDP V2.6
Red Hat Enterprise Linux V7.2
最低限度资源:8 个虚拟处理器、24 GB 内存、50 GB 磁盘空间
IBM PowerKVM™
基于 IBM POWER8 处理器的服务器
部署架构

部署架构非常简单。将 MicroStrategy 和 Hortonworks ODBC 驱动程序安装在一个 Windows 7 系统上并运行。将 HDP 安装在一个 POWER8 服务器上并运行。配置 MicroStrategy 和 ODBC 驱动程序来连接到 HDP。通过 MicroStrategy Desktop 访问 HDP 中的数据并将其可视化。在一个单节点 HDP 环境和一个多节点 HDP 集群中运行测试。


安装和配置

本节将介绍一个 HDP 集群和 MicroStrategy 软件的安装和配置。


安装并配置 HDP 集群

以下是安装并配置 HDP 集群的主要步骤:


按照 HDP on Power Systems 安装指南(参见)来安装并配置 HDP 集群。
登录到 Ambari 服务器,并确保所有服务都在运行。
通过 Ambari 监控和管理 HDP 集群、Hadoop 和相关服务。
设置测试数据和 Hive 表

下载 MovieLens 和驱动程序测试数据,将该数据复制到 HDFS,并创建 Hive 表。


从 此处 下载 MovieLens 数据集(参见中的引用)
按照 此处 的操作说明,将 MovieLens 数据集数据复制到 HDFS,并设置 Hive 外部表。使用相同的 hive 用户 ID。
从 此处 的 Driver Behavior 数据文件中下载驱动程序数据文件。
将驱动程序数据复制到 HDFS。
# su – hive
# hadoop fs -mkdir -p /user/hive/dataset/drivers
# hadoop fs -copyFromLocal /home/np/u0014213/Data/truck_event_text_partition.csv /user/hive/dataset/drivers
# hadoop fs -copyFromLocal /home/np/u0014213/Data/drivers.csv /user/hive/dataset/drivers
# hadoop fs -ls /user/hive/dataset/drivers
Found 2 items
-rw-r--r--3 hive hdfs 2043 2017-05-21 06:30 /user/hive/dataset/drivers/drivers.csv
-rw-r--r--3 hive hdfs2272077 2017-05-21 06:30 /user/hive/dataset/drivers/truck_event_text_partition.csv
为驱动程序数据创建 Hive 表。
# su – hive
# hive
hive>create database trucks;
hive> use trucks;

hive> create table drivers
(driverId int,
name string,
ssn bigint,
location string,
certified string,
wageplan string)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
STORED AS TEXTFILE
TBLPROPERTIES("skip.header.line.count"="1");

hive> create table truck_events
(driverId int,
truckId int,
eventTime string,
eventType string,
longitude double,
latitude double,
eventKey string,
correlationId bigint,
driverName string,
routeId int,
routeName string)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
STORED AS TEXTFILE
TBLPROPERTIES("skip.header.line.count"="1");

hive> show tables;
OK
drivers
truck_events
将数据从 HDFS 中的文件加载到这些表中。
hive> LOAD DATA INPATH '/user/hive/dataset/drivers/truck_event_text_partition.csv' overwrite into
table truck_events;
hive> LOAD DATA INPATH '/user/hive/dataset/drivers/drivers.csv' overwrite into table drivers;
交叉检查这些表,确保在这些表上运行查询可获得这些数据。
安装并配置 Hortonworks ODBC 驱动程序

以下是安装并配置 ODBC 驱动程序的步骤:


将 Hortonworks ODBC 驱动程序下载到 Windows 7 上(参见获得相关下载网站)。
安装并配置 ODBC 驱动程序。按照部分列出的指南中的操作说明进行操作。
安装并配置 MicroStrategy

以下是安装并配置 MicroStrategy 的步骤:


转到 MicroStrategy 下载页(参见),将 Microstrategy Desktop 下载到 Windows 7 上。
按照提示将它安装在 Windows 7 系统中。
将 HDP 连接到 MicroStrategy

以下是配置 HDP 与 MicroStrategy 之间的连接的步骤。


从 Windows 启动 ODBC Administrator,为 Hortonworks Hive 添加一个数据源,如图 1 所示。 图 1. Hortonworks Hive ODBC Driver 设置


在 Windows 7 系统中,启动 MicroStrategy Desktop 并配置与 HDP 的连接,如图 2 所示。 图 2. Main MicroStrategy Desktop


选择数据库和表,如图 3 所示。 图 3. 选择数据库和表


添加数据源,提供 Hive 数据源细节,输入 Hive 数据库密码,如图 4 所示。 图 4. 指定必要的值


选择 Hive 数据库和表,并加载数据,以便将数据从 Hive 摄入到 MicroStrategy 中,如图 5 所示。数据现在已载入 MicroStrategy 中,如图 6 所示。现在您已准备好开始分析数据。 图 5. 将 Hive 数据载入 MicroStrategy 中

图 6. 载入 MicroStrategy 中的数据的预览图


在 MicroStrategy 中执行可视化和分析

使用 MicroStrategy Desktop,选择用于执行可视化和分析的数据列。请注意,该数据现在位于内存中,所以分析的是内存中的数据。


图 7-9 给出了使用来自 Driver Behavior 数据库的 truck_events 数据所测试的分析和可视化示例。


图 7. MicroStrategy truck_events 可视化示例 1


图 8. MicroStrategy truck_events 可视化示例 2


图 9. MicroStrategy truck_events 可视化示例 3


图 10-12 给出了使用来自 MovieLens 数据集的电影评分数据所测试的分析和可视化示例。


图 10. MicroStrategy 电影评分数据可视化示例 1


图 11. MicroStrategy 电影评分数据可视化示例 2


图 12. MicroStrategy 电影评分数据可视化示例 4


参考资料
Hortonworks Data Platform:为 IBM Power Systems 安装 Apache Ambari
Hortonworks ODBC Driver for Apache Hive v2.1.5 下载网页
Hortonworks ODBC 安装和配置指南
MicroStrategy 网站
MicroStrategy Desktop 下载网页
Driver Behavior 数据库
针对 Hortonworks on IBM Power Systems 的 ISV 解决方案生态系统
MovieLens 数据集
MovieLens 数据集引用:
F.Maxwell Harper and Joseph A. Konstan.2015.The MovieLens Datasets: History and Context.ACM Transactions on Interactive Intelligent Systems (TiiS) 5, 4, Article 19 (December 2015), 19 pages.DOI=http://dx.doi.org/10.1145/2827872

第七城市

最新文章

123

最新摄影

闪念基因

微信扫一扫

第七城市微信公众平台