KAP助力微軟Power BI實現海量數據交互式分析

作者：何京珂

編輯：Sammi

Power BI是微軟推出的行業領先的BI可視化工具，其擁有本地及雲端多樣的解決方案，與微軟產品無縫整合，快速部署等特點令其在本地及雲端都擁有廣泛的應用。Power BI支持多樣的數據源，包括關係型數據庫SQL Server，Azure雲上 的Blob存儲以及HDInsight Hive等。然而隨著企業信息化進程的加深，數據收集門檻的下降，越來越多的企業都麵臨著超大數據交互式分析的挑戰。在海量數據規模下以上數據源在連接Power BI進行數據分析時經常出現查詢響應慢，界麵卡頓，數據裝載時間長，高並發情況下查詢性能急劇下降等問題，性能瓶頸的問題愈發嚴重。

Kyligence Analytics Platform (簡稱KAP) 是運行在大數據架構上的企業級分布式數據引擎，支持PB級別數據的秒級快速查詢響應。KAP支持本地及Azure 雲上部署，支持從Hive和 Kafka讀取源數據，並使用MapReduce或Spark框架對數據進行預計算，然後將預計算的結果（即Cube）存儲在HBase或KyStorage中（KyStorage是一種專門針對KAP優化的列式存儲引擎）。查詢語句直接運行在預計算的Cube之上，從而極大加速了查詢的響應速度。KAP支持標準SQL語法，提供JDBC、ODBC、REST等協議接口，可以和主流BI工具無縫集成，實現海量數據上的交互式分析。

Power BI對接數據源時，由於不同數據源查詢能力區別很大，往往隻能采用Import模式，將數據導入到分析師的本地桌麵或虛機，這對於海量數據場景完全不適用。針對這個問題，Kyligence開發了針對PowerBI的DirectQuery Plugin，配套使用Kyligence ODBC Driver，用戶無需再導入數據，而是實時將查詢語句發送給KAP後端處理，充分利用KAP的加速能力，極大提高了分析的效率和靈活度。

KAP在提供Cube預計算的同時也為一些預計算沒能覆蓋到的自助式OLAP分析提供了查詢下壓的功能，即Cube無法滿足的查詢將會被下壓到其他SQL引擎，這包括SQL on Hadoop係統，或者關係型數據庫。目前Hive，Spark Sql或SQL Server的用戶，都可以遷移到KAP上，獲得更好的數據加速。在KAP進行OLAP交互式分析同時，還可以沿用原有的查詢引擎作為查詢下壓的解決方案，以補充當報表查詢不能被Cube滿足時的查詢場景，在沿用當前的查詢引擎的同時，又能利用KAP進行查詢加速。

分析師可在本地部署的Power BI Desktop連接本地或雲端KAP，進行Direct Query連接，享受KAP的OLAP能力帶來的分析加速。下麵我們將具體介紹如何使用Power BI連接KAP進行數據分析。

配置Kyligence ODBC Driver

我們推薦Power BI用戶使用Kyligence ODBC Driver來連接KAP，搭配使用KAP Direct Query插件可以實現Power BI與 KAP的Direct Query連接模式。

在 Kyligence Account頁麵申請下載 Kyligence ODBC 驅動程序，並運行安裝到你的Power BI Desktop所在的環境。

32 位應用程序：請安裝使用 kyligence_odbc.x86.exe

64 位應用程序：請安裝使用 kyligence_odbc.x64.exe

安裝Power BI DirectQuery 插件

複製DirectQuery插件文件到C:\Users\<user_name>\Documents\Microsoft Power BI Desktop\Custom Connectors文件夾，如果沒有Custom Connectors這個文件夾，可以手動創建一個。

打開Power BI Desktop中的Options and settings中的Options。

在Preview Features中勾選Custom data connectors。

重啟Power BI Desktop

使用Power BI Desktop連接KAP

啟動您已經安裝的Power BI Desktop，單擊Get data按鈕，點擊more在Database類別中選中Kyligence Analytics Platform。

在連接字符串文本框中輸入所需數據庫的對應信息。連接方式請注意選擇DirectQuery。

輸入賬號密碼進行身份驗證。

下一步Power BI將會列出項目中所有的表，您可以根據需要選擇要連接的表。

現在你可以進一步使用Power BI進行可視化分析，首先對需要連接的表進行建模，請注意如果希望報表的查詢能夠擊中Cube，模型的定義需要與KAP中的一致。

模型建立完成，現在你可以回到報表頁麵開始可視化分析了。

欲了解更多使用Power BI對接KAP的詳情，請參見KAP用戶手冊的相關章節。