【Fabric】Microsoft Fabricとは？～実際に使ってPower BIレポートを作成してみた！～

この記事では「Microsoft Fabric」とは何かを簡単にお話し、Fabricを実際に使ってOneDriveのデータから、Power BIレポートを作成してみる方法を紹介します。

Youtube動画で見たい方は、こちらからどうぞ！

Microsoft Fabricとは？

Microsoft Fabricの概要

Microsoft Fabricはあらゆるデータを統合し、ビッグデータ分析や、機械学習、リアルタイムデータ監視等ができるSaaSサービスです。

あらゆるデータは「OneDrive」のデータ版である「OneLake」で統合できます。

OneLakeでは、AmazonやGoogle等他社のサービスに格納したデータへも、ショートカット機能を利用することで、データの複製や移動をすることなく、1か所にまとめて分析することができます。

Power BIと何が違うのか？

Microsoft Fabricの機能のざっくりとしたイメージとしては「Power BIサービスに、Azure Synapse Analyticsの機能が統合されたもの」と考えると分かりやすいです。

これまでPower BIを使ったビッグデータ分析をする場合、一つの選択として「Azure Synapse Analytics（PaaSサービス）」と、「Power BI（SaaS）」の連携がありました。

Azure Synapse Analyticsを使うと、大規模なデータのETL処理（データの取得、データ変換、ストレージに格納する処理）ができます。

そして加工済みデータを格納したAzure上のデータストアにPower BIから接続し、レポート作成や分析等を行うことができました。

今回「Azure Synapse Analytic」の機能がPower BIサービスに統合され、Microsoft FabricというSaaSサービスでビッグデータ分析や機械学習などもできるようになりました。

エクスペリエンスの概要

続いて簡単に、Microsoft Fabricのコンポーネント（＝エクスペリエンス）について説明します。

データファクトリ

「データファクトリ」は、データフローを作成し、大規模なデータの移動や、データ変換処理を実行できます。

データフローはほぼ、Power Queryと同様の操作で使えるので、Power BIユーザーは比較的馴染みやすいと思います。

またパイプラインを作成し、データのコピーや、データフローの更新、ループや条件などのロジックを作成することができます。

データエンジニアリング

「データエンジニアリング」では、「レイクハウス」というデータを格納できるデータストアを作成できます。

レイクハウスに格納したデータは、Apache Sparkという大規模データを処理するためのフレームワークを使い、Python、SQL、R言語等を利用し、データ変換やデータ分析、機械学習等に使うことができます。

またPower BIユーザーは、レイクハウスのデータから「セマンティックモデル（Power BIのデータモデル）」を作成し、レポート作成することができます。

データウェアハウジング

「Data Warehouse」は一言でいうと、大体SQL Serverの機能を提供しています。

CSV等の構造化データを格納でき、T-SQL（SQLのような言語）でクエリを実行することもできます。

データストアの選択

データストアの選択については、Microsoftの公式ページで紹介されています。

データ量

100GB以下のデータであれば「Power BIデータマート」、それ以上のデータであれば「データウェアハウス」、「レイクハウス」、「KQLデータベース」のいずれかを使います。

データの種類

CSVのような構造化データのみであれば「データウェアハウス」が使えますが、jsonのような半構造化データや、画像ファイルのような非構造化データを含む場合、「レイクハウス」か、「KQLデータベース」になります。

「KQLデータベース」はリアルタイム分析データの格納に適しているようです。

使用する言語

「データウェアハウス」はSQLでデータ操作ができますが、PythonやR言語を使い、機械学習もしたい場合等は「レイクハウス」を使います。

このように、データ量や、データの種類、利用用途、開発者の得意な言語等に合わせて、データストアを選択できます。

データサイエンス、リアルタイム分析、Data Activator

残りのエクスペリエンスは、ざっと以下のような機能を提供しているようです。

Microsoft Fabricでレポート作成してみる！

今回試してみること

今回のデモでは「データファクトリ」、「データエンジニアリング」、「Power BI」を使ってみました！

データストアは「レイクハウス」を使います。

全体的な構成としては、以下のような感じです。

データエンジニアリング：レイクハウスを作る

最初に、データを格納する「レイクハウス」を作成します。

１．まずはFabricを開き、Fabric用のワークスペースを新規に作成します。

※Fabricのワークスペースには、Fabricコンテンツというマークが表示されます

２．左下の「Power BI」アイコンをクリックすると、ここから利用するエクスペリエンスを選択できるので、「Data Engineering」を選択します。

３．「レイクハウス」をクリックし、任意の名前で作成します。

しばらくすると、レイクハウスが作成されます。

レイクハウスは「テーブル」と「Files」に分かれていて、色々なデータを格納することができます。

４．右上に「SQLエンドポイントが正常に作成されました！」と表示されたら準備完了です。

データファクトリー：データフロー（Gen2）を作成

次に、OneDriveからデータを取得し、データ変換後に、レイクハウスに格納するための「データフロー（Gen2）」を作成します。

１．先ほど作成したレイクハウスを開き「データを取得」から「データフローGen2」をクリックします。

Power Queryの画面が開くので、これまで使っていたPower Queryと同様の操作で、データを取得、変換していきます。

今回は、ChatGPTで架空の家計簿データを作成し、CSVファイルで保存しました。

CSVファイルは毎月出力され、OneDriveに保存されているとします。

※中身はすべてダミーデータです

２．Power Queryで「データを取得」から、OneDriveからデータを取得します。

３．OneDriveのデータは「SharePointフォルダ」を指定して取得できます。

（Power Queryの操作は省略します）

４．Power Queryでデータ変換後、クエリをどこにデータを同期するか設定します。

今回は「レイクハウス」に同期するので、ギアアイコンから設定を確認します。

５．「Lakehouse」を選択し、次へをクリックします。

６．「新しいテーブル」を選択し、同期するワークスペース、レイクハウスを選択し、次へをクリックします。

７．データを追加する場合は「アペンド」、データを置換する場合は「置換」を選択します。（今回は置換します）

８．列マッピングで適切なソース、データ型が設定されていることを確認し「設定の保存」をクリックします。

９．左上でDataflowの名称を変更して「公開」をクリックします。

１０．しばらくデータフローの更新が走りますので、完了するまで待ちます。

これで、データフローGen2もできました！

データファクトリー：パイプラインを作成

次に、データフロー（Gen2）を毎日決まった時間に自動実行し、失敗した場合は通知を出すための「パイプライン」を作成します。

パイプラインは、Data Engineeringからでも、Data Factoryからでも作成できます。

１．「Data Factory」を開きます。

２．「データパイプライン」をクリックし、任意の名前で作成してみます。

３．パイプラインが開いたら、「ホーム」タブから「データフロー」を選択します。

４．「全般」タブで、任意の名前を設定し、「設定」タブで、ワークスペースと、データフローを選択します。

５．次に「アクティビティ」タブから、「Teams」を選択します。

６．先ほど作成した「データフロー」にカーソルを当て「失敗時（×アイコン）」から「Teams」にドラッグアンドドロップし、線をつなぎます。

７．Teamsの「設定」では、通知するチーム、チャネル、タイトル、メッセージ等を設定できます。

８．「ホーム」タブから「スケジュール」を選択し、繰り返し頻度や、時間等、スケジュール実行の設定をします。

例えば毎日18時にパイプラインを実行する設定をしてみます。

９．これでパイプラインの設定も完了したので、「保存」をクリックした後「実行」ボタンを押します。

１０．しばらく待つと、アクティビティ（パイプラインの実行）が完了します。

１１．ワークスペースに戻り、レイクハウスを確認してみます。

１２．テーブルから「最新の情報に更新」をクリックします。

１３．OneDriveのCSVから、データフローGen2を使って取得、データ変換した結果のテーブルが取り込まれています。

パイプラインは毎日18時に実行しているので、このテーブルは18時のパイプライン実行完了後に更新が反映されます。

Power BI：セマンティックモデル、レポートを作成

最後に「Power BI」で「レイクハウス」から「セマンティックモデル」を作成し、「Power BIレポート」を作ってみます。

１．レイクハウスに格納したデータから「新しいPower BI用のデータセット」を選択すると、セマンティックモデルを作成できます。

２．必要なテーブルを選択して「確認」をクリックします。

３．セマンティックモデルが開きます。

ここはPower BIデスクトップのモデルタブとほぼ同様で、リレーションシップの設定や、新しいメジャーの作成もできます。

後から、このセマンティックモデルを編集することもできます。

最後にセマンティックモデルからPower BIレポートを作成します。

４．ワークスペースに戻り「新規」からレポートを作成することもできますし、セマンティックモデルの三点リーダーから、「レポートを自動作成」等もできます。

５．今回は試しに、セマンティックモデルの三点リーダーから「レポートの自動作成」をしてみます。

６．少し待つと、このようにPower BIレポートが自動作成されます。

修正したい場合は「編集」からレポートを変更します。

この操作は「Power BIデスクトップ」の「レポート」タブとほぼ同様です。

７．以下のような感じでPower BIレポートまで作成できました！

このような感じで、Microsoft Fabricを使って、OneDriveの家計簿データを取得し、Power BIレポートを作成できました！

この程度のデータ量であれば、Fabricを使う必要はありませんが、もっと大規模なデータ分析をする場合等には、Fabricが便利そうです。

最後に

本日は、Microsoft Fabricについて簡単に紹介し、Fabricを使ったPower BIレポート作成を試してみました。

Microsoft Fabricを使うと、あらゆる企業データを統合し、ビッグデータ分析、機械学習、リアルタイムデータ監視等が、SaaSサービス上で可能です。

データストアは、データウェアハウス、レイクハウス、Power BI データマート、KQLデータベースがあり、データ量や、データの種類、目的に応じて選択します。