Azureデータ分析入門：CSVからParquet、Delta Lakeまでデータ拡張子を徹底解説

Azureなどのクラウド環境でデータを扱う際、「CSVやJSONは知っているけれど、最近Parquetやpklといった見慣れないファイルが出てきて戸惑っている…」と感じることはありませんか？

この記事では、データの世界で頻繁に使われる主要な形式について、それぞれの正式名称、読み方、メリット・デメリット、フォーマット例、そしてPythonでの読み込み方を、一つひとつ丁寧に解説します。

身近なテキスト形式

人間が直接読んで理解できる、最も基本的なフォーマット群です。

📜 CSV

フォーマットのサンプル:

id,name,age,city
1,Sato,35,Tokyo
2,Suzuki,28,Osaka

Pythonでの読み込み

データ分析で定番のPandasライブラリを使うのが最も一般的です。

# pandasは、Pythonで表形式のデータを扱うための強力なライブラリです
import pandas as pd

# CSVファイルを読み込み、DataFrameという高機能な表データにします
df = pd.read_csv('your_file.csv')
print(df)

📄 JSON

フォーマットのサンプル:

{
  "id": 1,
  "name": "Sato",
  "address": { "city": "Tokyo" },
  "skills": ["SQL", "Python"]
}

Pythonでの読み込み

Pythonに標準で入っている**jsonライブラリ**で簡単に扱えます。

import json

# JSONファイルを読み込み、Pythonの辞書やリストに変換します
with open('your_file.json', 'r') as f:
    data = json.load(f)
print(data['name'])

📋 YAML

Pythonでの読み込み

PyYAMLという外部ライブラリをインストールして使います。

# 最初にライブラリをインストールします: pip install PyYAML
import yaml

with open('your_file.yaml', 'r') as f:
 	data = yaml.safe_load(f)
print(data['name'])

大規模データ分析の専門形式

ここからはコンピュータが効率的に処理するために作られた、分析用途に特化したフォーマット群です。

🗄️ Parquet

Parquetは、大量のデータを高速に分析するために生まれた、列指向のバイナリファイルです。現在、大規模データ分析の世界では**事実上の標準（デファクトスタンダード）**となっています。 「列指向」とは、データを列ごとにまとめて保存する仕組みです。分析で特定の列だけ（例えば「年齢」列だけ）が必要な時、関係ない列（「名前」や「住所」など）を一切読まずに済むため、処理が劇的に速くなります。

Pythonでの読み込み

PandasとPyArrowライブラリを組み合わせて使います。

# 最初にライブラリをインストールします: pip install pandas pyarrow
import pandas as pd

df = pd.read_parquet('your_file.parquet')
print(df)

🎞️ Avro

Pythonでの読み込み

fastavroという外部ライブラリを使います。

# 最初にライブラリをインストールします: pip install fastavro
from fastavro import reader

with open('your_file.avro', 'rb') as f:
    for record in reader(f):
        print(record)

💎 Delta Lake

Pythonでの読み込み

deltalakeという外部ライブラリを使います。Delta Lakeは単一のファイルではなく、フォルダ単位でテーブルを管理します。

# 最初にライブラリをインストールします: pip install deltalake
from deltalake import DeltaTable

dt = DeltaTable('path/to/delta_table/')
df = dt.to_pandas()
print(df)

Python専用形式

🤖 Pickle

Pythonでの読み込み

Pythonに標準で入っている**pickle**ライブラリを使います。

import pickle

# 'rb'はバイナリ読み込みモードを意味します
with open('your_file.pkl', 'rb') as f:
    loaded_object = pickle.load(f)
print(loaded_object)

Azureでの使い分けまとめ

• CSV/JSON: 手軽なデータの「入り口」として。
• YAML: Azure Pipelinesなど、インフラやCI/CDの「構成を定義する設計図」として。
• Avro: Azure Event Hubsなどを使った、リアルタイムで流れ込んでくる「ストリーミングデータ」の処理に。
• Parquet: 大規模データを分析する際の、高速な「中間・最終データ」として。
• Delta Lake: Azure DatabracksやSynapse Analyticsで、更新可能で信頼性の高い「データ基盤（レイクハウス）」を構築する際に。
• Pickle: Azure Machine LearningにおけるPythonで作られた「AIモデル」の保存と展開に。