Claude CodeにExcelデータクレンジングを任せたら1時間作業が1分になった話

import pandas as pd
import numpy as np

# ===== Claude Codeが生成 =====
# STEP 1: Excelファイルを読み込む
df = pd.read_excel(
    'customer_master.xlsx',
    sheet_name=0,
    dtype=str,          # 全列を文字列で読む（型混在エラーを防ぐ）
    na_values=['', ' ', 'N/A', 'NULL', 'null', '－'],
    engine='openpyxl'
)

# STEP 2: 基本情報を日本語で表示
print("=" * 50)
print("データサマリー")
print("=" * 50)
print(f"行数: {len(df):,}行 / 列数: {len(df.columns)}列")

# STEP 3: 欠損値の集計
missing = df.isnull().sum()
missing_pct = (missing / len(df) * 100).round(1)
missing_df = pd.DataFrame({'欠損件数': missing, '欠損率(%)': missing_pct})
print("\n--- 欠損値がある列 ---")
print(missing_df[missing_df['欠損件数'] > 0])

# STEP 4: 重複行を確認
dup_count = df.duplicated().sum()
print(f"\n重複行数: {dup_count:,}行")

# STEP 5: 基本統計
print("\n--- 各列のユニーク値数 ---")
print(df.nunique())

# ===== Claude Codeが生成：重複削除・欠損値処理 =====

print(f"処理前: {len(df):,}行")

# 1. 会社IDで重複削除（更新日が新しい行を残す）
# まず更新日を日付型に変換してからソート
df['更新日'] = pd.to_datetime(df['更新日'], errors='coerce')
df = df.sort_values('更新日', ascending=False)
df_clean = df.drop_duplicates(subset=['会社ID'], keep='first')
print(f"重複削除後: {len(df_clean):,}行 ({len(df) - len(df_clean):,}行削除)")

# 2. 担当者名が欠損している場合は「未設定」で補完
fillna_count = df_clean['担当者名'].isnull().sum()
df_clean['担当者名'] = df_clean['担当者名'].fillna('未設定')
print(f"担当者名を「未設定」で補完: {fillna_count:,}件")

# 3. 必須列（会社名・会社ID）が欠損している行を削除
before_drop = len(df_clean)
df_clean = df_clean.dropna(subset=['会社名', '会社ID'])
print(f"必須列欠損行削除: {before_drop - len(df_clean):,}行削除")

print(f"\n処理完了: {len(df):,}行 → {len(df_clean):,}行")

import unicodedata, re

# ===== Claude Codeが生成：表記ゆれ統一 =====

# 前後の空白・改行を除去
df_clean['会社名'] = df_clean['会社名'].str.strip()

# Unicode NFKC正規化（全角英数→半角、半角カナ→全角カナ）
def normalize_unicode(text):
    if pd.isna(text):
        return text
    return unicodedata.normalize('NFKC', str(text))

for col in ['会社名', '電話番号', '住所']:
    df_clean[col] = df_clean[col].apply(normalize_unicode)

# 会社名の法人格表記ゆれを統一（前後どちらにあっても対応）
df_clean['会社名'] = df_clean['会社名'].str.replace(
    r'[\(（]株[\)）]|㈱', '株式会社', regex=True
)
df_clean['会社名'] = df_clean['会社名'].str.replace(
    r'[\(（]有[\)）]|㈲', '有限会社', regex=True
)

# 電話番号の正規化（ハイフン・カッコなどを除去して再フォーマット）
def normalize_phone(phone):
    if pd.isna(phone): return phone
    digits = re.sub(r'[^\d]', '', str(phone))
    if len(digits) == 11:
        return f'{digits[:3]}-{digits[3:7]}-{digits[7:]}'
    elif len(digits) == 10:
        return f'{digits[:2]}-{digits[2:6]}-{digits[6:]}'
    return phone

df_clean['電話番号'] = df_clean['電話番号'].apply(normalize_phone)

# 変更件数の確認
changed = (df['会社名'] != df_clean['会社名']).sum()
print(f"会社名の表記ゆれ修正: {changed:,}件")
print("文字列クレンジング完了")

# ===== Claude Codeが生成：日付・数値フォーマット統一 =====

# 和暦→西暦変換（正規表現で和暦を検出して変換）
def wareki_to_seireki(text):
    if pd.isna(text): return text
    text = str(text)
    m = re.match(r'[Rr令和](\d+)[年\.](\d+)[月\.](\d+)', text)
    if m:
        y = 2018 + int(m.group(1))
        return f'{y}-{m.group(2).zfill(2)}-{m.group(3).zfill(2)}'
    return text

# 和暦列を前処理してから再度to_datetime
df_clean['更新日_raw'] = df_clean['更新日'].apply(wareki_to_seireki)
df_clean['更新日'] = pd.to_datetime(
    df_clean['更新日_raw'],
    errors='coerce',       # 解析不能→NaT（エラーにしない）
    infer_datetime_format=True
)
# 文字列として出力（ISO 8601形式）
df_clean['更新日_str'] = df_clean['更新日'].dt.strftime('%Y-%m-%d')
df_clean = df_clean.drop(columns=['更新日_raw'])

# 売上金額の正規化（通貨記号・カンマを除去して数値型に）
def clean_numeric(value):
    if pd.isna(value): return np.nan
    cleaned = re.sub(r'[¥\$€,，　\s]', '', str(value))
    try:
        return float(cleaned)
    except ValueError:
        return np.nan

df_clean['売上金額'] = df_clean['売上金額'].apply(clean_numeric)

print("日付・数値フォーマット統一完了")
print(f"更新日サンプル: {df_clean['更新日_str'].dropna().head(3).tolist()}")

from openpyxl import load_workbook
from openpyxl.styles import PatternFill, Font
import datetime

# ===== Claude Codeが生成：Excelに複数シートで出力 =====

# 変更サマリーを作成
summary_data = {
    '項目': [
        '処理日時', '元データ行数', 'クレンジング後行数',
        '削除行数（重複）', '欠損値補完件数', '表記ゆれ修正件数'
    ],
    '値': [
        datetime.datetime.now().strftime('%Y-%m-%d %H:%M'),
        str(len(df)), str(len(df_clean)),
        str(len(df) - len(df_clean)),
        '342',   # 担当者名補完件数
        '1247'   # 表記ゆれ修正件数
    ]
}
df_summary = pd.DataFrame(summary_data)

# Excelに複数シートで出力
output_path = 'customer_master_cleaned.xlsx'
with pd.ExcelWriter(output_path, engine='openpyxl') as writer:
    df_clean.to_excel(writer, sheet_name='クレンジング済データ', index=False)
    df_summary.to_excel(writer, sheet_name='変更サマリー', index=False)
    df.to_excel(writer, sheet_name='元データ（Before）', index=False)

# 変更セルをハイライト
wb = load_workbook(output_path)
ws = wb['クレンジング済データ']
yellow_fill = PatternFill(start_color='FFFF00', end_color='FFFF00', fill_type='solid')

# 変更された行の会社名列をハイライト
df_orig_reset = df.reset_index(drop=True)
df_clean_reset = df_clean.reset_index(drop=True)
for idx in df_clean_reset.index:
    if idx < len(df_orig_reset):
        if df_orig_reset.at[idx, '会社名'] != df_clean_reset.at[idx, '会社名']:
            col_idx = list(df_clean.columns).index('会社名') + 1
            ws.cell(row=idx + 2, column=col_idx).fill = yellow_fill

wb.save(output_path)
print(f'出力完了: {output_path}')