ミイダス株式会社
データ抽出・調査依頼対応
全社からの依頼を受けて、プロダクトや社内システムのデータを抽出して届けています。依頼の一次受けを担当しています。
主軸データエンジニアリングデータ分析BI・データ可視化要件定義
- 所属
- ミイダス株式会社
- 期間
- 2025年1月 〜 現在
- 発端
- 依頼
- 担当範囲
- 一次受けから集計設計・提供までを担当
- 相手
- 営業企画・CS・事業開発・サイエンスなどのデータ利用部門、ミイダス本体・CRM などの開発チーム
- 規模
- 依頼フォーム経由でチーム受領 799 件のうち 332 件を担当(2025 年 4 月〜2026 年 8 月・依頼元 80 名)。約 2,000 テーブル・数千万レコード規模の環境
やったこと
約 2,000 テーブル・数千万レコード規模の環境で、抽出と集計を行っています。
定期的に見る必要があるデータは、その場限りの抽出で終わらせず、DB 上のテーブルや View として残しています。
法人マスタの名寄せ、CRM 企業コードとの紐付け、成果報酬の金額計算など、精度が問われる集計を設計・実装しました。
これから
繰り返し聞かれる集計を都度対応から外し、指標の定義とマートテーブルとして持たせます。
用語・指標の定義とドメイン知識を参照できる場所に置き、前提の説明を毎回しなくて済む状態にします。
工夫
依頼を受けたらまず定義と条件を確認し、業務側とズレやすい概念を言葉にして合意してから回答しています。
個人情報の扱いと、集計データで渡すか生データで渡すかを、依頼ごとに判断しています。
利用ツール
- 言語
- SQL / Python
- フレームワーク・ライブラリ
- numpy / pandas / matplotlib
- データベース
- Amazon Aurora MySQL / Amazon Redshift / DuckDB
- ツール
- dbt / Jupyter Notebook