Big Data & STDF
STDF/CSV/JSON対応とビッグデータ解析基盤
数十億〜兆レコード規模の半導体テストデータを扱うため、Lot単位のデータ構造、 MySQL 256シャーディング、Pythonベース解析エンジン、並列処理を前提に設計されています。
データ構造
- LotName
- Lot単位の管理キー
- Process
- 工程情報
- Wafer番号（Wno）
- Wafer単位の識別
- チップ座標（Xadr, Yadr）
- Site/チップ位置
- Test項目
- 測定項目
技術仕様
- データベース
- MySQL、256シャーディング構成（Lot単位分散）
- データ形式
- STDF、CSV、JSON、その他カスタマイズ
- 処理エンジン
- Pythonベース解析エンジン、並列処理対応
- クライアント
- Windows GUIアプリケーション
性能指標（参考値）
- 1Lot解析
- 数秒〜数十秒（約数百万〜数千万データ）
- 相関解析
- 1000項目で数分以内
- 並列処理
- マルチスレッド対応
※データ量・環境に依存します。
Scalability
大規模データ対応のポイント
シャーディング
Lot単位分散により大量データへのアクセスを高速化。
並列処理
解析エンジンでマルチスレッド処理に対応。
NVMe I/O最適化
大容量テストデータの読み書きを前提に設計。
可変パラメータ
JSON測定データによりLotごとのパラメータ差異を吸収。