データサイエンス
次元の呪い
読み方:じげんののろい
次元の呪いとは
次元の呪い(Curse of Dimensionality)は、データの 特徴量(次元)を増やせば増やすほど、そのデータを適切に分析・学習するために必要なデータ量が爆発的(指数関数的)に増加してしまう問題です。リチャード・ベルマンが命名しました。
なぜ問題なのか
たとえば映画のレコメンドで考慮する項目(ジャンル、監督、俳優、年代…)を細かく増やしすぎると、全組み合わせを網羅するデータが足りなくなり、逆に予測精度が下がります。対策として PCA などの 次元削減 や、関連性の低い特徴量を除外する特徴量選択が用いられます。
システムリソースの肥大化とROI圧迫の回避
「顧客のあらゆるデータ(数千種類の属性・行動履歴パラメータ)をとりあえず全部AIの箱に突っ込めば賢くなるはずだ」という素人的なデータ収集方針は、まさにこの『次元の呪い』を引き起こします。学習データの密度が薄まることで予測精度が崩壊するだけでなく、無駄に肥大化したデータの計算に莫大なクラウドサーバー代(GPUコスト)を青天井に消費する最悪のアンチパターンとなります。2026年のAI推進チームには「ビジネスの目的に直接関係のある重要なデータだけを絞り込む(特徴量選択・次元削減)」スキルが不可避であり、これが過剰なインフラ費用の浪費を防ぎ、堅実なAI投資対効果(ROI)を担保するための根本的なコストマネジメント技術となっています。