AI基礎概念
バッチサイズ
読み方:ばっちさいず
バッチサイズとは
バッチサイズ(Batch Size)は、機械学習 の学習において、1回のパラメータ更新に使用するデータの件数です。たとえば1万件の学習データでバッチサイズが100の場合、1 エポック あたり100回のパラメータ更新が行われます。
大きい・小さいの違い
バッチサイズが大きいとデータの平均化により学習が安定しますが、大量のメモリ(GPU メモリ)を消費します。小さいと頻繁に更新が行われ学習が速く進みますが、データのノイズに振り回されやすくなります。学習率 とセットで調整される重要な ハイパーパラメータ です。
トレードオフの管理とクラウドコストの最適化
企業が自社専用の特化型AIを学習(ファインチューニング)させる際、クラウド上のGPUを時間借りするのが一般的です。バッチサイズを不必要に大きく設定すると、高額な最上位GPUを使わなければメモリ不足でエラーになる一方、小さすぎると学習時間が長引き最終的な課金額が高騰します。AIエンジニアの腕前は、この「計算時間とクラウドリソース(予算)」のトレードオフを完璧にコントロールしてROIを高めることに直結します。