ハイパーパラメータ() は、機械学習の学習プロセスにおいて任意の設定可能な部分を定義するために設定可能なパラメータ。これは、通常のパラメータがモデルがデータから学習する特徴量を指すこととは対照的である。ハイパーパラメータは、それがどのように学習過程に作用するかに応じて、モデルハイパーパラメータかアルゴリズムハイパーパラメータかに二分される。

ハイパーパラメータは、全てのモデルやアルゴリズムに必須な量ではない。実際、いくつかの単純なアルゴリズム(例えば)にハイパーパラメータは存在しない。ハイパーパラメータを厳密に定義する必要がないモデルやアルゴリズムであっても、それらが慎重に選択されない場合、意味のある結果を生成しない可能性がある。しかしながら、最適なハイパーパラメータを予測することはいつでも簡単というわけではない。多くの場合、データとタスクに適した組み合わせを見つけるためには、という別個のプロセスが必要となる。

ハイパーパラメータを活用することで、モデル性能の向上がもたらされるだけでなく、堅牢性や再現性のある研究の実行が可能となる。これは特に、乱数生成を組み込んだモデルを使用する際に顕著である。

考慮するべき事項 モデルを訓練し、検証するために必要な時間は、ハイパーパラメータの選択に依存する場合がある。 ハイパーパラメータは、通常連続型あるいは整数型であり、混合型最適化問題を引き起こす。 いくつかのハイパーパラメータは他のハイパーパラメータの値に依存する場合がある。例えば、1層あたりのサイズは、隠れ層の数に依存する。

学習困難なハイパーパラメータ 多くの場合、モデルパラメータの学習に利用できるような勾配法はハイパーパラメータの学習には利用できない。そのようなハイパーパラメータは、一般的な最適化手法では学習できないモデル表現を記述するパラメータであるが、損失関数に影響を与えるものである。例として、サポートベクターマシンにおける誤差に対する許容誤差ハイパーパラメータが挙げられる。

学習不可能なハイパーパラメータ 時として、ハイパーパラメータは学習データから学習できないことがある。そういったハイパーパラメータはモデルの容量を過度に増加させ、損失関数を望ましくない最小値（データへの過剰適合）に押し込む可能性があるためである。例えば、回帰モデルを適合させる多項式方程式の次数を学習可能なパラメータとして扱う場合、モデルがデータに完全に適合するまで次数は増加し、学習誤差は低くなるが、汎化性能は低下する。

調整可能性 パフォーマンスの変動の大部分は、ごく少数のハイパーパラメータに起因する。アルゴリズム、ハイパーパラメータ、または相互作用するハイパーパラメータの調整可能性とは、それらを調整することで得られるパフォーマンス向上の度合いを測る尺度である。 LSTMの場合、とネットワークサイズが最も重要なハイパーパラメータである一方、 バッチサイズとモーメンタムはパフォーマンスに有意な影響を与えない。

数千単位のミニバッチサイズの使用を提唱する研究もある一方、他の研究では2～32のミニバッチサイズで最高の性能が得られることが確認されている。

堅牢性 学習に内在するランダム性は、経験的ハイパーパラメータ性能が必ずしも真の性能ではないことを直接的に示唆する。ハイパーパラメータ、乱数シード、あるいは同一アルゴリズムの異なる実装といった単純な変更に対して堅牢でない手法は、大幅な簡素化と堅牢化なしに任務上重要な制御システムに統合することはできない。

特に、強化学習アルゴリズムにおいては、多数の乱数シードにおける性能評価と、ハイパーパラメータ選択に対する感度評価を必要とする。少数のランダムシードによる評価では変動が大きいため、性能を適切に捉えられない。深層決定論的ポリシー勾配法(Deep Deterministic Policy Gradient; DDPG)など、一部の強化学習手法は他の手法よりもハイパーパラメータ選択の影響を受けやすい。

最適化 ハイパーパラメータ最適化は、与えられたテストデータに対して、損失関数を最小化するような最適なハイパーパラメータの組み合わせを探索する作業のことを指す。ここでの損失関数は、ハイパーパラメータの組を入力として受けとり、関連する損失を返す。典型的には、これらの手法は勾配法に基づくものではなく、代わりにやブラックボックス最適化の概念を適用する。

再現性 ハイパーパラメータの調整に加え、機械学習ではパラメータや結果の保存・整理、再現性の確保が不可欠である。このための堅牢なインフラが整わない場合、研究コードは急速に進化し、記録管理や再現性といった本質的な側面が犠牲になりがちである。機械学習向けのオンライン共同作業プラットフォームは、科学者が実験、データ、アルゴリズムを自動的に共有・整理・議論できるようにすることで、さらに一歩進んだ機能を提供する。再現性は特に深層学習モデルにおいて困難を伴うとされており、例えば乱数生成の際の乱数シードの選択にも大きく依存することが示されている。

関連項目

再現性の危機

参照