ラグランジュの未定乗数法

この記事は検証可能な参考文献や出典が全く示されていないか、不十分です。出典を追加して記事の信頼性向上にご協力ください。（このテンプレートの使い方） 出典検索?: "ラグランジュの未定乗数法" – ニュース · 書籍 · スカラー · CiNii · J-STAGE · NDL · dlib.jp · ジャパンサーチ · TWL（2011年7月）

ラグランジュの未定乗数法（ラグランジュのみていじょうすうほう、英: method of Lagrange multiplier）とは、束縛条件のもとで最適化を行うための数学（解析学）的な方法である。いくつかの変数に対して、いくつかの関数の値を固定するという束縛条件のもとで、別のある1つの関数の極値を求めるという問題を考える。各束縛条件に対して定数（未定乗数、Lagrange multiplier）を用意し、これらを係数とする線形結合を新しい関数（未定乗数も新たな変数とする）として考えることで、束縛問題を普通の極値問題として解くことができる方法である。

定理[編集]

ラグランジュの未定乗数法は、次のような定理として記述される。

2次元の場合[編集]

束縛条件 g(x, y) = 0 の下で、f(x, y) が最大値となる点 (a , b) を求める問題、つまり

maximize ${\displaystyle f(x,y),}$

subject to ${\displaystyle g(x,y)=0}$

という問題を考える。ラグランジュ乗数を λ とし、

とおく。点 (a, b) で ∂g/∂x と ∂g/∂y の少なくとも一方が 0 でないならば、α が存在して点 (a, b, α) で

${\displaystyle {\frac {\partial F}{\partial x}}={\frac {\partial F}{\partial y}}={\frac {\partial F}{\partial \lambda }}=0}$

が成り立つ^[1]。

一般の多次元の場合[編集]

n 次元空間の点 x = (x₁, …, x_n) のある領域 R を定義域とする被評価関数 z = f(x) が、同じ領域を定義域とする m 次元ベクトル値関数

${\displaystyle {\boldsymbol {G}}({\boldsymbol {x}})={\begin{pmatrix}g_{1}(x_{1},\dots ,x_{n})\\\vdots \\g_{m}(x_{1},\dots ,x_{n})\end{pmatrix}}={\boldsymbol {0}}\qquad (1)}$

の下で、R 内の点 x において極値をとるための必要条件は、その点における f の勾配ベクトル

${\displaystyle \nabla f={}^{t}{\begin{pmatrix}{\dfrac {\partial f}{\partial x_{1}}},\dots ,{\dfrac {\partial f}{\partial x_{n}}}\end{pmatrix}}}$

が、その点で、m 個の g_i それぞれの勾配ベクトルが張る m 次元線型部分空間に含まれること、すなわち、スカラーの組 λ = (λ₁, …, λ_m) を用いて、

${\displaystyle \nabla f=\sum _{i=1}^{m}\lambda _{i}\nabla g_{i}\qquad (2)}$

が成り立つことである。移項して ∇ を取れば、

${\displaystyle f({\boldsymbol {x}})-\sum _{i=1}^{m}\lambda _{i}g_{i}({\boldsymbol {x}})}$

が停留点をとることである。ただし、{∇g₁, …, ∇g_m} は一次独立、すなわち

${\displaystyle \dim(\nabla g_{1},\dots ,\nabla g_{m})=m}$

でなければならない。式(1)の m 本と式(2)の n 本の式を連立させて、x と λ の (n + m) 個の未知数について解けば、f の極値を与える候補点が得られる^[2]。

解釈[編集]

幾何学的な説明[編集]

簡単のため2次元の場合を考えよう。g (x, y) = c（ここで c は与えられた定数である）という条件の下、関数 f (x, y) を最大化するものとしよう。f の値を高さとしたグラフを考えると、高さが d の f の等高線は f (x, y) = d で与えられる。ここで、任意の曲線に沿って移動する点を考えると、この点が等高線を横切る場合、必ず f (x, y) は増加、もしくは減少するが、この点が等高線に沿って移動する場合は f (x, y) は変化しないことが分かる。この条件と通常の極値の条件を合わせて考えれば、曲線上で f (x, y) が最大をとる点では、f の等高線の接線と曲線の接線が平行となっているか、f の勾配がゼロとなっていることが分かる。ここで g (x, y) = c の接線は、g の勾配ベクトル ∇_x,y g と直交し、また f の等高線 f (x, y) = d の接線は f の勾配ベクトル ∇_x,y f と直交することを踏まえると、前述の条件は

${\displaystyle \nabla _{x,y}f=\lambda \nabla _{x,y}g}$

と書ける。ここで

${\displaystyle \nabla _{x,y}f=\left({\frac {\partial f}{\partial x}},{\frac {\partial f}{\partial y}}\right),\qquad \nabla _{x,y}g=\left({\frac {\partial g}{\partial x}},{\frac {\partial g}{\partial y}}\right)}$

である。定数 λ は f の勾配ベクトルと g の勾配ベクトルが平行ではあるが長さが一般に異なるために必要である。λ = 0 の場合、f (x, y) の勾配がゼロとなる条件になる。これは g (x, y) = c の曲線上にちょうど f の最大値があるため、曲線上で f (x,y ) が最大を取る点と通常の f (x, y ) の最大値が一致する場合である。

前述の式を変形すると

${\displaystyle \nabla _{x,y}(f-\lambda g)=0}$

となることから、f − λ g の極値を求めればいいことになる。

変則版[編集]

2次元問題で、束縛条件が1つの場合には、以下のように連立方程式を作ってもよい：

${\displaystyle {\frac {\partial f}{\partial x}}+\lambda '{\frac {\partial f}{\partial y}}=0}$

${\displaystyle {\frac {\partial g}{\partial x}}+\lambda '{\frac {\partial g}{\partial y}}=0}$

${\displaystyle g(x,y)=0}$

ただしこの場合の λ は、もとの定理の λ とは異なる。

この変則版は、極値となる点で全微分 df = 0 となる方向と、dg = 0 となる方向が平行であることから導かれる。

応用例[編集]

物理学の問題を解くとき、ラグランジュの未定乗数は単なる方便ではなく、ある物理量を表すことが多い。

流体力学[編集]

流体力学において、非圧縮性流れのナビエ-ストークス方程式を解く場合、圧力は速度ベクトル場が連続の式という束縛条件を満たすための未定乗数として求められる^[3]。

情報理論[編集]

情報理論的エントロピーが最大となる離散的確率分布を見出すことを考えよう。このときエントロピーは確率を変数とする関数で、

${\displaystyle f(p_{1},p_{2},\dots ,p_{n})=-\sum _{k=1}^{n}p_{k}\log _{2}p_{k}}$

となる。もちろんこれらの確率の合計は1に等しく、束縛条件を表す関数は

${\displaystyle g(p_{1},p_{2},\dots ,p_{n})=\sum _{k=1}^{n}p_{k}-1}$

となる。ラグランジュ乗数を用いてエントロピー最大の点を見つけよう。すべての i（1から n をとる）に対して次の条件が必要である：

${\displaystyle {\frac {\partial }{\partial p_{i}}}(f+\lambda g)=0.}$

従って

${\displaystyle {\frac {\partial }{\partial p_{i}}}\left(-\sum _{k=1}^{n}p_{k}\log _{2}p_{k}+\lambda (\sum _{k=1}^{n}p_{k}-1)\right)=0.}$

これら n 個の方程式から次の式が得られる：

${\displaystyle -\left({\frac {1}{\ln 2}}+\log _{2}p_{i}\right)+\lambda =0.}$

これは、すべての p_i が等しいということを示している（変数は λ だけだから）。

束縛条件 ∑_k p_k = 1 を使って、

${\displaystyle p_{i}={\frac {1}{n}}}$

が分かる。すなわち、すべての事象が等確率の一様分布がエントロピー最大の分布である：つまり他のどんな確率分布の場合よりも、確率変数が実際に観測されたときに得られる情報量の期待値が大きいということである。

ミクロ経済学[編集]

制約条件を予算制約線、函数を効用関数、極値を最適消費点と置き換えることでミクロ経済学における最適消費点を求める事に利用される^[4]。この際、ラグランジュの未定乗数は、貨幣の限界効用として解釈することができる。

統計力学[編集]

統計力学においては、統計集団があるエネルギー状態をとる確率を導出するために未定乗数法が用いられる。

この節の加筆が望まれています。 （2021年10月）

解析力学[編集]

作用積分が S[q] で与えられる物理系に n 個の拘束条件 ϕ^a(q, t) = 0, (a = 1, ..., n) が課せられているとき、この系の運動方程式は λ_a を未定乗数とする条件付き変分

${\displaystyle {\frac {\delta S}{\delta q}}+\sum _{a=1}^{n}\lambda _{a}{\frac {\partial \phi ^{a}}{\partial q}}=0}$

により表される^[5]。ここで δS/δq は汎関数微分である。ラグランジュの運動方程式で表すなら、ラグランジアンを

${\displaystyle L(q,{\dot {q}},t)+\sum _{a=1}^{n}\lambda _{a}\phi ^{a}(q,t)}$

に置き換えることで拘束を考慮した運動方程式が得られる。

参考文献[編集]

関連項目[編集]

• カルーシュ・クーン・タッカー条件（KKT条件）- ラグランジュの未定乗数法の一般化
• 極値
• 最適化問題
• ジョゼフ＝ルイ・ラグランジュ
• 縁つきヘッセ行列 - 条件つき極値の十分条件を記述するのに用いられる

外部リンク[編集]

• 『ラグランジュの未定乗数法と例題』 - 高校数学の美しい物語
• ラグランジュの未定乗数法の解説と直感的な証明
• ラグランジュの未定乗数法とは？ - Qiita
• ラグランジェの未定乗数法 - 物理のかぎしっぽ
• ラグランジュの未定乗数法について (PDF) - 京都大学
• ラグランジュの未定乗数法 (PDF) - 名古屋大学
• Gluss, David; Weisstein, Eric W. "Lagrange Multiplier". mathworld.wolfram.com (英語).

表 話 編 歴 数理最適化 • 最適化問題 : メソッド • ヒューリスティック
非線形(無制約)	… 関数　 黄金分割探索 直線探索 ネルダー–ミード法 連続放物線補間（英語版） 勾配法 収束性 信頼領域 ウルフ条件（英語版） 準ニュートン法 BFGS法 ブロイデン法 L-BFGS（英語版） DFP法 対称ランク1法（英語版） その他の求解法 ガウス・ニュートン法 最急降下法 レーベンバーグ・マルカート法 共役勾配法（非線形共役勾配法） 切り捨てニュートン法（英語版） ドッグレッグ法 … ヘッセ行列 最適化におけるニュートン法（英語版）
非線形(制約付き)	一般 バリア関数 ペナルティ関数法（英語版） 微分可能 ラグランジュの未定乗数法 逐次二次計画法 連続線形計画（英語版）
凸最適化	凸縮小化 切除平面法（英語版、デンマーク語版、ドイツ語版、スペイン語版） 簡約勾配法 劣勾配法（英語版） 線型 および 二次 内点法 カチヤン楕円体法 カーマーカーの投影アルゴリズム ベイズ-交換 単体法 改訂シンプレックス法（英語版） 十字法（英語版） レムケの主ピボット操作法（英語版）
組合せ最適化	系列範例 (Paradigms) 近似アルゴリズム 動的計画法 貪欲法 整数計画問題(分枝限定法 若しくは 切断) グラフ理論 最小全域木 ベルマン–フォード法 ブルーフカ法 ダイクストラ法 ワーシャル–フロイド法 ジョンソン法（英語版） クラスカル法 最大フロー問題 Dinic法（英語版） エドモンズ・カープ フォード・ファルカーソン プッシュリラベル最大流アルゴリズム（英語版）
メタヒューリスティクス	進化的アルゴリズム（進化戦略） 山登り法 局所探索法 焼きなまし法 タブーサーチ ベイスンホッピング法
カテゴリ（最適化 • アルゴリズム） • ソフトウェア（英語版）