Poisson binomial distribution: Difference between revisions

From formulasearchengine
Jump to navigation Jump to search
en>Entropeter
upper bounds on variance and entropy
No edit summary
 
Line 1: Line 1:
In [[decision theory]] and [[game theory]], '''[[Abraham Wald|Wald's]] [[Minimax#Maximin|maximin]] model''' is a non-probabilistic decision-making model according to which decisions are ranked on the basis of their worst-case outcomes. That is, the best (optimal) decision is one whose worst outcome is at least as good as the worst outcome of any other decisions. It is one of the most important models in [[robust decision making]] in general and [[robust optimization]] in particular.
1間違った色または1つ間違った組み合わせが全体の外観を台無 コーチ 長財布 新作 [url=http://www.unitedfcbermuda.com/]コーチ アウトレット 財布[/url] コーチ バック 新作 2014,コーチ 長財布 新作 [url=http://www.unitedfcbermuda.com/]コーチ バック 新作 2014[/url] コーチ 長財布 新作,コーチ バック 新作 2014 [url=http://www.unitedfcbermuda.com/]コーチ 長財布 新作[/url] コーチ アウトレット 財布 しにすることができますように、慎重に財布を選択してください。それは、品質、スタイルと価値の適正さの完璧な組み合わせを持っていることは非常に重要です。そのような大学の来場者、ファッションハンドバッグとお伝えをするためのデザイナーハンドバッグ、パーティーのクラ プラダ バッグ 激安 [url=http://www.tiepassion.com/]シャネル 財布 2014 新作 公式[/url] シャネル 財布 2014 新作 公式,プラダ バッグ 激安 [url=http://www.tiepassion.com/]プラダ バッグ 激安[/url] コーチ 財布 アウトレット,プラダ バッグ 激安 [url=http://www.tiepassion.com/]コーチ 財布 アウトレット[/url] シャネル 財布 2014 新作 公式 ッチ、サッチェルバッグ、小銭入れ、結婚式の財布、jholas、市場で利用可能な袋の広い範囲があります。彼らが最も彼らの個性に合ったおしゃれなバッグを見たときは、常に女性の顔に笑顔を気づくことができます。彼らは確かにハンドバッグは何がよい来る買います。小銭入れには、ギフトの女性に最適なギフトの選択となっている。いくつかのメーカーがカスタムハンドバッグを提 ゴルフ用品 通販 [url=http://www.lavyan-index.com/]ゴルフクラブ 通販[/url] ゴルフ用品 通販,ゴルフクラブ 人気 [url=http://www.lavyan-index.com/]ゴルフ用品 通販[/url] ゴルフクラブ 人気,ゴルフクラブ 人気 [url=http://www.lavyan-index.com/]ゴルフクラブ 人気[/url] ゴルフクラブ 通販 供するそうであるようにあなたも、バッグや財布あなたが望むようにカスタマイズすることができます。あなたのアクセサリーをパーソナライズすることで、あなたはto.Gossipの女の子がアメリカであっても、世界中の非常に人気のテレビ番組でご希望の色や財布のタイプを遊ば アグブーツ最安通販 [url=http://narvoo.com/]アグブーツ最安通販[/url] アグブーツ最安通販,UGG ブーツ専門店 [url=http://narvoo.com/]UGG ブーツ専門店[/url] アグ ブーツ 激安,UGG ブーツ専門店 [url=http://narvoo.com/]アグ ブーツ 激安[/url] アグブーツ最安通販 すことができます。それは、あなたは今までのテレビ番組で示したもの絶妙に設計されたファッションハンドバッグにあなたの目を置くなかった、見栄えの良い女の子と男の子の不足だけでなく、彼らの派手な衣装やshoes.Howeverになることはありません?そうでない場合、私はあなたのeyes.Stuartワイツマンクラッチ、少しショルダーレザーバッグを目がくらむたかもしれないものファッションハンドバッグにあなたの詳細な分析を提供するつもりだとして心配しないで、ブレアと一緒 コーチ 財布 芸能人 [url=http://www.vestavaluation.com/]コーチ アウトレット[/url] コーチ バッグ 最安値,コーチ 財布 芸能人 [url=http://www.vestavaluation.com/]コーチ 財布 芸能人[/url] コーチ アウトレット,コーチ バッグ 最安値 [url=http://www.vestavaluation.com/]コーチ バッグ 最安値[/url] コーチ バッグ 最安値 に行くの高い頻度のディスプレイである。それは淡黄色のチョコレートからピンクの灰色の範囲で色の勾配の変化を備えた3層のクラッチバッグです。両方が微妙に設計された金の鎖で終わるのV字型のショルダーストラップは、バッグに取り付けられている。全体的な見通しのデザインは中央に固定された光沢のある銀コーティングバッジと整頓とは明らかである。
 
<a href=http://www.unitedfcbermuda.com/>unitedfcbermuda</a>
It is also known by a variety of other titles, such as Wald's maximin rule, Wald's maximin principle, Wald's maximin paradigm, and Wald's maximin criterion. Often '[[minimax]]' is used instead of 'maximin'.
<a href=http://www.tiepassion.com/>tiepassion</a>
 
<a href=http://www.lavyan-index.com/>lavyan-index</a>
==Definition==
<a href=http://narvoo.com/>narvoo</a>
Wald's generic maximin model is as follows:
<a href=http://www.vestavaluation.com/>vestavaluation</a>
 
:<math>v^{*}:= \max_{d\in D}\min_{s\in S(d)}f(d,s)</math>
where <math>D</math> denotes the decision space; <math>S(d)</math> denotes the set of states associated with decision <math>d</math> and <math>f(d,s)</math> denotes the payoff (outcome) associated with decision <math>d</math> and state <math>s</math>.
 
This model represents a 2-person game in which the <math>\max</math> player plays first. In response, the second player selects  the worst state in <math>S(d)</math>, namely a state in <math>S(d)</math> that minimizes the payoff <math>f(d,s)</math> over <math>s</math> in <math>S(d)</math>. In many applications the second player represents uncertainty. However, there are maximin models that are completely deterministic.
 
The above model is the ''classic'' format of Wald's maximin model. There is an equivalent [[Optimization (mathematics)|mathematical programming]] (MP) format:
 
:<math>v^{*}:= \max_{d\in D,\,z\in \mathbb{R}} \{z: z \le f(d,s),\forall s\in S(d)\}</math>
 
where <math>\mathbb{R}</math> denotes the real line.
 
As in [[game theory]], the worst payoff associated with decision <math>d</math>, namely
 
: <math>v(d):= \min_{s\in S(d)} f(d,s)\ , \ d \in D</math>
 
is called ''the security level'' of decision <math>d</math>.
 
The minimax version of the model is obtained by exchanging the positions of the <math>\max</math> and <math>\min</math>  operations in the classic format:
 
:<math>v^{\circ}:= \min_{d\in D}\max_{s\in S(d)}f(d,s).</math>
 
The equivalent MP format is as follows:
 
:<math>v^{\circ}:= \min_{d\in D,\,z\in \mathbb{R}} \{z: z \ge f(d,s),\forall s\in S(d)\}</math>
 
==History==
Inspired by maximin models of game theory, [[Abraham Wald]] developed this model in the early 1940s <ref name="wald39">Wald, A. (1939).  Contributions to the theory of statistical estimation and testing hypotheses. ''The Annals of Mathematics,'' 10(4), 299-326.</ref><ref name="wald45">Wald, A. (1945).  Statistical decision functions which minimize the maximum risk. ''The Annals of Mathematics,'' 46(2), 265-280.</ref><ref name="wald50">Wald, A. (1950). ''Statistical Decision Functions,'' John Wiley, NY.</ref> as an approach to situations in which there is only one player (the decision maker). The second player represents a pessimistic (worst case) approach to uncertainty. In Wald's maximin model, player 1 (the <math>\max</math> player) plays first and player 2 (the <math>\min</math> player) knows player 1's decision when he selects his decision. This is a major simplification of the [[Two-person zero-sum game|classic 2-person zero-sum game]] in which the two players choose their strategies without knowing the other player's choice. The game of Wald's maximin model is also a 2-person [[zero-sum game]], but the players choose sequentially.
 
With the establishment of modern decision theory in the 1950s, the model became a key ingredient in the formulation of non-probabilistic decision-making models in the face of severe uncertainty.<ref name="resnik">Resnik, M.D. (1987). ''Choices: an Introduction to Decision Theory,''  University of Minnesota Press, Minneapolis.</ref><ref name="french">French, S. (1986). ''Decision Theory: An Introduction to the Mathematics of Rationality,'' Ellis Horwood, Chichester.</ref> It is widely used in diverse fields such as [[decision theory]], [[control theory]], [[economics]], [[statistics]], [[robust optimization]], [[operations research]], [[Maximin (philosophy)|philosophy]], etc.<ref name="ms07">Sniedovich, M. (2007).  The art and science of modeling decision-making under severe uncertainty. ''Decision Making in Manufacturing and Services,''  1(1-2), 111-136.</ref><ref name="ms08">Sniedovich, M. (2008). Wald's maximin model: a treasure in disguise! ''Journal of Risk Finance,'' 9(3), 287-91.</ref>
 
==Example==
One of the most famous examples of a Maximin/Minimax model is
 
: <math>\min_{x\in \mathbb{R}} \max_{y\in \mathbb{R}}\ \{x^{2} - y^{2}\}</math>
 
where <math>\mathbb{R}</math> denotes the real line. Formally we can set <math>D=S(d)=\mathbb{R}</math> and <math>f(d,s)=d^{2}-s^{2}</math>. The picture is this
 
[[Image:Saddle point.png|400px]]
 
The optimal solution is the  (red) [[saddle point]]  <math>(x,y)=(0,0)</math>.
 
==Decision tables==
There are many cases where it is convenient to 'organize' the Maximin/Minimax model as a 'table'. The convention is that the rows of the table represent the decisions, and the columns represent the states.
 
===Example===
Henri is going for a walk. The sun may shine, or it may rain. Should Henri carry an umbrella? Henri does not like carrying an umbrella, but he dislikes getting wet even more. His "[[payoff matrix]]", viewing this as a Maximin game pitting Henri against Nature, is as follows.
 
{| class="wikitable" align="left"
!
! &nbsp; &nbsp; Sun &nbsp; &nbsp;
! &nbsp;&nbsp; Rain &nbsp;&nbsp;
|-
! No umbrella
| <center>5</center>
| <center>&minus;9</center>
|-
! Umbrella
| <center>1</center>
| <center>&minus;5</center>
|}
 
{{Clear}}
Appending a ''Worst Payoff''&nbsp;  column and a ''Best Worst Payoff''&nbsp; column to the payoff table, we obtain
 
{| class="wikitable" align="left"
!
! &nbsp; &nbsp; Sun &nbsp; &nbsp;
! &nbsp;&nbsp; Rain &nbsp;&nbsp;
! Worst Payoff
! Best Worst Payoff
|-
! No umbrella
| <center>5</center>
| <center>&minus;9</center>
| <center>&minus;9</center>
| <center></center>
|-
! Umbrella
| <center>1</center>
| <center>&minus;5</center>
| <center>&minus;5</center>
| <center>&minus;5</center>
|}
{{Clear}}
The worst case, if Henri goes out without umbrella, is definitely worse than the (best) worst case when carrying an umbrella. Therefore Henri takes his umbrella with him.
 
==Variations on a theme==
Over the years a variety of related models have been developed primarily to moderate the pessimistic approach dictated by the worst-case orientation of the model.<ref name="resnik" /><ref name="french" /><ref name="kouvelis">Kouvelis P, and Yu G. (1997).  ''Robust Discrete Optimization and Its Applications,''  Kluwer, Boston.</ref><ref name="ben-tal09">Ben-Tal, A,  El Gaoui, L, Nemirovski, A. (2009). ''Robust Optimization.''  Princeton University Press, Princeton.</ref><ref name="sim04">Bertsimas D, and Sim, M. (2004). The price of robustness. ''Operations Research,''  52(1), 35-53.</ref> For example,
 
===Savage's minimax regret===
[[Leonard Jimmie Savage|Savage's]] [[Minimax regret|minimax regret model]]<ref name="savage51">Savage, L. (1951). The theory of statistical decision. ''Journal of the American Statistical Association,'' 46, 55–67.</ref> is an application of Wald's minimax model to the 'regrets' associated with the payoffs. It can be formulated as follows:
 
: <math>\min_{d\in D}\max_{s\in S} r(d,s)</math>
 
where
 
: <math>r(d,s):= \max_{d\,'\in D} f(d\,',s) - f(d,s)</math>
 
is the regret of payoff <math>f(d,s)</math> associated with the (decision,state) pair <math>(d,s)</math>.
 
==Deterministic models==
The sets of states <math>S(d),d\in D,</math> need not represent uncertainty. They can represent (deterministic) variations in the value of a parameter.
 
===Example===
Let <math>D</math> be a finite set representing possible locations of an 'undesirable'  public facility (e.g. garbage dump), and let <math>S</math> denote a finite set of locations in the neighborhood of the planned facility, representing existing dwellings.
 
It might be desirable to build the facility so that its shortest distance from an existing dwelling is as large as possible. The maximin formulation of the problem is as follows:
 
: <math>\max_{d\in D}\min_{s\in S} dist(d,s)</math>
 
where <math>dist(d,s)</math> denotes the distance of <math>s</math> from <math>d</math>. Note that in this problem <math>S(d)</math> does not vary with <math>d</math>.
 
In cases where is it desirable to live close to the facility, the objective could be to minimize the maximum distance from the facility. This yields the following minimax problem:
 
: <math>\min_{d\in D}\max_{s\in S} dist(d,s)</math>
 
These are generic [[facility location]] problems.
 
==Maximin models in disguise==
Experience has shown that the formulation of maximin models can be subtle in the sense that problems that 'do not look like' maximin problems can be formulated as such.
 
===Example===
Consider the following problem:
<blockquote>
Given a finite set <math>X</math> and a real valued function <math>g</math> on <math>X</math>, find the largest subset of <math>X</math> such that <math>g(x) \le 0</math>&nbsp; for every <math>x</math> in this subset.
</blockquote>
The maximin formulation of this problem, in the MP format, is as follows:
 
:<math>\max_{Y\subseteq X} \ \{|Y|: g(x)\le 0,\forall x\in Y\}.</math>
 
Generic problems of this type appear in robustness analysis.<ref name="moffitt08">L. Joe Moffitt, John K. Stranlund, and Craig D. Osteen (2008). Robust detection protocols for uncertain introductions of invasive species. ''Journal of Environmental Management,'' 89(4), 293–299.</ref><ref name="rosenhead72">Jonathan Rosenhead, Martin Elton, Shiv K. Gupta. (1972). Robustness and Optimality as Criteria for Strategic Decisions. ''Operational Research Quarterly,'' 23(4), 413-431.</ref>
 
It has been shown that the [[Stability radius|radius of stability]] model and [[info-gap decision theory|info-gap's robustness]] model are simple instances of Wald's maximin model.<ref name="MS10">Sniedovich, M. (2010). A bird's view of info-gap decision theory. ''Journal of Risk Finance,'' 11(3), 268-283.</ref>
 
==Constrained maximin models==
Constraints can be incorporated explicitly in the maximin models. For instance, the following is a constrained maximin problem stated in the classic format
 
:<math>v^{*}:= \max_{d\in D}\min_{s\in S(d)}\ \{f(d,s): g(d,s) \le 0, \forall s\in S(d)\}.</math>
 
Its equivalent MP format is as follows:
 
:<math>v^{*}:= \max_{d\in D,\,z\in \mathbb{R}} \{z: z \le f(d,s), g(d,s) \le 0, \forall s\in S(d)\}.</math>
 
Such models are very useful in [[robust optimization]].
 
==The price of robustness==
One of the 'weaknesses' of the Maximin model is that the robustness that it provides comes with a ''price''.<ref name="sim04" />  By playing it safe, the Maximin model tends to generate conservative decisions, whose price can be high. The following example illustrates this important feature of the model.
 
===Example===
Consider the simple case where there are two decisions, d'  and d",  and where S(d')=S(d")=[a,b]. The Maximin model is then as follows:
 
: <math>\max_{d\in D}\min_{s\in S(d)} f(d,s) = \max_{d\,',d\,''}\ \min_{a\le s \le b}f(d,s) = \max\ \{\min_{a\le s \le b}f(d\,',s),\min_{a\le s\le b}f(d\,'',s)\}</math>
 
Now consider the instance shown by
 
[[Image:Maximin price.png|600px]]
 
Note that although the payoff associated with decision d'  is larger than the payoff associated with decision d" over most of the state space S=[a,b], the best worst case according to Wald's model is provided by decision d". Hence, according to Wald's model decision d" is better than decision d'.
 
==Algorithms==
There are no general-purpose algorithms for the solution of maximin problems. Some problems are very simple to solve, others are very difficult.<ref name="reemstem98">Reemstem, R. and R\"{u}ckmann, J. (1998). ''Semi-Infinite Programming,'' Kluwer, Boston.</ref><ref name="rustem02">Rustem, B. and Howe, M. (2002). ''Algorithms for Worst-case Design and Applications to Risk Management,'' Princeton University Press, Princeton.</ref><ref name="ben-tal09" /><ref name="sim04" />
 
===Example===
Consider the case where the state variable is an "index", for instance  let <math>S(d)=\{1,2,\dots,k\}</math> for  all <math>d \in D</math>. The associated maximin problem is then as follows:
 
: <math>\begin{align}\max_{d\in D}\min_{s\in S(d)} f(d,s) &= \max_{d\in D}\min_{1\le s \le k} \{f_{1}(d),\dots,f_{k}(d)\}\\
& = \max_{d\in D, z\in \mathbb{R}} \{z: z\le f_{s}(d),\forall s=1,2,\dots,k\}\end{align}</math>
where <math>f_{s}(d) \equiv f(d,s)</math>.
 
If <math>d\in \mathbb{R}^{n}</math>, all the functions <math>f_{s}, s=1,2,\dots,k,</math>  are [[linear]], and <math>d\in D</math> is specified by a system of [[linear]] constraints on <math>d</math>, then this problem is a [[linear programming]] problem that can be solved by [[linear programming]] algorithms such as the [[simplex algorithm]].
 
==References==
<references />
 
{{DEFAULTSORT:Wald's Maximin Model}}
[[Category:Mathematical optimization]]
[[Category:Decision theory]]

Latest revision as of 22:12, 6 August 2014

1間違った色または1つ間違った組み合わせが全体の外観を台無 コーチ 長財布 新作 [url=http://www.unitedfcbermuda.com/]コーチ アウトレット 財布[/url] コーチ バック 新作 2014,コーチ 長財布 新作 [url=http://www.unitedfcbermuda.com/]コーチ バック 新作 2014[/url] コーチ 長財布 新作,コーチ バック 新作 2014 [url=http://www.unitedfcbermuda.com/]コーチ 長財布 新作[/url] コーチ アウトレット 財布 しにすることができますように、慎重に財布を選択してください。それは、品質、スタイルと価値の適正さの完璧な組み合わせを持っていることは非常に重要です。そのような大学の来場者、ファッションハンドバッグとお伝えをするためのデザイナーハンドバッグ、パーティーのクラ プラダ バッグ 激安 [url=http://www.tiepassion.com/]シャネル 財布 2014 新作 公式[/url] シャネル 財布 2014 新作 公式,プラダ バッグ 激安 [url=http://www.tiepassion.com/]プラダ バッグ 激安[/url] コーチ 財布 アウトレット,プラダ バッグ 激安 [url=http://www.tiepassion.com/]コーチ 財布 アウトレット[/url] シャネル 財布 2014 新作 公式 ッチ、サッチェルバッグ、小銭入れ、結婚式の財布、jholas、市場で利用可能な袋の広い範囲があります。彼らが最も彼らの個性に合ったおしゃれなバッグを見たときは、常に女性の顔に笑顔を気づくことができます。彼らは確かにハンドバッグは何がよい来る買います。小銭入れには、ギフトの女性に最適なギフトの選択となっている。いくつかのメーカーがカスタムハンドバッグを提 ゴルフ用品 通販 [url=http://www.lavyan-index.com/]ゴルフクラブ 通販[/url] ゴルフ用品 通販,ゴルフクラブ 人気 [url=http://www.lavyan-index.com/]ゴルフ用品 通販[/url] ゴルフクラブ 人気,ゴルフクラブ 人気 [url=http://www.lavyan-index.com/]ゴルフクラブ 人気[/url] ゴルフクラブ 通販 供するそうであるようにあなたも、バッグや財布あなたが望むようにカスタマイズすることができます。あなたのアクセサリーをパーソナライズすることで、あなたはto.Gossipの女の子がアメリカであっても、世界中の非常に人気のテレビ番組でご希望の色や財布のタイプを遊ば アグブーツ最安通販 [url=http://narvoo.com/]アグブーツ最安通販[/url] アグブーツ最安通販,UGG ブーツ専門店 [url=http://narvoo.com/]UGG ブーツ専門店[/url] アグ ブーツ 激安,UGG ブーツ専門店 [url=http://narvoo.com/]アグ ブーツ 激安[/url] アグブーツ最安通販 すことができます。それは、あなたは今までのテレビ番組で示したもの絶妙に設計されたファッションハンドバッグにあなたの目を置くなかった、見栄えの良い女の子と男の子の不足だけでなく、彼らの派手な衣装やshoes.Howeverになることはありません?そうでない場合、私はあなたのeyes.Stuartワイツマンクラッチ、少しショルダーレザーバッグを目がくらむたかもしれないものファッションハンドバッグにあなたの詳細な分析を提供するつもりだとして心配しないで、ブレアと一緒 コーチ 財布 芸能人 [url=http://www.vestavaluation.com/]コーチ アウトレット[/url] コーチ バッグ 最安値,コーチ 財布 芸能人 [url=http://www.vestavaluation.com/]コーチ 財布 芸能人[/url] コーチ アウトレット,コーチ バッグ 最安値 [url=http://www.vestavaluation.com/]コーチ バッグ 最安値[/url] コーチ バッグ 最安値 に行くの高い頻度のディスプレイである。それは淡黄色のチョコレートからピンクの灰色の範囲で色の勾配の変化を備えた3層のクラッチバッグです。両方が微妙に設計された金の鎖で終わるのV字型のショルダーストラップは、バッグに取り付けられている。全体的な見通しのデザインは中央に固定された光沢のある銀コーティングバッジと整頓とは明らかである。 <a href=http://www.unitedfcbermuda.com/>unitedfcbermuda</a> <a href=http://www.tiepassion.com/>tiepassion</a> <a href=http://www.lavyan-index.com/>lavyan-index</a> <a href=http://narvoo.com/>narvoo</a> <a href=http://www.vestavaluation.com/>vestavaluation</a>