Statystyka matematyczna/Metoda największej wiarygodności

Metoda największej wiarygodności

---

Licencja

Autor: Mirosław Makowiecki Absolwent UMCS Fizyki Komputerowej Uniwersytetu Marii Curie-Skłodowskiej w Lublinie Email: miroslaw(kropka)makowiecki(małpa)gmail(kropka)pl Dotyczy: książki, do której należy ta strona, oraz w niej zawartych stron i w nich podstron, a także w nich kolumn, wraz z zawartościami. Użytkownika książki, do której należy ta strona, oraz w niej zawartych stron i w nich podstron, a także w nich kolumn, wraz z zawartościami nie zwalnia z odpowiedzialności prawnoautorskiej nieprzeczytanie warunków licencjonowania. Umowa prawna: Creative Commons: uznanie autorstwa, na tych samych warunkach, z możliwością obowiązywania dodatkowych ograniczeń. Autor tej książki dołożył wszelką staranność, aby informacje zawarte w książce były poprawne i najwyższej jakości, jednakże nie udzielana jest żadna gwarancja, czy też rękojma. Autor nie jest odpowiedzialny za wykorzystanie informacji zawarte w książce, nawet jeśli wywołaby jakąś szkodę, straty w zyskach, zastoju w prowadzeniu firmy, przedsiębiorstwa lub spółki bądź utraty informacji, niezależnie czy autor (a nawet Wikibooks) został powiadomiony o możliwości wystąpienie szkód. Informacje zawarte w książce mogą być wykorzystane tylko na własną odpowiedzialność.

---

---

Spis treści
1Iloraz wiarygodności, funkcje i logarytmiczne funkcje wiarygodności 2Estymatory o minimalnym obciążeniu względem parametru λ 3Estymacja dla jednego estymowanego parametru 4Estymacja dla kilku estymowanych parametrów

Metoda najmniejszej wiarygodności zajmuje się gęstością uzyskania danego pomiaru w zależności od estymowanego parametru, a także zajmuje się ilorazem wiarygodności, czy nawet funkcją wiarygodności zależącą od parametru estymowanego ${\vec {\lambda }}$.

Iloraz wiarygodności, funkcje i logarytmiczne funkcje wiarygodności

Niech estymowanym parametrem będzie n-wymiarowy wektor, to wartość oczekiwana estymatora S(x₁,x₂,...,x_n) (6.1), którego elementy można przedstawić w postaci ogólnej λ_i:

${\vec {\lambda }}=(\lambda _{1},\lambda _{2},...,\lambda _{n})$

(7.1)

A także niech mamy też macierz o "n" kolumnach, który każdy wiersz przedstawia "n" wyników uzyskanych w wyniku doświadczenia, który każdy taki pomiar charakteryzuje inną wielkość fizyczną, a tych serii jednoczesnych pomiarów różnych wielkości fizycznych jest "m":

$\mathbf {x} =(\mathbf {x} _{1},\mathbf {x} _{2},...,\mathbf {x} _{n})={\begin{bmatrix}x_{11}&x_{21}&\cdots &x_{n1}\\x_{12}&x_{22}&\cdots &x_{n2}\\\vdots &\vdots &\ddots &\vdots \\x_{1m}&x_{2m}&\cdots &x_{nm}\end{bmatrix}}$

(7.2)

Niech mamy gęstość prawdopodobieństwa, że w pomiarze uzyskamy ściśle określony macierz pomiarów (x₁,x₂,...,x_n) (7.2) w zależności od estymowanego wektora (λ₁,λ₂,...,λ_n) napisanych w punkcie (7.1), zatem nasz rozważany obiekt statystyczny można napisać ogólnie:

$\rho =f(\mathbf {x} ,{\vec {\lambda }})$

(7.3)

Infinitezymalne prawdopodobieństwo uzyskania jednocześnie macierzy pomiarów dla macierzy o "n" kolumnach różnych "n" wielkości fizycznych (7.2) w kolejnych seriach jest:

$dP=f(\mathbf {x} ,{\vec {\lambda }})d\mathbf {x}$

(7.4)

Jeśli nasze doświadczenie jest przeprowadzone w n-próbach, to nasze infinitezymalne prawdopodobieństwo, w analogii do wzoru (7.4) uzyskania różnych wielkości fizycznych wyników pomiarów w danej próbie w zależności od numeru próby "i" i wektora parametrów estymowanych (7.1) jest napisana według wyrażenia zależnego od wspomnianego wskaźnika:

$dP^{i}=f(\mathbf {x} ^{i},{\vec {\lambda }})$

(7.5)

Wektor uzyskania wyników n różnych pomiarów uzyskanych w danej próbie o numerze "i" jest przestawiona symbolem $\mathbf {x} ^{i}$, która jest wielkością statystyczną napisanej w punkcie (7.5).

Ilorazem wiarygodności nazywamy iloraz iloczynu N funkcji gęstości prawdopodobieństwa, których każda zależy od wektora n-wymiarowego pomiarów różnych wielkości fizycznych (7.2) uzyskanych w danej próbie, dla którego ta gęstość prawdopodobieństwa dotyczy. Natomiast wszystkie te gęstości prawdopodobieństwa zależą od tego samego wektora estymowanych parametrów (7.1). Należy pamiętać, że w ilorazie wiarygodności w mianowniku występuje ten sam wyraz co w liczniku, ale dla innego wektora estymowanych parametrów estymowanych ${\vec {\lambda }}_{2}\;$:

$Q={{\prod _{i=1}^{N}f(\mathbf {x} ^{i},{\vec {\lambda }}_{1})} \over {\prod _{i=1}^{N}f(\mathbf {x} ^{i},{\vec {\lambda }}_{2})}}$

(7.6)

Funkcją wiarygodności nazywamy funkcję zdefiniowanej w postaci iloczynu funkcji gęstości prawdopodobieństwa dla poszczególnych prób "i" przy danym wektorze parametru estymowanego, których jak powiedziano wcześniej, każda taka gęstość prawdopodobieństwa zależy od wektora pomiarów (7.1) wykonanych w danej próbie o numerze "i"

$L=\prod _{i=1}^{N}f(\mathbf {x} ^{i},{\vec {\lambda }})$

(7.7)

Logarytmiczną funkcją wiarygodności nazywamy logarytm naturalny funkcji wiarygodności L zdefiniowanych w punkcie (7.7), która jak można udowodnić, można ją przedstawić jako suma logarytmów gęstości prawdopodobieństwa dla poszczególnych prób:

$l=\ln L=\ln \prod _{i=1}^{N}f(\mathbf {x} ^{i},{\vec {\lambda }})=\sum _{i=1}^{N}\ln f(\mathbf {x} ^{i},{\vec {\lambda }})$

(7.8)

Pochodną logarytmiczną gęstości prawdopodobieństwa dla próby i-tej nazywamy funkcję, która jest pochodną kierunkową funkcji logarytmicznej (7.8) względem parametru estymowanego ${\vec {\lambda }}\;$  i jak można udowodnić, że jest to iloraz pochodnej kierunkowej funkcji gęstości prawdopodobieństwa policzonej przy parametrze ${\vec {\lambda }}\;$ podzielonej przez funkcję gęstości prawdopodobieństwa "f":

$\varphi (\mathbf {x} ^{i},{\vec {\lambda }})={{d\ln f(\mathbf {x} ^{i},{\vec {\lambda }})} \over {d{\vec {\lambda }}}}={{1} \over {f(\mathbf {x} ^{i},{\vec {\lambda }})}}{{df(\mathbf {x} ^{i},{\vec {\lambda }})} \over {d{\vec {\lambda }}}}={{f_{\vec {\lambda }}^{'}} \over {f}}={{\nabla \cdot f} \over {f}}$

(7.9)

W rozważanym wzorze przyjmowaliśmy, że: $\varphi (\mathbf {x} ^{i},{\vec {\lambda }});$ jest to pochodna logarytmiczna gęstości prawdopodobieństwa względem parametru estymowanego (7.1) dla próby i-tej. Wielkość statystyczna $\varphi (\mathbf {x} ^{i},{\vec {\lambda }})\;$ jest wektorem n-wymiarowym, i posiada elementów tyle co ilość estymowanych elementów wektora (7.1). Zatem pochodna funkcji logarytmicznej (7.8) nazywamy funkcję:

$l_{\vec {\lambda }}^{'}=\sum _{i=1}^{N}\varphi ({\vec {x^{i}}},{\vec {\lambda }})=\sum _{i=1}^{N}{{f_{\vec {\lambda }}^{'}} \over {f}}$

(7.10)

Gdy rozważamy logarytmiczną funkcją wiarygodności (7.8), to możemy wyznaczyć najlepsze parametry estymowane (7.1), w tym celu należy wyznaczyć pochodną cząstkową względem parametru $\lambda$, jeśli parametrów estymowanych jest jeden, dla danego elementu jednowymiarowego wektora estymowanego, dla której logarytmiczna funkcja wiarygodności przejmuje wartość ekstremalną (w tym przypadku maksymalną), dla której pochodna funkcji logarytmicznej funkcji warygodności przyjmuje wartość zero. W ogólnym przypadku, gdy wektor estymowanych parametrów nie jest jednowymiarowy, tylko ma n-parametrów, to pochodna kierunkowa funkcji (7.8) względem wektora parametrów estymowanych (7.1), który jest jak w matematyce napisana z definicji, jest równy n-wymiarowemu wektorowi, która każdy taki element przedstawia pochodną cząstkową funkcji "l" względem innej współrzędnej ${\vec {\lambda }}\;$.

${{\partial l} \over {\partial {\vec {\lambda }}}}={\vec {0}}\Rightarrow {{\partial l} \over {\partial \lambda _{i}}}=0{\mbox{ dla i=1,2,...,n}}$

(7.11)

Jeśli chcemy wyznaczyć najbardziej prawdopodobne parametry estymowane, to każdą taką pochodną cząstkową w n-wymiarowym wektorze należy przyrównać do zera i mając n równań możemy wyznaczyć te parametry.

Estymatory o minimalnym obciążeniu względem parametru λ

Estymator S (6.1) nazywamy nieobciążonym, jeśli jego wartość oczekiwana jest równa wartości estymowanego parametru. Wariancja estymowanego parametru zgodnie (6.3) wynosi zero, jeśli ten estymator jest zgodny. Ale my tym razem przyjmijmy, że tak nie jest, ale weźmy tym razem, że funkcja B(λ) (definicja poniżej) jest liczbą możliwie najmniejszą (nie musi być równa zero), wtedy jego pochodna zupełna względem tego parametru estymowanego przyjmowała wartość zero (ale tym razem parametr estymowany (7.1) jest wektorem jednoelementowym, niż w poprzednim podrozdziale). Funkcję B(λ) definiujemy jako różnicę wartości estymatora S i wartości estymowanej λ.

$B(\lambda )=E(S)-\lambda \;$

(7.12)

Powyższe stwierdzenia są niewystarczający by stwierdzić, by S był dobrym estymatorem, należało by także zażądać, by wariancja estymowanego parametru $\sigma (S)\;$ przyjmowała wartość najmniejszą, a w szczególnym przypadku ma przyjmować wartość według wzoru napisanego (6.3).

Aby wyznaczyć funkcję rozkładu gęstości prawdopodobieństwa w N próbach przy pomocy cząstkowych funkcji rozkładu w poszczególnych próbach gęstości prawdopodobieństwa, których każda zależy od wektora pomiarów w danej próbie i od jednakowego jednowymiarowego parametru estymowanego:

$f(\mathbf {x} ^{1},\mathbf {x} ^{2},...,\mathbf {x} ^{N},\lambda )=f(\mathbf {x} ^{1},\lambda )f(\mathbf {x} ^{2},\lambda )\cdot ...\cdot f(\mathbf {x} ^{N},\lambda )=\prod _{i=1}^{N}f(\mathbf {x} ^{i},\lambda )\;$

(7.13)

Wartość oczekiwania naszego estymatora S, która jest napisana względem N wektorów pomiarów napisanej dla każdej próby, względem funkcji prawdopodobieństwa zdefiniowanej w punkcie (7.13) i ta wielkość statystyczna przyjmuje postać:

$E(S)=\int S(\mathbf {x} ^{1},...,\mathbf {x} ^{N})\prod _{i=1}^{N}f(\mathbf {x} ^{i},\lambda )d\mathbf {x} ^{i}\;$

(7.14)

Po zróżniczkowaniu wartości oczekiwanej (7.14) w względem parametru estymowanego λ i wykorzystując przy tym tożsamość (7.12):

$E_{\lambda }^{'}(S)=1+B^{'}(\lambda )=\int \left(S\sum _{i=1}^{N}{{f^{'}(\mathbf {x} ^{'},\lambda )} \over {f(\mathbf {x} ^{i},\lambda )}}\right)\prod _{i=1}^{N}f(\mathbf {x} ^{i},\lambda )d\mathbf {x} ^{i}=E\left\{S\sum _{i=1}^{N}{{f^{'}(\mathbf {x} ^{i},\lambda )} \over {f(\mathbf {x} ^{i},\lambda )}}\right\}=E\left\{S\sum _{i=1}^{N}\varphi (\mathbf {x} ^{i},\lambda )\right\}\;$

(7.15)

Korzystając z definicji (7.10) na pochodną logarytmiczną gęstości funkcji prawdopodobieństwa obowiązującego w N próbach razem, który napiszemy dla jednej wartości estymowanej λ, czyli funkcja l^', wtedy wzór (7.15) przechodzi w równoważne równanie:

$1+B^{'}(\lambda )=E\left\{Sl^{'}\right\}\;$

(7.16)

Całkowita gęstość prawdopodobieństwa uzyskania jakikolwiek wyniku dla ściśle określonej próby jest ściśle określona i jest równa 1, co powinno być zrozumiałe zgodnie definicją gęstości funkcji prawdopodobieństwa:

$\int f(\mathbf {x} ^{i},\lambda )d\mathbf {x} ^{i}=1\;$

(7.17)

Znając własność (7.17), to całkowita gęstość prawdopodobieństwa uzyskania jakikolwiek wyniku w n-próbach, jak można udowodnić dla całej całej przestrzeni też jest równe jeden.

$\int \prod _{i=1}^{N}f(\mathbf {x} ^{i},\lambda )d\mathbf {x} ^{i}=\prod _{i=1}^{N}\int f(\mathbf {x} ^{i},\lambda )d\mathbf {x} ^{i}=\prod _{i=1}^{N}1=1\;$

(7.18)

Według tożsamości wynikających z obliczeń (7.18) jesteśmy pewni przepisując nasz wniosek, że jest spełniony wzór:

$\int \prod _{i=1}^{N}f(\mathbf {x} ^{i},\lambda )d\mathbf {x} ^{i}=1\;$

(7.19)

Różniczkując za pomocą pochodnej cząstkowej tożsamość udowodnioną wcześniej i przedstawionej w punkcie (7.19) względem parametru λ, który jest estymowanym parametrem, wtedy dostajemy inną równoważną tożsamość, jeśli przy tym wykorzystamy wzór (7.10) i policzymy jego wartość oczekiwaną, którą jak udowodnimy w naszym przypadku jest równa zero:

$\int \sum _{i=1}^{N}{{f^{'}(\mathbf {x} ^{i},\lambda )} \over {f(\mathbf {x} ^{i},\lambda )}}\prod _{i=1}^{N}f(\mathbf {x} ^{i},\lambda )d\mathbf {x} ^{i}=E(l^{'})=0\;$

(7.20)

Doszliśmy do wniosku, że wartość oczekiwana funkcji l^' jest równa na pewno zero. Zgodnie ze wzorem (7.16) i tożsamości udowodnionej (7.20), która jest równa zero, co wykorzystamy poniżej, zatem dochodzimy do wniosku, że zachodzi inna tożsamość, ale wynikającego z poprzednich rozważań:

$1+B^{'}(\lambda )=E\{Sl^{'}\}=E\{Sl^{'}\}-E(S)E(l^{'})=E\{Sl^{'}\}-E\{E(S)l^{'}\}=E\{Sl^{'}-E(S)l^{'}\}=E\{(S-E(S))l^{'}\}\;\;$

(7.21)

Napiszmy pomocnicze wyrażenie poniżej, które trywialnie można udowodnić. Jak wiemy lewa strona równości na podstawie, że (ax+y)² jest zawsze dodatnia. Z dodatniości gęstości prawdopodobieństwa wynika, że wartość oczekiwana E[(ax+y)²] jest wielkością zawsze dodatnią dla każdego parametru "a":

$0\leq E[(ax+y)^{2}]=a^{2}E(x^{2})+2aE(xy)+E(y^{2})\;$

(7.22)

Z powyższych oczekiwań wartość oczekiwana (7.22) ma wartość zawsze nieujemną, tzn. powyższe równanie można potraktować jako dwumian kwadratowy względem parametru "a", którego Δ jest zawsze niedodatnia przy parametrze a≥ 0, wtedy równanie kwadratowe (7.22) przyjmuje wartości nieujemne:

$0\geq \Delta =4E^{2}(xy)-4E(x^{2})E(y^{2})\;$

(7.23)

Ze wzoru (7.23) dochodzimy do wniosku, że spełnione jest równanie wynikające ze wspomnianej nierówności:

$E^{2}(xy)\leq E(x^{2})E(y^{2})\;$

(7.24)

Nierówność (7.24) jest nazywana nierównością Cauchy-Schwarza. Korzystając z nierówności (7.24) dochodzimy do wniosku, że według wzoru (7.21) można wywnioskować pewną nierówność:

$[1+B^{'}(\lambda )]^{2}=E^{2}[(S-E(S))l^{'}]\leq E[(S-E(S))^{2}]E({l^{'}}^{2})\;$

(7.25)

Policzmy wartość oczekiwaną kwadratu wartości funkcji (7.10), z oczywistych powodów możemy napisać przekształcając to właśnie wyrażenie:

$E({l^{'}}^{2})=E\left\{\left(\sum _{i=1}^{N}\varphi (\mathbf {x} ^{i},\lambda )\right)^{2}\right\}=E\left\{\sum _{i=1}^{N}\varphi ^{2}(\mathbf {x} ^{i},\lambda )\right\}+2E\left\{\sum _{i\neq j}\varphi ({\vec {x^{i}}},\lambda )\varphi (\mathbf {x} ^{j},\lambda )\right\}\;$

(7.26)

Policzmy drugi wyraz równości w końcowych obliczeniach w punkcie (7.26), który jak się przekonamy jest równa zero. Oczywiście wartość oczekiwana funkcji φ dla różnych prób jest równa iloczynowi wartości oczekiwanych dla każdej z prób z osobna. Dlatego tak się dzieje, ponieważ wartości oczekiwane są liczone względem n-wymiarowego wektora pomiarów, dla każdej niezależnej próby pomiarów, zatem na podstawie wzoru (5.9) można tak zrobić.

$E[\varphi (\mathbf {x} ^{i},\lambda )\varphi (\mathbf {x} ^{j},\lambda )]=E[\varphi (\mathbf {x} ^{i},\lambda )]E[\varphi (\mathbf {x} ^{j},\lambda )]\;$

(7.27)

Dla każdego czynnika wyrażenia występującego w równaniu (7.27), korzystając przy tym ze wzoru (7.9) i normowania funkcji gęstości prawdopodobieństwa dla i-tej próby (7.17), dochodzimy więc do wniosku:

$E[\varphi (\mathbf {x} ^{,}\lambda )]=\int {{f^{'}(\mathbf {x} ^{i},\lambda )} \over {f(\mathbf {x} ^{i},\lambda )}}f(\mathbf {x} ^{i},\lambda )d\mathbf {x} ^{i}=\int f^{'}(\mathbf {x} ^{i},\lambda )d\mathbf {x} ^{i}={{d} \over {d\lambda }}\int f(\mathbf {x} ^{i},\lambda )d\mathbf {x} ^{i}={{d} \over {d\lambda }}1=0\;$

(7.28)

Ostatecznie wyrażenie (7.26) na podstawie obliczeń (7.27), a potem (7.28), przyjmuje postać:

$E({l^{'}}^{2})=E\left\{\sum _{i=1}^{N}\varphi ^{2}(\mathbf {x} ^{i},\lambda )\right\}=E\left\{\sum _{i=1}^{N}\left({{f^{'}(\mathbf {x} ^{i},\lambda )} \over {f(\mathbf {x} ^{i},\lambda )}}\right)^{2}\right\}\;$

(7.29)

Wiadomo, jednak ze wzoru (7.9) i jeśli z niego policzymy wartość oczekiwaną i na podstawie oczywistej tożsamości (7.17) można oczywiście udowodnić, że ta tożsamość jest zapisywana:

$E[\varphi (\mathbf {x} ^{i},\lambda )]=E\left({{f^{'}(\mathbf {x} ^{i},\lambda )} \over {f(\mathbf {x} ^{i},\lambda }}\right)=\int {{f^{'}(x^{i},\lambda )} \over {f(x^{i},\lambda )}}f(x^{i},\lambda )dx^{i}=0\;$

(7.30)

Wyznaczmy tożsamość napisana poniżej, która będzie nam bardzo potrzebna w poniższych obliczeniach, zatem korzystając z wiadomości z rachunku na pochodnych:

$0=\int {{d} \over {d\lambda }}\left[\left({{f^{'}} \over {f}}\right)f\right]=\int {{{f^{'}}^{2}} \over {f}}+f({{f^{'}} \over {f}})^{'}=\int \left\{\left({{f^{'}} \over {f}}\right)^{2}+\left({{f^{'}} \over {f}}\right)^{'}\right\}fdx=E\left\{\left({{f^{'}} \over {f}}\right)^{2}\right\}+E\left\{\left({{f^{'}} \over {f}}\right)^{'}\right\}\Rightarrow \;$
$\Rightarrow E\left\{\left({{f^{'}} \over {f}}\right)^{2}\right\}=-E\left\{\left({{f^{'}} \over {f}}\right)^{'}\right\}\;$

(7.31)

Korzystając ze wzoru (7.31) wyrażenie (7.29) możemy zapisać w innej równoważnej postaci do niego:

$E({l^{'}}^{2})=E\left\{\sum _{i=1}^{N}\left({{f^{'}(x^{i},\lambda )} \over {f(x^{i},\lambda )}}\right)^{2}\right\}=-E\left\{\left({{f^{'}(x^{i},\lambda )} \over {f(x^{i},\lambda )}}\right)^{'}\right\}=-E(l^{''})\;$

(7.32)

Zdefiniujmy podstawienie jako funkcję I(λ) zależącej od wartości oczekiwanej funkcji l^'2 zdefiniowanej w punkcie (7.32), zatem:

$I(\lambda )=E({l^{'}}^{2})\;$

(7.33)

Wariancji estymatora S zdefiniowana jako wartość oczekiwana kwadratu odchylenia (S-E(S))² względem gęstości prawdopodobieństwa n-prób (7.13) piszemy wedle schematu:

$E\left[(S-E(S))^{2}\right]=\sigma ^{2}(S)\;$

(7.34)

oraz z (7.33), dostajemy wzór:

$\left\{1+B^{'}(\lambda )\right\}^{2}\leq E\left[(S-E(S))^{2}\right]E({l^{'}}^{2})=\sigma ^{2}(S)I(\lambda )\;$

(7.35)

Jeśli wykorzystamy udowodnioną nierówność (7.25) a potem z definicji wariancji estymatora S i oznaczenia (7.33), dochodzimy wtedy do wniosku:

$\sigma ^{2}(S)\geq {{(1+B^{'}(\lambda ))^{2}} \over {I(\lambda )}}\;$

(7.36)

Powyższą nierówność nazywamy nierównością informacyjną. Jeśli B(λ) jest zdefiniowana według wzoru (7.12) i przyjmuje wartość najmniejszą, wtedy mamy najlepsze dopasowanie parametru estymowanego λ z warunkiem ekstremum B^'(λ)=0, to wzór (7.36) ze znikającą pierwszą pochodną funkcji B(λ) jest zapisywany:

$\sigma ^{2}(S)\geq {{1} \over {I(\lambda )}}\;$

(7.37)

Zapytajmy siebie, jaka jest najmniejsze ograniczenie na B^'(λ), co zachodzi to wtedy, gdy σ(S) zdefiniowanej wedle wzoru (7.34) przyjmuje wartość najmniejszą, czyli według wzoru (7.25), którego nierówność należy zastąpić równością, wtedy wyróżnik trójmianu (7.23) przyjmuje wartość równą zero. Na podstawie wiadomości z algebry dostajemy, że wartość oczekiwana wyrażenia (a+y)² jest równa zero, tzn. zachodzi:

$E[(ax+y)^{2}]=0\;$

(7.38)

W którym położono na podstawie wcześniejszych rozważań, że x=S-E(S) oraz y=l^', to ze wzoru (7.38) można powiedzieć na pewno z nieujemności gęstości prawdopodobieństwa, dzięki której liczymy wartość oczekiwaną, otrzymujemy że wyrażenie z której liczymy wartość oczekiwaną jest równa zero.

$E\left[\left(a(S-E(S))+l^{'}\right)^{2}\right]=0\Rightarrow \left(a(S-E(S))+l^{'}\right)^{2}=0\Rightarrow l^{'}+(-A(\lambda ))(S-E(S))=0\;$

(7.39)

To wtedy z tożsamości końcowej (7.39) możemy wyznaczyć wyrażenie na l^', które możemy napisać:

$l^{'}=A(\lambda ))(S-E(S))\;$

(7.40)

Wyrażenie (7.40) możemy przecałkować obustronnie względem parametru estymowanego λ, otrzymując końcowe wyrażenie zależne od estymatora S i stałych zależnych lub niezależnych od parametru λ, zatem:

$l=\int l^{'}d\lambda =C(\lambda )S+D(\lambda )+D\;$

(7.41)

Ze wzoru (7.8) oraz z wyprowadzonego wyrażenia (7.41) możemy napisać funkcję L, którą zapiszemy poniżej, która jest gęstością prawdopodobieństwa uzyskania pewnych pomiarów w N próbach, wyrażona wzorem:

$L=e^{l}=de^{C(\lambda )S+D(\lambda )}\;$

(7.42)

Korzystamy ze wzoru (7.40), wtedy wartość oczekiwana tego wyrażenia względem gęstości prawdopodobieństwa N prób jest napisana:

$E({l^{'}}^{2})=A^{2}(\lambda )E[(S-E(S))^{2}]\;$

(7.43)

Jeśli wyrażenie na wartość oczekiwaną l^'2 podstawimy do nierówności (7.37), która staje się nierównością dla najmniejszego z możliwych dla wariacji σ(S) i biorąc definicję funkcji I(λ) (7.33), wtedy dostajemy nierówność na to obciążenie estymatora S:

$\sigma ^{2}(S)={{1} \over {I(\lambda )}}={{1} \over {E({l^{'}}^{2})}}={{1} \over {A^{2}(\lambda )E[(S-E(S))^{2}]}}={{1} \over {A^{2}(\lambda )\sigma ^{2}(S)}}\;$

(7.44)

Mnożąc obustronnie przez σ²(S) równość (7.44), wtedy dostajemy równoważny wzór:

$\sigma ^{4}(S)={{1} \over {A^{2}(\lambda )}}\;$

(7.45)

Co pierwiastkując obustronnie pierwiastkiem drugiego stopnia równość (7.45), wtedy dostajemy że najmniejsza wariancja estymatora S spełnia warunek:

$\sigma ^{2}(S)={{1} \over {|A(\lambda )|}}\;$

(7.46)

Czyli najmniejsza wartość dla wariancji estymatora S dla której zachodzi warunek (7.46) zależy od parametru λ wartości estymowanej.

Estymacja dla jednego estymowanego parametru

Niech pochodna funkcji wiarygodności (7.7) w punkcje parametru estymatora λ₀ jest równa zero, a która jest pochodną funkcją gęstości prawdopodobieństwa dla N-prób (7.7) w tym punkcie, bo mamy doczynienia z parametrem λ najbardziej prawdopodobnym, czyli dla tej wartości funkcja gęstości prawdopodobieństwa dla N-prób (7.7) przyjmuje wartość maksymalną z wiadomości o ekstremum z analizy matematycznej.

$l^{'}(\lambda _{0})=\sum _{i=1}^{N}\left({{f^{'}(\mathbf {x} ^{i},\lambda )} \over {f(\mathbf {x} ^{i},\lambda )}}\right)_{\lambda _{0}}=0$

(7.47)

Drugą pochodną "l" względem najbardziej prawdopodobnego parametru λ₀można wyrazić w innej postaci, jeśli skorzystamy ze wzoru (7.32) i potem po wyrażeniu jej w końcu przy pomocy wyrażenia (7.33) w wspomnianym punkcie, co ta wielkość jest wielkością stałą, zatem możemy ją wyrazić względem parametru b^-2.

$l^{''}(\lambda _{0})=E\left\{\left({{f^{'}(\mathbf {x} ^{i},\lambda )} \over {f(\mathbf {x} ,\lambda )}}\right)^{2}\right\}=E(l^{''})=-E({l^{'}}^{2})=-I(\lambda _{0})=-b^{-2}$

(7.48)

Rozłóżmy pochodną logarytmicznej funkcji wiarygodności (7.8) w szereg Taylora korzystając wtedy z obliczeń (7.48), dostajemy równość:

$l^{'}(\lambda )=l^{'}(\lambda _{0})+l^{''}(\lambda _{0})(\lambda -\lambda _{0})+...=-{{(\lambda -\lambda _{0})} \over {b^{2}}}$

(7.49)

We wzorze (7.49) z korzystaliśmy, ze pierwsza pochodna (7.47) przyjmuje wartość zerową dla punktu λ, a także korzystaliśmy ze wzoru (7.48), która jest wyznaczona dla punktu λ₀, zatem logarytmiczna funkcja wiarygodności na podstawie obliczeń (7.49), dla której policzymy całkę wspomnianego wyrażenia względem parametru λ, przedstawia się ona wzorem:

$l(\lambda )=\int l^{'}d\lambda =-\int {{(\lambda -\lambda _{0})} \over {b^{2}}}=-{{(\lambda -\lambda _{0})^{2}} \over {2b^{2}}}$

(7.50)

Funkcja wiarygodności (7.7) wychodząc ze wzoru (7.50) przyjmuje kształt:

$L(\lambda )=Ae^{-{{(\lambda -\lambda )^{2}} \over {2b^{2}}}}$

(7.51)

Wzór (7.51) nazywamy rozkładem normalnym (Gaussa).

Estymacja dla kilku estymowanych parametrów

Funkcje wiarygodności można potraktować również jako funkcję n-wielowymiarowego wektora ${\vec {\lambda }}\;$ parametrów estymowanych, które są podane w punkcie poniżej:

${\vec {\lambda }}=(\lambda _{1},...,\lambda _{n})$

(7.52)

Rozłóżmy funkcje wiarygodności (7.8) w szereg Taylora dla wielu zmiennych względem λ_i, dostając:

$l({\vec {\lambda }}_{0})=l({\vec {\lambda }}_{0})+\sum _{i=1}^{n}\left({{\partial l} \over {\partial \lambda _{i}}}\right)_{{\vec {\lambda }}_{0}}\left(\lambda _{i}-(\lambda _{0})_{i}\right)+{{1} \over {2}}\sum _{i,j=1}^{n}\left({{\partial ^{2}l} \over {\partial \lambda _{i}\partial \lambda _{j}}}\right)_{{\vec {\lambda }}_{0}}\left[\lambda _{i}-(\lambda _{0})_{i}\right]\left[\lambda _{j}-(\lambda _{0})_{j}\right]+...$

(7.53)

Pierwsze pochodne przyjmują wartość zerową, ponieważ parametry λ_0i są najbardziej prawdopodobne zgodnie (7.11), czyli są tak dobrane, by funkcja wiarygodności osiągała wartość maksymalną.

Można udowodnić, że funkcja logarytmiczna wiarygodności wynikających z obliczeń (7.53) przyjmuje ową postać:

$l({\vec {\lambda }})=l({\vec {\lambda }}_{0})-{{1} \over {2}}({\vec {\lambda }}-{\vec {\lambda }}_{0})^{T}B({\vec {\lambda }}-{\vec {\lambda }}_{0})+...$

(7.54)

W logarytmicznej funkcji wiarygodności (7.54) obrywamy wszystkie wyrazy, które są pochodnymi większego rzędu niż dwa, zatem funkcja wiarygodności (7.7) w tym przypadku przyjmuje takową postać:

$L=Ae^{-{{1} \over {2}}({\vec {\lambda }}-{\vec {\lambda }}_{0})^{T}B({\vec {\lambda }}-{\vec {\lambda }}_{0})}$

(7.55)

Macierz B we wzorze na funkcję wiarygodności (7.55) jest zależna od drugich pochodnych logarytmicznej funkcji wiarygodności (7.8), która ta macierz jest wzięta z minusem:

$B=-{\begin{pmatrix}{{\partial ^{2}l} \over {\partial \lambda _{1}^{2}}}&{{\partial ^{2}l} \over {\partial \lambda _{1}\partial \lambda _{2}}}&\cdots &{{\partial ^{2}l} \over {\partial \lambda _{1}\partial \lambda _{n}}}\\{{\partial ^{2}l} \over {\partial \lambda _{2}\partial _{1}}}&{{\partial ^{2}l} \over {\partial \lambda _{2}^{2}}}&\cdots &{{\partial ^{2}l} \over {\partial \lambda _{2}\partial \lambda _{n}}}\\\vdots &\vdots &\ddots &\vdots \\{{\partial ^{2}l} \over {\partial \lambda _{n}\partial \lambda _{1}}}&{{\partial ^{2}l} \over {\partial \lambda _{n}\partial \lambda _{2}}}&\cdots &{{\partial ^{2}l} \over {\partial \lambda _{n}\partial \lambda _{n}}}\end{pmatrix}}$

(7.56)

Można udowodnić, że odwrotność macierzy (7.56) przyjmuje wygląd podanych według wzoru poniżej, który jakoby jest wartością oczekiwaną z pewnej funkcji macierzowej, która jest definicją kowariancji wedle jej definicji (4.34):

$B^{-1}=E(({\vec {\lambda }}-{\vec {\lambda }}_{0})^{T}({\vec {\lambda }}-{\vec {\lambda }}_{0})=C$

(7.57)

• Co powyższe twierdzenie jest udowodnione w rozdziale wielowymiarowym twierdzeniu normalnym, którego końcowy wynik jest podany w punkcie (13.21) oraz że wartością oczekiwaną rozkładu (7.55) jest wektor wartości dokładnych ${\vec {\lambda }}_{0}\;$ zmiennej wektorowej ${\vec {\lambda }}\;$.