Bodové odhady

Bodový odhad ${\hat{\theta }}_n$ parametru $\theta$ je funkce výběru $X_1,\dots ,X_n$ (náhodný vzorek) sloužící jako „odhad“ skutečné hodnoty $\theta$.

Vlastnosti odhadů

• Nevychýlenost (nestrannost)

$${\hat{\theta }}_n\text{ je nevychyˊlenyˊ, pokud }\mathbb{E}\left[{\hat{\theta }}_n\right]=\theta .$$

• Asymptotická nevychýlenost

$$\underset{n\to \infty }{\lim }\mathbb{E}\left[{\hat{\theta }}_n\right]=\theta .$$

• Konzistence

$${\hat{\theta }}_n\stackrel{P}{\to }\theta \text{(konverguje v pravdeˇpodobnosti).}$$

• Bias (vychýlení)

$$\mathrm{bias}\left({\hat{\theta }}_n\right)=\mathbb{E}\left[{\hat{\theta }}_n\right]-\theta .$$

• Střední kvadratická chyba (MSE)

$$\mathrm{MSE}\left({\hat{\theta }}_n\right)=\mathbb{E}[({\hat{\theta }}_n-\theta {)}^2]=\mathrm{bias}({\hat{\theta }}_n{)}^2+\mathrm{Var}({\hat{\theta }}_n).$$

---

Metoda momentů

1. Myšlenka:
   Pro parametrické rozdělení $F_{\theta }$ definujeme populární (teoretické) momenty

$$m_r(\theta )={\mathbb{E}}_{\theta }\left[X^r\right].$$

Spočítáme odpovídající výběrové momenty

$${\hat{m}}_r=\frac{1}{n}\sum _{i=1}^n{X}_i^r.$$

2. Postup:
   Vybereme tolik rovnic $m_r(\theta )={\hat{m}}_r$, kolik máme neznámých parametrů, a vyřešíme je pro ${\hat{\theta }}_n$.
3. Vlastnosti:
   • Odhady jsou obvykle konzistentní a asymptoticky nevychýlené.
   • Jednoduché na výpočet, ale nemusí být efektivní (větší rozptyl než MLE).
4. Příklad: Pro $\mathrm{Norm}(\mu ,{\sigma }^2)$ lze použít

$${\hat{m}}_1=\overline{X}=\frac{1}{n}\sum X_i,{\hat{m}}_2=\frac{1}{n}\sum X_i^2.$$

Z rovnic $\mu ={\hat{m}}_1,{\sigma }^2+{\mu }^2={\hat{m}}_2$ dostaneme odhady $\hat{\mu }=\overline{X}$, ${\hat{\sigma }}^2={\hat{m}}_2-{\overline{X}}^2$.

---

Metoda maximální věrohodnosti (MLE)

1. Myšlenka:
   Pravděpodobnost (hustota) pozorování $X_1=x_1,\dots ,X_n=x_n$ je

$$L(\theta )=\{\begin{array}{ll}{\prod }_{i=1}^{n}p(x_i;\theta ),& \text{diskreˊtnıˊ},\\ {\prod }_{i=1}^{n}f(x_i;\theta ),& \text{spojiteˊ}.\end{array}$$

Hledáme ${\hat{\theta }}_n=\arg {\max }_{\theta }L(\theta )$.
2. Log‐věrohodnost:

$$\ell (\theta )=\log L(\theta )=\sum _{i=1}^n\log p(x_i;\theta )\text{nebo}\sum _{i=1}^n\log f(x_i;\theta ).$$

Budeme řešit ${\ell }^{\prime }(\theta )=0$.
3. Vlastnosti MLE:

• Konzistence (za běžných podmínek).
• Asymptotická normalita:
  $\sqrt{n}({\hat{\theta }}_n-\theta )\stackrel{d}{\to }N(0,I(\theta {)}^{-1})$, kde $I(\theta )$ je Fisherova informace.
• Asymptotická efektivita: Dosahuje Cramér‐Rao dolní meze.

4. Příklad (Bernoulli):
   Data: $k$ úspěchů v $n$ pokusech.

$$L(\theta )={\theta }^k(1-\theta {)}^{n-k},\ell (\theta )=k\ln \theta +(n-k)\ln (1-\theta ).$$

Derivací:
${\ell }^{\prime }(\theta )=\frac{k}{\theta }-\frac{n-k}{1-\theta }=0\to {\hat{\theta }}_n=\frac{k}{n}$.