М. Е. Жуковский - Математическая статистика

Московский физико-технический институт
факультет инноваций и высоких технологий

Математическая статистика

Лектор: М.Е. Жуковский

КОНСПЕКТ ЛЕКЦИЙ
автор: Александр Марков

26 мая 2017 г.

Содержание
1

Сходимость случайных векторов

3

2

Вероятностно-статистическая модель

6

3

Статистики. Непараметрические статистики

8

3.1

Определение статистики. Примеры . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

8

3.2

Непараметрические статистики . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

8

3.3

Ядерные оценки плотности . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

10

4

5

Параметические распределения. Оценки параметров

11

4.1

Определение и свойства оценок . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

11

4.2

Методы нахождения оценок . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

12

Способы сравнения статистик

16

5.1

Сравнения произвольных оценок . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

16

5.2

Поиск наилучшей оценки в классе несмещенных оценок . . . . . . . . . . . . . . . . . . . .

17

6

Оценка максимального правдоподобия

20

7

Условное математическое ожидание

23

7.1

Определение и свойства . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

23

7.2

Поиск УМО в абсолютно непрерывном случае . . . . . . . . . . . . . . . . . . . . . . . . .

26

7.3

Поиск наилучшей оценки в классе несмещенных оценок . . . . . . . . . . . . . . . . . . . .

27

8

9

10

11

Доверительные интервалы

31

8.1

Построение доверительных интервалов методом центральной статистики . . . . . . . . .

31

8.2

Асимптотические доверительные интервалы . . . . . . . . . . . . . . . . . . . . . . . . . .

32

Байесовские методы

33

9.1

Введение . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

33

9.2

Математическое описание байесовских методов. Сравнение подходов . . . . . . . . . . . .

33

Линейная регрессия

37

10.1

Линейная модель . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

37

10.2

Гауссовская линейная модель . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

39

Проверка гипотез

41

11.1

Построение критериев . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

41

11.2

Гипотезы в линейной регрессии . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

44

1

11.3

Критерии согласия . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

45

11.4

Байесовские критерии . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

48

2

1

Сходимость случайных векторов

Определение 1.1. Пусть 𝜉, 𝜉1 , . . . , 𝜉𝑛 — 𝑘-мерные случайные вектора. Как и в случае случайных
величин, существуют следующие виды сходимости:
п.н.

1. 𝜉𝑛 −−−→ 𝜉 если P(𝜉𝑛 → 𝜉) = 1 (сходимость почти наверное)
√︃
P

2. 𝜉𝑛 −
→ 𝜉 если ∀𝜀 > 0 : P(||𝜉𝑛 − 𝜉||2 > 𝜀) → 0, где ||𝑥||𝑡 =

𝑡

𝑘
∑︀

|𝑥𝑖 |𝑡 для 𝑥 = (𝑥1 , . . . , 𝑥𝑘 ) ∈ R𝑘

𝑖=1

(сходимость по вероятности)
𝑑

3. 𝜉𝑛 −
→ 𝜉 если для любой непрерывной ограниченной функции 𝑓 : R𝑘 → R верно E𝑓 (𝜉𝑛 ) → E𝑓 (𝜉)
(сходимость по распределению, слабая сходимость)
𝐿𝑝

𝑝

4. 𝜉𝑛 −−→ 𝜉 если E (||𝜉𝑛 − 𝜉||𝑝 ) → 0 (сходимость в 𝐿𝑝 )
Утверждение 1.0.1. Пусть 𝜉, 𝜉1 , . . . — случайные 𝑘-мерные вектора. Тогда верны следующие взаимосвязи между сходимостью векторов и их компонент:
⎧
⎫
п.н.
(𝑖) п.н.
⎪
⎪
⎪
𝜉𝑛 −−−→ 𝜉 ⎪
𝜉𝑛 −−−→ 𝜉 (𝑖)
⎪
⎪
⎪
⎪
⎬
⎨
P
P
⇐⇒ ∀𝑖 ∈ {1, . . . , 𝑘} 𝜉𝑛(𝑖) −
𝜉𝑛 −
→𝜉
→ 𝜉 (𝑖)
⎪
⎪
⎪
⎪
⎪
⎪
𝐿𝑝
⎪
⎪
𝐿𝑝
⎩𝜉 (𝑖) −
𝜉𝑛 −−→ 𝜉 ⎭
−→ 𝜉 (𝑖)
𝑛
Доказательство.

(𝑖)

1. сходимость почти наверное. ⇒: {𝜉𝑛 → 𝜉 (𝑖) } ⊃ {𝜉𝑛 → 𝜉} и вероятность собы-

тия справа равна 1.
𝑘
⋂︀
(𝑗)
⇐: {𝜉𝑛 → 𝜉} =
{𝜉𝑛 → 𝜉 (𝑗) } (известно из матана) и вероятность справа просто равна 1.
𝑗=1
(𝑖)

2. сходимость по вероятности. ⇒: {|𝜉𝑛 − 𝜉 (𝑖) | > 𝜀} ⊂ {||𝜉𝑛 − 𝜉||2 > 𝜀}
𝑘
⋃︀
(𝑖)
⇐:
{|𝜉𝑛 − 𝜉 (𝑖) | > 𝑘𝜀 } ⊃ {||𝜉𝑛 − 𝜉|| > 𝜀}
𝑖=1

3. сходимость в 𝐿𝑝 . Очевидна цепочка неравенств
⃒
⃒𝑝 ⃒
⃒𝑝
⃒
⃒𝑝
⃒
⃒
⃒
⃒
⃒
⃒
0 6 ⃒𝜉𝑛(𝑖) − 𝜉 (𝑖) ⃒ 6 ⃒𝜉𝑛(1) − 𝜉 (1) ⃒ + . . . + ⃒𝜉𝑛(𝑘) − 𝜉 (𝑘) ⃒
Тогда ⇐ следует из линейности мат.ожидания, а ⇒ из свойства мат.ожидания 𝑓 6 𝑔 ⇒ E𝑓 6 E𝑔.

Напоминание: критерием сходимости по распределению может служить теорема --">