Ѐункция Ρ… Π² 4 стСпСни: Π“Ρ€Π°Ρ„ΠΈΠΊ y = f(x) = 4^x (4 Π² стСпСни Ρ…) постройтС Π³Ρ€Π°Ρ„ΠΈΠΊ Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΈ ΠΈ ΠΈΠ·ΠΎΠ±Ρ€Π°Π·ΠΈΡ‚Π΅ Π΅Π³ΠΎ. Π˜ΡΡΠ»Π΅Π΄ΡƒΠΉΡ‚Π΅ Π΄Π°Π½Π½ΡƒΡŽ Ρ„ΡƒΠ½ΠΊΡ†ΠΈΡŽ. [Π•ΡΡ‚ΡŒ ΠžΠ’Π’Π•Π’!]

Π‘ΠΎΠ΄Π΅Ρ€ΠΆΠ°Π½ΠΈΠ΅

Π€ΡƒΠ½ΠΊΡ†ΠΈΠΈ, ΠΈΡ… свойства ΠΈ Π³Ρ€Π°Ρ„ΠΈΠΊΠΈ.

1) Π§Ρ‚ΠΎ называСтся Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠ΅ΠΉ? НапримСр.

2) Π§Ρ‚ΠΎ Ρ‚Π°ΠΊΠΎΠ΅ ΠΎΠ±Π»Π°ΡΡ‚ΡŒ опрСдСлСния Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΈ?

3) Π§Ρ‚ΠΎ Ρ‚Π°ΠΊΠΎΠ΅ мноТСство Π·Π½Π°Ρ‡Π΅Π½ΠΈΠΉ Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΈ?

4) Какая функция называСтся Π²ΠΎΠ·Ρ€Π°ΡΡ‚Π°ΡŽΡ‰Π΅ΠΉ? НапримСр.

5) Какая функция называСтся ΡƒΠ±Ρ‹Π²Π°ΡŽΡ‰Π΅ΠΉ? НапримСр.

6) Какая функция называСтся Ρ‡Π΅Ρ‚Π½ΠΎΠΉ, Π½Π΅Ρ‡Π΅Ρ‚Π½ΠΎΠΉ? НапримСр.

7) КакоС свойство Π³Ρ€Π°Ρ„ΠΈΠΊΠΎΠ² Ρ‡Π΅Ρ‚Π½ΠΎΠΉ, Π½Π΅Ρ‡Π΅Ρ‚Π½ΠΎΠΉ Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΈ Π²Π°ΠΌ извСстны?

8) Π˜ΡΡΠ»Π΅Π΄ΠΎΠ²Π°Ρ‚ΡŒ Π½Π° Ρ‡Π΅Ρ‚Π½ΠΎΡΡ‚ΡŒ ΠΈ Π½Π΅Ρ‡Π΅Ρ‚Π½ΠΎΡΡ‚ΡŒ Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΈ y = x + ; y = x2 + 3x4 βˆ’ 2.

9) Какая функция называСтся Π»ΠΈΠ½Π΅ΠΉΠ½ΠΎΠΉ? ΠΠ°Π·Π²Π°Ρ‚ΡŒ Π΅Π΅ свойства.

10) Какая функция называСтся прямой ΠΏΡ€ΠΎΠΏΠΎΡ€Ρ†ΠΈΠΎΠ½Π°Π»ΡŒΠ½ΠΎΡΡ‚ΡŒΡŽ? ΠΠ°Π·Π²Π°Ρ‚ΡŒ Π΅Π΅ свойства.

11) Какая Π·Π°Π²ΠΈΡΠΈΠΌΠΎΡΡ‚ΡŒ получаСтся ΠΈΠ· Π»ΠΈΠ½Π΅ΠΉΠ½ΠΎΠΉ Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΈ, Ссли k = 0? ΠΠ°Π·Π²Π°Ρ‚ΡŒ Π΅Π΅

свойства.

12) Какая функция называСтся ΠΎΠ±Ρ€Π°Ρ‚Π½ΠΎΠΉ ΠΏΡ€ΠΎΠΏΠΎΡ€Ρ†ΠΈΠΎΠ½Π°Π»ΡŒΠ½ΠΎΡΡ‚ΡŒΡŽ? ΠΠ°Π·Π²Π°Ρ‚ΡŒ Π΅Π΅

свойства.

13) ΠΠ°Π·Π²Π°Ρ‚ΡŒ свойства Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΈ y = x

14) ΠΠ°Π·Π²Π°Ρ‚ΡŒ свойства Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΈ y = x 15) ΠΠ°Π·Π²Π°Ρ‚ΡŒ свойства Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΈ y =

16) Какая функция называСтся ΠΎΠ±Ρ€Π°Ρ‚ΠΈΠΌΠΎΠΉ?

17) Π”Π°Ρ‚ΡŒ ΠΎΠΏΡ€Π΅Π΄Π΅Π»Π΅Π½ΠΈΠ΅ Π²Π·Π°ΠΈΠΌΠΎΠΎΠ±Ρ€Π°Ρ‚Π½Ρ‹Ρ… Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΉ.

18) Как располоТСны Π³Ρ€Π°Ρ„ΠΈΠΊΠΈ Π΄Π²ΡƒΡ… Π²Π·Π°ΠΈΠΌΠΎΠΎΠ±Ρ€Π°Ρ‚Π½Ρ‹Ρ… Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΈ?

19) КаТдая Π»ΠΈ функция ΠΈΠΌΠ΅Π΅Ρ‚ сСбС ΠΎΠ±Ρ€Π°Ρ‚Π½ΡƒΡŽ Π½Π° своСй области опрСдСлСния?

НапримСр.

20) Π‘Ρ„ΠΎΡ€ΠΌΡƒΠ»ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ Π°Π»Π³ΠΎΡ€ΠΈΡ‚ΠΌ нахоТдСния Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΈ ΠΎΠ±Ρ€Π°Ρ‚Π½ΠΎΠΉ ΠΊ Π΄Π°Π½Π½ΠΎΠΉ.

21) Найти Ρ„ΡƒΠ½ΠΊΡ†ΠΈΡŽ, ΠΎΠ±Ρ€Π°Ρ‚Π½ΡƒΡŽ ΠΊ Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΈ: a) y = 2x – 1

Π±) y = x , ΠΏΡ€ΠΈ x Ρ” (0 ; + ∞)

22) Π‘Ρ„ΠΎΡ€ΠΌΡƒΠ»ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ Π½Π΅ΠΎΠ±Ρ…ΠΎΠ΄ΠΈΠΌΠΎΠ΅ ΠΈ достаточноС условиС сущСствования ΠΎΠ±Ρ€Π°Ρ‚Π½ΠΎΠΉ

Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΈ.

23) Π‘ ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ ΠΊΠ°ΠΊΠΈΡ… гСомСтричСских ΠΏΡ€Π΅ΠΎΠ±Ρ€Π°Π·ΠΎΠ²Π°Π½ΠΈΠΉ ΠΌΠΎΠΆΠ½ΠΎ ΠΏΠΎΡΡ‚Ρ€ΠΎΠΈΡ‚ΡŒ Π³Ρ€Π°Ρ„ΠΈΠΊ

Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΈ y = f(x) + b, b > 0,Ссли извСстСн Π³Ρ€Π°Ρ„ΠΈΠΊ Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΈ y = f(x)?НапримСр.

24) Π”Π°Π½ Π³Ρ€Π°Ρ„ΠΈΠΊ Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΈ y = f(x). Π‘ ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ ΠΊΠ°ΠΊΠΈΡ… гСомСтричСских ΠΏΡ€Π΅ΠΎΠ±Ρ€Π°Π·ΠΎΠ²Π°Π½ΠΈΠΉ ΠΏΠΎΠ»ΡƒΡ‡ΠΈΡ‚ΡŒ Π³Ρ€Π°Ρ„ΠΈΠΊ Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΈ y = f(x a)? НапримСр.

25) Π”Π°Π½ Π³Ρ€Π°Ρ„ΠΈΠΊ Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΈ y = f(x).Как ΠΏΠΎΡΡ‚Ρ€ΠΎΠΈΡ‚ΡŒ Π³Ρ€Π°Ρ„ΠΈΠΊ Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΈ y = f(kx).

Π‘ ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ ΠΊΠ°ΠΊΠΈΡ… гСомСтричСских ΠΏΡ€Π΅ΠΎΠ±Ρ€Π°Π·ΠΎΠ²Π°Π½ΠΈΠΉ это ΠΌΠΎΠΆΠ½ΠΎ ΡΠ΄Π΅Π»Π°Ρ‚ΡŒ? НапримСр.

26) Π”Π°Π½ Π³Ρ€Π°Ρ„ΠΈΠΊ Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΈ y = f(x). Как ΠΏΠΎΡΡ‚Ρ€ΠΎΠΈΡ‚ΡŒ Π³Ρ€Π°Ρ„ΠΈΠΊ Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΈ y =kf(x)?

НапримСр.

— ΠΎΠ±ΠΎΠ·Π½Π°Ρ‡Π΅Π½ΠΈΠ΅ корня n-ΠΉ стСпСни ΠΈΠ· числа Π°.

Π—Π½Π°ΠΊ называСтся ΠΊΠΎΡ€Π½Π΅ΠΌ ΠΈΠ»ΠΈ Ρ€Π°Π΄ΠΈΠΊΠ°Π»ΠΎΠΌ.

n – ΠΏΠΎΠΊΠ°Π·Π°Ρ‚Π΅Π»ΡŒ корня;

Π° – ΠΏΠΎΠ΄ΠΊΠΎΡ€Π΅Π½Π½ΠΎΠ΅ Π²Ρ‹Ρ€Π°ΠΆΠ΅Π½ΠΈΠ΅.

Π˜Π·Π²Π»Π΅Ρ‡Π΅Π½ΠΈΠ΅ корня – это опСрация обратная ΠΊ ΠΎΠΏΠ΅Ρ€Π°Ρ†ΠΈΠΈ возвСдСния Π² ΡΡ‚Π΅ΠΏΠ΅Π½ΡŒ.

Π’Π²Π΅Π΄Π΅ΠΌ понятия корня n-ΠΉ стСпСни ΠΈΠ· числа Π° Π°Π½Π°Π»ΠΎΠ³ΠΈΡ‡Π½ΠΎ ΠΏΠΎΠ½ΡΡ‚ΠΈΡŽ ΠΊΠ²Π°Π΄Ρ€Π°Ρ‚Π½ΠΎΠ³ΠΎ корня ΠΈΠ· числа Π°.

ΠšΠ²Π°Π΄Ρ€Π°Ρ‚Π½Ρ‹ΠΉ ΠΊΠΎΡ€Π΅Π½ΡŒ

1)

ΠšΠ²Π°Π΄Ρ€Π°Ρ‚Π½Ρ‹ΠΌ ΠΊΠΎΡ€Π½Π΅ΠΌ ΠΈΠ· числа Π° называСтся Ρ‚Π°ΠΊΠΎΠ΅ число Ρ…, ΠΊΠ²Π°Π΄Ρ€Π°Ρ‚ ΠΊΠΎΡ‚ΠΎΡ€ΠΎΠ³ΠΎ Ρ€Π°Π²Π΅Π½ Π°, Ρ‚.Π΅. = Ρ…,Ссли Ρ…Β² = Π° ΠΈΠ»ΠΈ =

НапримСр, , Ρ‚.ΠΊ. ;

ΠšΠΎΡ€Π΅Π½ΡŒ n-ΠΉ стСпСни

1) ΠšΠΎΡ€Π½Π΅ΠΌ n-ΠΉ стСпСни ( n ο‚³ 2, n οƒŽ N) ΠΈΠ· числа Π° называСтся Ρ‚Π°ΠΊΠΎΠ΅ число Ρ…, n-я ΡΡ‚Π΅ΠΏΠ΅Π½ΡŒ ΠΊΠΎΡ‚ΠΎΡ€ΠΎΠ³ΠΎ Ρ€Π°Π²Π½Π° Π°, Ρ‚. Π΅. , Ссли ΠΈΠ»ΠΈ

НапримСр, , Ρ‚.ΠΊ. ΠΈΠ»ΠΈ

, Ρ‚.ΠΊ.

, Ρ‚.ΠΊ. ΠΈ

Π§Ρ‚ΠΎΠ±Ρ‹ ΡƒΡΡ‚Ρ€Π°Π½ΠΈΡ‚ΡŒ Π΄Π²ΡƒΠ·Π½Π°Ρ‡Π½ΠΎΡΡ‚ΡŒ корня

n-ΠΉ стСпСни ΠΈΠ· числа Π°,

вводят понятиС арифмСтичСского корня.

2) АрифмСтичСским ΠΊΠ²Π°Π΄Ρ€Π°Ρ‚Π½Ρ‹ΠΌ ΠΊΠΎΡ€Π½Π΅ΠΌ ΠΈΠ· числа Π° (Π° ο‚³ 0),называСтся Π½Π΅ΠΎΡ‚Ρ€ΠΈΡ†Π°Ρ‚Π΅Π»ΡŒΠ½ΠΎΠ΅ число Ρ…, ΠΊΠ²Π°Π΄Ρ€Π°Ρ‚ ΠΊΠΎΡ‚ΠΎΡ€ΠΎΠ³ΠΎ Ρ€Π°Π²Π΅Π½ Π°, Ρ‚.Π΅. = Ρ…, Ссли Ρ…2=Π°, Ρ…ο‚³ 0 ; Π° ο‚³ 0

НапримСр, , Ρ‚.ΠΊ. ; 2 ο€Ύ 0.

2) АрифмСтичСским ΠΊΠΎΡ€Π½Π΅ΠΌ n-ΠΉ стСпСни ( n ο‚³ 2, n οƒŽ N ) ΠΈΠ· числа Π°, Π³Π΄Π΅ Π° ο‚³ 0 называСтся Π½Π΅ΠΎΡ‚Ρ€ΠΈΡ†Π°Ρ‚Π΅Π»ΡŒΠ½ΠΎΠ΅ число Ρ…,n-я ΡΡ‚Π΅ΠΏΠ΅Π½ΡŒ ΠΊΠΎΡ‚ΠΎΡ€ΠΎΠ³ΠΎ Ρ€Π°Π²Π½Π° Π°,

Ρ‚.

Π΅. , Ссли , Π° ο‚³ 0; Ρ… ο‚³ 0

НапримСр, , Ρ‚.ΠΊ. , 2 ο€Ύ 0.

Рассмотрим Ρ€Π΅ΡˆΠ΅Π½ΠΈΡ уравнСния Ρ…= a

n — Ρ‡Π΅Ρ‚Π½ΠΎΠ΅ (n=2)

n – Π½Π΅Ρ‡Π΅Ρ‚Π½ΠΎΠ΅ ( n=3)

Π° ο€Ύ 0

;

; ο€Ύ 0

Π° ο€Ό 0

ΠΊΠΎΡ€Π½Π΅ΠΉ Π½Π΅Ρ‚

; ο€Ό 0

Π° = 0

Ρ… = 0

Ρ… = 0

НапримСр:

1) , ΠΏ = 2 – Ρ‡Π΅Ρ‚Π½ΠΎΠ΅, Π° ο€Ύ 0

;

2) , ΠΏ = 4 – Ρ‡Π΅Ρ‚Π½ΠΎΠ΅, Π° = 81, Π° ο€Ύ 0

, Ρ‚.

ΠΊ. ΠΈ

3) ,

ΠΏ = 2 – Ρ‡Π΅Ρ‚Π½ΠΎΠ΅,

Π° = — 4, Π° ο€Ό 0

ΠΊΠΎΡ€Π½Π΅ΠΉ Π½Π΅Ρ‚

-4

4) ,

ΠΏ = 3 – Π½Π΅Ρ‡Π΅Ρ‚Π½ΠΎΠ΅,

Π° = 27, Π° ο€Ύ 0

, Ρ‚.ΠΊ.

5) ,

ΠΏ = 3 – Π½Π΅Ρ‡Π΅Ρ‚Π½ΠΎΠ΅,

Π° = — 27, Π° ο€Ό 0

Ρ… = -3, Ρ‚. ΠΊ.

0

6) ,

Ρ… = 2, Ρ‚.ΠΊ.

Для ΠΊΠΎΡ€Π½Π΅ΠΉ Π½Π΅Ρ‡Π΅Ρ‚Π½ΠΎΠΉ стСпСни справСдливо равСнство:

Π’Ρ‹Π²ΠΎΠ΄

: Для любого Π΄Π΅ΠΉΡΡ‚Π²ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎΠ³ΠΎ Π° :

 Π°  , Ссли ΠΏ — Ρ‡Π΅Ρ‚Π½ΠΎ

Π° , Ссли ΠΏ — Π½Π΅Ρ‡Π΅Ρ‚Π½ΠΎ.

ВСория вСроятностСй Π² машинном ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠΈ.

Π§Π°ΡΡ‚ΡŒ 2: модСль классификации / Π₯Π°Π±Ρ€

Π’ ΠΏΡ€Π΅Π΄Ρ‹Π΄ΡƒΡ‰Π΅ΠΉ части ΠΌΡ‹ рассматривали Π²Π΅Ρ€ΠΎΡΡ‚Π½ΠΎΡΡ‚Π½ΡƒΡŽ постановку Π·Π°Π΄Π°Ρ‡ΠΈ машинного обучСния, статистичСскиС ΠΌΠΎΠ΄Π΅Π»ΠΈ, модСль рСгрСссии ΠΊΠ°ΠΊ частный случай ΠΈ Π΅Π΅ ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅ ΠΌΠ΅Ρ‚ΠΎΠ΄ΠΎΠΌ максимизации правдоподобия.

Π’ Π΄Π°Π½Π½ΠΎΠΉ части рассмотрим ΠΌΠ΅Ρ‚ΠΎΠ΄ максимизации правдоподобия Π² классификации: Π² Ρ‡Π΅ΠΌ Ρ€ΠΎΠ»ΡŒΒ ΠΊΡ€ΠΎΡΡΡΠ½Ρ‚Ρ€ΠΎΠΏΠΈΠΈ,Β Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΉ сигмоиды ΠΈ softmax, ΠΊΠ°ΠΊ кроссэнтропия связана с «Ρ€Π°ΡΡΡ‚ояниСм» ΠΌΠ΅ΠΆΠ΄Ρƒ распрСдСлСниями вСроятностСй ΠΈ ΠΏΠΎΡ‡Π΅ΠΌΡƒ модСль рСгрСссии Ρ‚ΠΎΠΆΠ΅ обучаСтся Ρ‡Π΅Ρ€Π΅Π· ΠΌΠΈΠ½ΠΈΠΌΠΈΠ·Π°Ρ†ΠΈΡŽ кроссэнтропии. Данная Ρ‡Π°ΡΡ‚ΡŒ содСрТит ΠΌΠ½ΠΎΠ³ΠΎ отсылок ΠΊ Ρ„ΠΎΡ€ΠΌΡƒΠ»Π°ΠΌ ΠΈ понятиям, Π²Π²Π΅Π΄Π΅Π½Π½Ρ‹ΠΌ Π² ΠΏΠ΅Ρ€Π²ΠΎΠΉ части, поэтому рСкомСндуСтся Ρ‡ΠΈΡ‚Π°Ρ‚ΡŒ ΠΈΡ… ΠΏΠΎΡΠ»Π΅Π΄ΠΎΠ²Π°Ρ‚Π΅Π»ΡŒΠ½ΠΎ.

Π’ Ρ‚Ρ€Π΅Ρ‚ΡŒΠ΅ΠΉ части (ΡΡ‚Π°Ρ‚ΡŒΡ планируСтся) ΠΏΠ΅Ρ€Π΅ΠΉΠ΄Π΅ΠΌ ΠΎΡ‚ ΠΌΠ΅Ρ‚ΠΎΠ΄Π° максимизации правдоподобия ΠΊ байСсовскому Π²Ρ‹Π²ΠΎΠ΄Ρƒ ΠΈ Π΅Π³ΠΎ Ρ€Π°Π·Π»ΠΈΡ‡Π½Ρ‹ΠΌ приблиТСниям.

Данная сСрия статСй Π½Π΅ являСтся Π²Π²Π΅Π΄Π΅Π½ΠΈΠ΅ΠΌ Π² машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅ ΠΈ ΠΏΡ€Π΅Π΄ΠΏΠΎΠ»Π°Π³Π°Π΅Ρ‚ знакомство читатСля с основными понятиями. Π—Π°Π΄Π°Ρ‡Π° статСй — Ρ€Π°ΡΡΠΌΠΎΡ‚Ρ€Π΅Ρ‚ΡŒ машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅ с Ρ‚ΠΎΡ‡ΠΊΠΈ зрСния Ρ‚Π΅ΠΎΡ€ΠΈΠΈ вСроятностСй, Ρ‡Ρ‚ΠΎ ΠΏΠΎΠ·Π²ΠΎΠ»ΠΈΡ‚ ΠΏΠΎ Π½ΠΎΠ²ΠΎΠΌΡƒ Π²Π·Π³Π»ΡΠ½ΡƒΡ‚ΡŒ Π½Π° ΠΏΡ€ΠΎΠ±Π»Π΅ΠΌΡƒ, ΠΏΠΎΠ½ΡΡ‚ΡŒ связь машинного обучСния со статистикой ΠΈ Π»ΡƒΡ‡ΡˆΠ΅ ΠΏΠΎΠ½ΠΈΠΌΠ°Ρ‚ΡŒ Ρ„ΠΎΡ€ΠΌΡƒΠ»Ρ‹ ΠΈΠ· Π½Π°ΡƒΡ‡Π½Ρ‹Ρ… статСй. Π’Π°ΠΊΠΆΠ΅ Π½Π° описанном ΠΌΠ°Ρ‚Π΅Ρ€ΠΈΠ°Π»Π΅ строятся Π±ΠΎΠ»Π΅Π΅ слоТныС Ρ‚Π΅ΠΌΡ‹, Ρ‚Π°ΠΊΠΈΠ΅ ΠΊΠ°ΠΊ Π²Π°Ρ€ΠΈΠ°Ρ†ΠΈΠΎΠ½Π½Ρ‹Π΅ Π°Π²Ρ‚ΠΎΠΊΠΎΠ΄ΠΈΡ€ΠΎΠ²Ρ‰ΠΈΠΊΠΈ (Kingma and Welling, 2013), нСйробайСсовскиС ΠΌΠ΅Ρ‚ΠΎΠ΄Ρ‹ (MΓΌller et al., 2021) ΠΈ Π΄Π°ΠΆΠ΅ Π½Π΅ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ Ρ‚Π΅ΠΎΡ€ΠΈΠΈ сознания (Friston et al., 2022).

Π‘ΠΎΠ΄Π΅Ρ€ΠΆΠ°Π½ΠΈΠ΅ Ρ‚Π΅ΠΊΡƒΡ‰Π΅ΠΉ части

  • Π’ ΠΏΠ΅Ρ€Π²ΠΎΠΌ Ρ€Π°Π·Π΄Π΅Π»Π΅Β ΠΌΡ‹ рассмотрим модСль классификации, ΠΊΡ€ΠΎΡΡΡΠ½Ρ‚Ρ€ΠΎΠΏΠΈΡŽ ΠΈ Π΅Π΅ связь с ΠΌΠ΅Ρ‚ΠΎΠ΄ΠΎΠΌ максимизации правдоподобия, Π° Ρ‚Π°ΠΊΠΆΠ΅ ряд нСсколько Ρ„Π°ΠΊΡ‚ΠΎΠ² ΠΏΡ€ΠΎ Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΈ softmax ΠΈ sigmoid.

  • Π’ΠΎ Π²Ρ‚ΠΎΡ€ΠΎΠΌ Ρ€Π°Π·Π΄Π΅Π»Π΅Β ΠΏΠΎΠ³ΠΎΠ²ΠΎΡ€ΠΈΠΌ ΠΎ связи ΠΌΠΈΠ½ΠΈΠΌΠΈΠ·Π°Ρ†ΠΈΠΈ кроссэнтропии с ΠΌΠΈΠ½ΠΈΠΌΠΈΠ·Π°Ρ†ΠΈΠ΅ΠΉ расхоТдСния ΠšΡƒΠ»ΡŒΠ±Π°ΠΊΠ°-Π›Π΅ΠΉΠ±Π»Π΅Ρ€Π°, ΠΈ ΠΊΠ°ΠΊ минимизация расхоТдСния ΠšΡƒΠ»ΡŒΠ±Π°ΠΊΠ°-Π›Π΅ΠΉΠ±Π»Π΅Ρ€Π° ΠΌΠΎΠΆΠ΅Ρ‚ ΠΏΠΎΠΌΠΎΡ‡ΡŒ Π² Π±ΠΎΠ»Π΅Π΅ слоТных случаях, Ρ‡Π΅ΠΌ обычная классификация ΠΈ рСгрСссия.

Π—Π²Π΅Π·Π΄ΠΎΡ‡ΠΊΠΎΠΉ* ΠΎΡ‚ΠΌΠ΅Ρ‡Π΅Π½Ρ‹ Π΄ΠΎΠΏΠΎΠ»Π½ΠΈΡ‚Π΅Π»ΡŒΠ½Ρ‹Π΅ Ρ€Π°Π·Π΄Π΅Π»Ρ‹, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ Π½Π΅ ΠΏΠΎΠ²Π»ΠΈΡΡŽΡ‚ Π½Π° ΠΏΠΎΠ½ΠΈΠΌΠ°Π½ΠΈΠ΅ дальнСйшСго ΠΌΠ°Ρ‚Π΅Ρ€ΠΈΠ°Π»Π°.

1. ВСроятностная модСль классификации
Β Β Β Β Β Β Β Β 1.1. МодСль классификации ΠΈ функция ΠΏΠΎΡ‚Π΅Ρ€ΡŒ
Β Β Β Β Β Β Β Β 1.2. Ѐункция softmax Π² классификации
Β Β Β Β Β Β Β Β 1. 3. Π’Π΅ΠΌΠΏΠ΅Ρ€Π°Ρ‚ΡƒΡ€Π° softmax ΠΈ опСрация hardmax*
Β Β Β Β Β Β Β Β 1.4. Ѐункция sigmoid Π² классификации
2.Β ΠšΡ€ΠΎΡΡΡΠ½Ρ‚Ρ€ΠΎΠΏΠΈΡ Π² вСроятностных модСлях
Β Β Β Β Β Β Β Β 2.1. Π Π°Π·ΠΌΠ΅Ρ‚ΠΊΠ° с Π½Π΅ΡƒΠ²Π΅Ρ€Π΅Π½Π½ΠΎΡΡ‚ΡŒΡŽ
Β Β Β Β Β Β Β Β 2.2. ΠšΡ€ΠΎΡΡΡΠ½Ρ‚Ρ€ΠΎΠΏΠΈΡ ΠΈ расхоТдСниС ΠšΡƒΠ»ΡŒΠ±Π°ΠΊΠ°-Π›Π΅ΠΉΠ±Π»Π΅Ρ€Π°
Β Β Β Β Β Β Β Β 2.3. ΠšΡ€ΠΎΡΡΡΠ½Ρ‚Ρ€ΠΎΠΏΠΈΡ ΠΊΠ°ΠΊ максимизация правдоподобия*
Β Β Β Β Β Β Β Β 2.4. ΠšΡ€ΠΎΡΡΡΠ½Ρ‚Ρ€ΠΎΠΏΠΈΡ Π² Π·Π°Π΄Π°Ρ‡Π΅ рСгрСссии*
Β Β Β Β Β Β Β Β 2.5. ΠšΡ€ΠΎΡΡΡΠ½Ρ‚Ρ€ΠΎΠΏΠΈΡ с Ρ‚ΠΎΡ‡ΠΊΠΈ зрСния ΠΎΠΏΡ‚ΠΈΠΌΠΈΠ·Π°Ρ†ΠΈΠΈ*

1. ВСроятностная модСль классификации

1.1. МодСль классификации ΠΈ функция ΠΏΠΎΡ‚Π΅Ρ€ΡŒ

Π§Ρ‚ΠΎΠ±Ρ‹ Π·Π°Π΄Π°Ρ‚ΡŒ Π²Π΅Ρ€ΠΎΡΡ‚Π½ΠΎΡΡ‚Π½ΡƒΡŽ модСль, Π½Π°ΠΌ Π½ΡƒΠΆΠ½ΠΎ ΠΎΠΏΡ€Π΅Π΄Π΅Π»ΠΈΡ‚ΡŒ, Π² ΠΊΠ°ΠΊΠΎΠΉ Ρ„ΠΎΡ€ΠΌΠ΅ ΠΎΠ½Π° Π±ΡƒΠ΄Π΅Ρ‚ ΠΏΡ€Π΅Π΄ΡΠΊΠ°Π·Ρ‹Π²Π°Ρ‚ΡŒ распрСдСлСниС . Если Π·Π°Π΄Π°Ρ‡Π΅ рСгрСссии ΠΌΡ‹ ΠΎΠ³Ρ€Π°Π½ΠΈΡ‡ΠΈΠ²Π°Π»ΠΈ распрСдСлСния Ρ‚ΠΎΠ»ΡŒΠΊΠΎ Π½ΠΎΡ€ΠΌΠ°Π»ΡŒΠ½Ρ‹ΠΌΠΈ распрСдСлСниями, Ρ‚ΠΎ Π² Π·Π°Π΄Π°Ρ‡Π΅ классификации это Π±ΡƒΠ΄Π΅Ρ‚ Π½Π΅ ΠΎΠΏΡ‚ΠΈΠΌΠ°Π»ΡŒΠ½Ρ‹ΠΌ Ρ€Π΅ΡˆΠ΅Π½ΠΈΠ΅ΠΌ, Ρ‚Π°ΠΊ ΠΊΠ°ΠΊ классы ΠΏΠΎ сути ΠΏΡ€Π΅Π΄ΡΡ‚Π°Π²Π»ΡΡŽΡ‚ собой нСупорядочСнноС мноТСство (хотя Π½Π° Π½ΠΈΡ… Π΅ΡΡ‚ΡŒ порядок, Π½ΠΎ лишь тСхничСски, ΠΈ ΠΎΠ½ ΠΌΠΎΠΆΠ΅Ρ‚ Π±Ρ‹Ρ‚ΡŒ Π²Ρ‹Π±Ρ€Π°Π½ ΠΏΡ€ΠΎΠΈΠ·Π²ΠΎΠ»ΡŒΠ½ΠΎ). Π’ Π·Π°Π΄Π°Ρ‡Π΅ классификации ΠΌΡ‹ ΠΌΠΎΠΆΠ΅ΠΌ ΠΏΡ€Π΅Π΄ΡΠΊΠ°Π·Ρ‹Π²Π°Ρ‚ΡŒ Π²Π΅Ρ€ΠΎΡΡ‚Π½ΠΎΡΡ‚ΡŒ для ΠΊΠ°ΠΆΠ΄ΠΎΠ³ΠΎ класса, ΠΈ Ρ‚ΠΎΠ³Π΄Π° модСль Π±ΡƒΠ΄Π΅Ρ‚ Π²Ρ‹Π΄Π°Π²Π°Ρ‚ΡŒ ΡΡ‚ΠΎΠ»ΡŒΠΊΠΎ чисСл, сколько Π΅ΡΡ‚ΡŒ классов Π² .

ΠŸΡƒΡΡ‚ΡŒ ΠΌΡ‹ ΠΈΠΌΠ΅Π΅ΠΌ датасСт ΠΈ ΠΏΡ€Π΅Π΄ΠΏΠΎΠ»Π°Π³Π°Π΅ΠΌ, Ρ‡Ρ‚ΠΎ всС ΠΏΡ€ΠΈΠΌΠ΅Ρ€Ρ‹ нСзависимы ΠΈ взяты ΠΈ ΠΎΠ΄Π½ΠΎΠ³ΠΎ ΠΈ Ρ‚ΠΎΠ³ΠΎ ΠΆΠ΅ распрСдСлСния (i.i.d., см. ΠΏΡ€Π΅Π΄Ρ‹Π΄ΡƒΡ‰ΡƒΡŽ Ρ‡Π°ΡΡ‚ΡŒ, Ρ€Π°Π·Π΄Π΅Π» 3.4). Для обучСния ΠΌΠΎΠ΄Π΅Π»ΠΈ снова ΠΏΡ€ΠΈΠΌΠ΅Π½ΠΈΠΌ ΠΌΠ΅Ρ‚ΠΎΠ΄ максимизации правдоподобия, Ρ‚ΠΎ Π΅ΡΡ‚ΡŒ Π±ΡƒΠ΄Π΅ΠΌ ΠΈΡΠΊΠ°Ρ‚ΡŒ Ρ‚Π°ΠΊΠΈΠ΅ ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€Ρ‹ , ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ ΠΌΠ°ΠΊΡΠΈΠΌΠΈΠ·ΠΈΡ€ΡƒΡŽΡ‚ . Π’ Ρ€Π°Π·Π΄Π΅Π»Π΅ 2.3 ΠΌΡ‹ ΡƒΠΆΠ΅ расписывали Ρ„ΠΎΡ€ΠΌΡƒΠ»Ρƒ, которая получаСтся Π² Ρ€Π΅Π·ΡƒΠ»ΡŒΡ‚Π°Ρ‚Π΅, Π½ΠΎ Π²Π²ΠΈΠ΄Ρƒ Π΅Π΅ ваТности ΠΏΠΎΠ²Ρ‚ΠΎΡ€ΠΈΠΌ Π΅Π΅ Π΅Ρ‰Π΅ Ρ€Π°Π·. ΠŸΠ΅Ρ€Π²ΠΎΠ΅ равСнство Π½ΠΈΠΆΠ΅ слСдуСт ΠΈΠ· i.i.d.-Π³ΠΈΠΏΠΎΡ‚Π΅Π·Ρ‹, Π²Ρ‚ΠΎΡ€ΠΎΠ΅ ΠΏΠΎ ΠΏΡ€Π°Π²ΠΈΠ»Π°ΠΌ ΠΌΠ°Ρ‚Π΅ΠΌΠ°Ρ‚ΠΈΠΊΠΈ:

Π’Π°ΠΊΠΈΠΌ ΠΎΠ±Ρ€Π°Π·ΠΎΠΌ, для максимизации вСроятности Π²Ρ‹Π±ΠΎΡ€ΠΊΠΈ Π΄Π°Π½Π½Ρ‹Ρ… Π½Π°ΠΌ Π½ΡƒΠΆΠ½ΠΎ ΠΌΠΈΠ½ΠΈΠΌΠΈΠ·ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ сумму Π²Π΅Π»ΠΈΡ‡ΠΈΠ½

для всСх ΠΎΠ±ΡƒΡ‡Π°ΡŽΡ‰ΠΈΡ… ΠΏΡ€ΠΈΠΌΠ΅Ρ€ΠΎΠ² .

Π’ ΠΌΠΎΠ΄Π΅Π»ΠΈ рСгрСссии эта Π²Π΅Π»ΠΈΡ‡ΠΈΠ½Π° Π±Ρ‹Π»Π° свСдСна ΠΊ ΠΊΠ²Π°Π΄Ρ€Π°Ρ‚Ρƒ разности прСдсказания ΠΈ Π²Π΅Ρ€Π½ΠΎΠ³ΠΎ ΠΎΡ‚Π²Π΅Ρ‚Π° (Ρ‡Π°ΡΡ‚ΡŒ 1, Ρ„ΠΎΡ€ΠΌΡƒΠ»Π° 7). Но Π² Π·Π°Π΄Π°Ρ‡Π΅ классификации Π½Π° Π΄Π°Π½Π½ΠΎΠΌ этапС ΡΡ‡ΠΈΡ‚Π°Ρ‚ΡŒ большС Π½ΠΈΡ‡Π΅Π³ΠΎ Π½Π΅ Π½ΡƒΠΆΠ½ΠΎ. НашСй Π·Π°Π΄Π°Ρ‡Π΅ΠΉ Π±Ρ‹Π»ΠΎ Π·Π°Π΄Π°Ρ‚ΡŒ Π²Π΅Ρ€ΠΎΡΡ‚Π½ΠΎΡΡ‚Π½ΡƒΡŽ модСль, ΠΎΠΏΡ€Π΅Π΄Π΅Π»ΠΈΡ‚ΡŒ с Π΅Π΅ ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ Ρ„ΡƒΠ½ΠΊΡ†ΠΈΡŽ ΠΏΠΎΡ‚Π΅Ρ€ΡŒ ΠΈ Ρ‚Π°ΠΊΠΈΠΌ ΠΎΠ±Ρ€Π°Π·ΠΎΠΌ свСсти ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅ ΠΊ Π·Π°Π΄Π°Ρ‡Π΅ ΠΎΠΏΡ‚ΠΈΠΌΠΈΠ·Π°Ρ†ΠΈΠΈ, Ρ‚ΠΎ Π΅ΡΡ‚ΡŒ ΠΌΠΈΠ½ΠΈΠΌΠΈΠ·Π°Ρ†ΠΈΠΈ Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΈ ΠΏΠΎΡ‚Π΅Ρ€ΡŒ, ΠΈ ΠΌΡ‹ это ΡƒΠΆΠ΅ сдСлали. Ѐункция ΠΏΠΎΡ‚Π΅Ρ€ΡŒ (2) называСтся кроссэнтропиСй (Ρ‚Π°ΠΊΠΆΠ΅ пСрСкрСстной энтропиСй, ΠΈΠ»ΠΈ logloss). Она Ρ€Π°Π²Π½Π° минус Π»ΠΎΠ³Π°Ρ€ΠΈΡ„ΠΌΡƒ прСдсказанной вСроятности для Π²Π΅Ρ€Π½ΠΎΠ³ΠΎ класса .

ΠšΠ°Ρ‚Π΅Π³ΠΎΡ€ΠΈΠ°Π»ΡŒΠ½Π°Ρ кроссэнтропия

Π’ΠΎΠ·ΡŒΠΌΠ΅ΠΌ ΠΏΡ€ΠΎΠΈΠ·Π²ΠΎΠ»ΡŒΠ½Ρ‹ΠΉ ΠΏΡ€ΠΈΠΌΠ΅Ρ€ ΠΈ Π²Ρ‹Π΄Π°Π½Π½Ρ‹Π΅ модСлью вСроятности ΠΎΠ±ΠΎΠ·Π½Π°Ρ‡ΠΈΠΌ Π·Π° , Π³Π΄Π΅ — количСство классов. К ΠΌΠ΅Ρ‚ΠΊΠ΅ класса (эталонному ΠΎΡ‚Π²Π΅Ρ‚Ρƒ) ΠΏΡ€ΠΈΠΌΠ΅Π½ΠΈΠΌ one-hot ΠΊΠΎΠ΄ΠΈΡ€ΠΎΠ²Π°Π½ΠΈΠ΅, ΠΏΠΎΠ»ΡƒΡ‡ΠΈΠ² Π²Π΅ΠΊΡ‚ΠΎΡ€ , Π² ΠΊΠΎΡ‚ΠΎΡ€ΠΎΠΌ лишь ΠΎΠ΄ΠΈΠ½ элСмСнт Ρ€Π°Π²Π΅Π½ Π΅Π΄ΠΈΠ½ΠΈΡ†Π΅, Π° ΠΎΡΡ‚Π°Π»ΡŒΠ½Ρ‹Π΅ Ρ€Π°Π²Π½Ρ‹ Π½ΡƒΠ»ΡŽ. Π’ΠΎΠ³Π΄Π° Π²Ρ‹Ρ€Π°ΠΆΠ΅Π½ΠΈΠ΅ (2) ΠΌΠΎΠΆΠ½ΠΎ Ρ€Π°ΡΡΡ‡ΠΈΡ‚Π°Ρ‚ΡŒ Ρ‚Π°ΠΊΠΈΠΌ ΠΎΠ±Ρ€Π°Π·ΠΎΠΌ:

Π›ΠΈΡˆΡŒ ΠΎΠ΄ΠΈΠ½ элСмСнт суммы Π±ΡƒΠ΄Π΅Ρ‚ Π½Π΅ Ρ€Π°Π²Π΅Π½ Π½ΡƒΠ»ΡŽ — Ρ‚ΠΎΡ‚, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹ΠΉ соотвСтствуСт Π²Π΅Ρ€Π½ΠΎΠΌΡƒ классу. Для Π½Π΅Π³ΠΎ ΠΏΠ΅Ρ€Π²Ρ‹ΠΉ ΠΌΠ½ΠΎΠΆΠΈΡ‚Π΅Π»ΡŒ Π±ΡƒΠ΄Π΅Ρ‚ Ρ€Π°Π²Π΅Π½ Π΅Π΄ΠΈΠ½ΠΈΡ†Π΅, Π° Π²Ρ‚ΠΎΡ€ΠΎΠΉ Π±ΡƒΠ΄Π΅Ρ‚ Π»ΠΎΠ³Π°Ρ€ΠΈΡ„ΠΌΠΎΠΌ прСдсказанной вСроятности для Π²Π΅Ρ€Π½ΠΎΠ³ΠΎ класса, Ρ‡Ρ‚ΠΎ соотвСтствуСт Π²Ρ‹Ρ€Π°ΠΆΠ΅Π½ΠΈΡŽ (2).

ΠŸΡ€ΠΈΠΌΠ΅Ρ‡Π°Π½ΠΈΠ΅. На самом Π΄Π΅Π»Π΅ Ρ„ΠΎΡ€ΠΌΡƒΠ»Π° (3) являСтся ΠΎΠΏΡ€Π΅Π΄Π΅Π»Π΅Π½ΠΈΠ΅ΠΌ кроссэнтропии, Π° Ρ„ΠΎΡ€ΠΌΡƒΠ»Π° (2) Π΅Π΅ частным случаСм, ΠΊΠΎΠ³Π΄Π° Π²Ρ‹Ρ€ΠΎΠΆΠ΄Π΅Π½ΠΎ ΠΈ Π½Π°Π·Π½Π°Ρ‡Π°Π΅Ρ‚ Π²Π΅Ρ€ΠΎΡΡ‚Π½ΠΎΡΡ‚ΡŒ 1 классу с индСксом . О случаС, ΠΊΠΎΠ³Π΄Π° это Π½Π΅ Ρ‚Π°ΠΊ, ΠΏΠΎΠ΄Ρ€ΠΎΠ±Π½Π΅Π΅ ΠΏΠΎΠ³ΠΎΠ²ΠΎΡ€ΠΈΠΌ Π²ΠΎ Π²Ρ‚ΠΎΡ€ΠΎΠΌ Ρ€Π°Π·Π΄Π΅Π»Π΅.

Бинарная кроссэнтропия

Если класса всСго Π΄Π²Π°, Ρ‚ΠΎ ΠΊΠ°ΠΊ ΠΏΡ€Π°Π²ΠΈΠ»ΠΎ Π΄Π΅Π»Π°ΡŽΡ‚ ΡΠ»Π΅Π΄ΡƒΡŽΡ‰ΠΈΠΌ ΠΎΠ±Ρ€Π°Π·ΠΎΠΌ: модСль Π²Ρ‹Π΄Π°Π΅Ρ‚ лишь ΠΎΠ΄Π½ΠΎ число ΠΎΡ‚ 0 Π΄ΠΎ 1, ΠΎΠ½ΠΎ рассматриваСтся ΠΊΠ°ΠΊ Π²Π΅Ρ€ΠΎΡΡ‚Π½ΠΎΡΡ‚ΡŒ Π²Ρ‚ΠΎΡ€ΠΎΠ³ΠΎ класса, Π° рассматриваСтся ΠΊΠ°ΠΊ Π²Π΅Ρ€ΠΎΡΡ‚Π½ΠΎΡΡ‚ΡŒ ΠΏΠ΅Ρ€Π²ΠΎΠ³ΠΎ класса. ΠŸΡƒΡΡ‚ΡŒ Ρ€Π°Π²Π½ΠΎ Π΅Π΄ΠΈΠ½ΠΈΡ†Π΅, Ссли ΠΏΠ΅Ρ€Π²Ρ‹ΠΉ класс Π²Π΅Ρ€Π΅Π½, ΠΈΠ½Π°Ρ‡Π΅ Ρ€Π°Π²Π½ΠΎ Π½ΡƒΠ»ΡŽ. Π’ΠΎΠ³Π΄Π° Π²Ρ‹Ρ€Π°ΠΆΠ΅Π½ΠΈΠ΅ (3) тСхничСски ΠΌΠΎΠΆΠ½ΠΎ Π²Ρ‹Ρ‡ΠΈΡΠ»ΠΈΡ‚ΡŒ ΡΠ»Π΅Π΄ΡƒΡŽΡ‰ΠΈΠΌ ΠΎΠ±Ρ€Π°Π·ΠΎΠΌ:

Π‘Π½ΠΎΠ²Π° лишь ΠΎΠ΄Π½ΠΎ слагаСмоС Π±ΡƒΠ΄Π΅Ρ‚ Π½Π΅Π½ΡƒΠ»Π΅Π²Ρ‹ΠΌ, ΠΈ Ρ‚Π°ΠΊΠΈΠΌ ΠΎΠ±Ρ€Π°Π·ΠΎΠΌ ΠΌΡ‹ посчитаСм Π»ΠΎΠ³Π°Ρ€ΠΈΡ„ΠΌ прСдсказанной вСроятности для Π²Π΅Ρ€Π½ΠΎΠ³ΠΎ класса. Π€ΠΎΡ€ΠΌΡƒΠ»Ρ‹ (18) ΠΈ (19) Π½Π°Π·Ρ‹Π²Π°ΡŽΡ‚ΡΡ ΠΊΠ°Ρ‚Π΅Π³ΠΎΡ€ΠΈΠ°Π»ΡŒΠ½ΠΎΠΉ кроссэнтропиСй (ΠΎΠ½ΠΈ эквивалСнтны Ссли для ΠΎΠ΄Π½ΠΎΠ³ΠΎ ΠΈΠ· классов), Ρ„ΠΎΡ€ΠΌΡƒΠ»Π° (18) называСтся Π±ΠΈΠ½Π°Ρ€Π½ΠΎΠΉ кроссэнтропиСй.

Π’ этом Ρ€Π°Π·Π΄Π΅Π»Π΅ ΠΌΡ‹ рассмотрСли ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅ ΠΌΠΎΠ΄Π΅Π»ΠΈ классификации. Часто Π² классификации ΡƒΠΏΠΎΠΌΠΈΠ½Π°ΡŽΡ‚ ΠΎ Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΈ softmax, Π½ΠΎ ΠΏΠΎΡ‡Π΅ΠΌΡƒ-Ρ‚ΠΎ ΠΌΡ‹ ΠΎ Π½Π΅ΠΉ Π½ΠΈΡ‡Π΅Π³ΠΎ Π½Π΅ Π³ΠΎΠ²ΠΎΡ€ΠΈΠ»ΠΈ. БкладываСтся ΠΎΡ‰ΡƒΡ‰Π΅Π½ΠΈΠ΅, Ρ‡Ρ‚ΠΎ ΠΌΡ‹ Ρ‡Ρ‚ΠΎ-Ρ‚ΠΎ упустили. Π’ ΡΠ»Π΅Π΄ΡƒΡŽΡ‰Π΅ΠΌ Ρ€Π°Π·Π΄Π΅Π»Π΅ ΠΌΡ‹ ΠΏΠΎΠ³ΠΎΠ²ΠΎΡ€ΠΈΠΌ ΠΎ Ρ€ΠΎΠ»ΠΈ Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΈ softmax Π² классификации.

1.2. Ѐункция softmax Π² классификации

Π’ ΠΏΡ€Π΅Π΄Ρ‹Π΄ΡƒΡ‰Π΅ΠΌ Ρ€Π°Π·Π΄Π΅Π»Π΅ ΠΌΡ‹ ΠΎΠΏΡ€Π΅Π΄Π΅Π»ΠΈΠ»ΠΈ, Ρ‡Ρ‚ΠΎ модСль классификации Π΄ΠΎΠ»ΠΆΠ½Π° Π²Ρ‹Π΄Π°Π²Π°Ρ‚ΡŒ вСроятности для всСх классов. Но модСль — это Π½Π΅ Ρ‚ΠΎΠ»ΡŒΠΊΠΎ Ρ„ΠΎΡ€ΠΌΠ°Ρ‚ Π²Ρ…ΠΎΠ΄Π½Ρ‹Ρ… ΠΈ Π²Ρ‹Ρ…ΠΎΠ΄Π½Ρ‹Ρ… Π΄Π°Π½Π½Ρ‹Ρ…, Π° Π΅Ρ‰Π΅ ΠΈ внутрСнняя Π°Ρ€Ρ…ΠΈΡ‚Π΅ΠΊΡ‚ΡƒΡ€Π°. Она ΠΌΠΎΠΆΠ΅Ρ‚ Π±Ρ‹Ρ‚ΡŒ ΡΠΎΠ²Π΅Ρ€ΡˆΠ΅Π½Π½ΠΎ Ρ€Π°Π·Π½ΠΎΠΉ: для классификации ΠΏΡ€ΠΈΠΌΠ΅Π½ΡΡŽΡ‚ΡΡ Π»ΠΈΠ±ΠΎ Π½Π΅ΠΉΡ€ΠΎΠ½Π½Ρ‹Π΅ сСти, Π»ΠΈΠ±ΠΎ Ρ€Π΅ΡˆΠ°ΡŽΡ‰ΠΈΠ΅ Π΄Π΅Ρ€Π΅Π²ΡŒΡ, Π»ΠΈΠ±ΠΎ ΠΌΠ°ΡˆΠΈΠ½Ρ‹ ΠΎΠΏΠΎΡ€Π½Ρ‹Ρ… Π²Π΅ΠΊΡ‚ΠΎΡ€ΠΎΠ² ΠΈ Ρ‚Π°ΠΊ Π΄Π°Π»Π΅Π΅.

Рассмотрим для ΠΏΡ€ΠΈΠΌΠ΅Ρ€Π° Π½Π΅ΠΉΡ€ΠΎΠ½Π½ΡƒΡŽ ΡΠ΅Ρ‚ΡŒ. ΠŸΡƒΡΡ‚ΡŒ ΠΌΡ‹ ΠΈΠΌΠ΅Π΅ΠΌ классов, ΠΈ Π²Ρ‹Ρ…ΠΎΠ΄Π½ΠΎΠΉ слой Π½Π΅ΠΉΡ€ΠΎΠ½Π½ΠΎΠΉ сСти Π²Ρ‹Π΄Π°Π΅Ρ‚ чисСл ΠΎΡ‚ Π΄ΠΎ . Π§Ρ‚ΠΎΠ±Ρ‹ Π²Π΅ΠΊΡ‚ΠΎΡ€ ΠΈΠ· чисСл являлся распрСдСлСниСм вСроятностСй, ΠΎΠ½ Π΄ΠΎΠ»ΠΆΠ΅Π½ ΡƒΠ΄ΠΎΠ²Π»Π΅Ρ‚Π²ΠΎΡ€ΡΡ‚ΡŒ Π΄Π²ΡƒΠΌ ограничСниям:

  1. Π’Π΅Ρ€ΠΎΡΡ‚Π½ΠΎΡΡ‚ΡŒ ΠΊΠ°ΠΆΠ΄ΠΎΠ³ΠΎ класса Π½Π΅ ΠΌΠΎΠΆΠ΅Ρ‚ Π±Ρ‹Ρ‚ΡŒ Π½ΠΈΠΆΠ΅ нуля

  2. Π‘ΡƒΠΌΠΌΠ° вСроятностСй Π΄ΠΎΠ»ΠΆΠ½Π° Π±Ρ‹Ρ‚ΡŒ Ρ€Π°Π²Π½Π° Π΅Π΄ΠΈΠ½ΠΈΡ†Π΅

Для удовлСтворСния ΠΏΠ΅Ρ€Π²ΠΎΠ³ΠΎ ограничСния Π»ΡƒΡ‡ΡˆΠ΅ Ρ‡Ρ‚ΠΎΠ±Ρ‹ модСль Π²Ρ‹Π΄Π°Π²Π°Π»Π° Π½Π΅ вСроятности, Π° ΠΈΡ… Π»ΠΎΠ³Π°Ρ€ΠΈΡ„ΠΌΡ‹: Ссли Π»ΠΎΠ³Π°Ρ€ΠΈΡ„ΠΌ Π½Π΅ΠΊΠΎΠΉ Π²Π΅Π»ΠΈΡ‡ΠΈΠ½Ρ‹ мСняСтся ΠΎΡ‚ Π΄ΠΎ , Ρ‚ΠΎ сама Π²Π΅Π»ΠΈΡ‡ΠΈΠ½Π° мСняСтся ΠΎΡ‚ Π΄ΠΎ . Π§Ρ‚ΠΎΠ±Ρ‹ ΡƒΠ΄ΠΎΠ²Π»Π΅Ρ‚Π²ΠΎΡ€ΡΠ»ΠΎΡΡŒ Π²Ρ‚ΠΎΡ€ΠΎΠ΅ ΠΎΠ³Ρ€Π°Π½ΠΈΡ‡Π΅Π½ΠΈΠ΅, ΠΊΠ°ΠΆΠ΄ΡƒΡŽ ΠΏΡ€Π΅Π΄ΡΠΊΠ°Π·Π°Π½Π½ΡƒΡŽ Π²Π΅Ρ€ΠΎΡΡ‚Π½ΠΎΡΡ‚ΡŒ ΠΌΡ‹ ΠΌΠΎΠΆΠ΅ΠΌ Π΄Π΅Π»ΠΈΡ‚ΡŒ Π½Π° сумму всСх прСдсказанных вСроятностСй. Вакая опСрация называСтся -Π½ΠΎΡ€ΠΌΠ°Π»ΠΈΠ·Π°Ρ†ΠΈΠ΅ΠΉ Π²Π΅ΠΊΡ‚ΠΎΡ€Π° вСроятностСй.

ΠžΡ‚ΡΡŽΠ΄Π° ΠΌΡ‹ ΠΌΠΎΠΆΠ΅ΠΌ вывСсти Ρ„ΠΎΡ€ΠΌΡƒΠ»Ρƒ для ΠΎΠΏΠ΅Ρ€Π°Ρ†ΠΈΠΈ softmax. Π­Ρ‚Π° опСрация ΠΏΡ€ΠΈΠ½ΠΈΠΌΠ°Π΅Ρ‚ Π½Π° Π²Ρ…ΠΎΠ΄ Π½Π°Π±ΠΎΡ€ ΠΈΠ· чисСл ΠΎΡ‚ Π΄ΠΎ (ΠΎΠ½ΠΈ Π½Π°Π·Ρ‹Π²Π°ΡŽΡ‚ΡΡ Π»ΠΎΠ³ΠΈΡ‚Π°ΠΌΠΈ, Π°Π½Π³Π». logits) ΠΈ Π²ΠΎΠ·Π²Ρ€Π°Ρ‰Π°Π΅Ρ‚ распрСдСлСниС вСроятностСй ΠΈΠ· чисСл . Softmax являСтся ΠΏΠΎΡΠ»Π΅Π΄ΠΎΠ²Π°Ρ‚Π΅Π»ΡŒΠ½ΠΎΡΡ‚ΡŒΡŽ Π΄Π²ΡƒΡ… ΠΎΠΏΠ΅Ρ€Π°Ρ†ΠΈΠΉ: взятия экспонСнты ΠΈ -Π½ΠΎΡ€ΠΌΠ°Π»ΠΈΠ·Π°Ρ†ΠΈΠΈ:

Π’Π°ΠΊΠΈΠΌ ΠΎΠ±Ρ€Π°Π·ΠΎΠΌ, softmax — это вСкторная опСрация, ΠΏΡ€ΠΈΠ½ΠΈΠΌΠ°ΡŽΡ‰Π°Ρ Π²Π΅ΠΊΡ‚ΠΎΡ€ ΠΈΠ· ΠΏΡ€ΠΎΠΈΠ·Π²ΠΎΠ»ΡŒΠ½Ρ‹Ρ… чисСл (Π»ΠΎΠ³ΠΈΡ‚ΠΎΠ²) ΠΈ Π²ΠΎΠ·Π²Ρ€Π°Ρ‰Π°ΡŽΡ‰Π°Ρ Π²Π΅ΠΊΡ‚ΠΎΡ€ вСроятностСй, ΡƒΠ΄ΠΎΠ²Π»Π΅Ρ‚Π²ΠΎΡ€ΡΡŽΡ‰ΠΈΠΉ свойствам 1 ΠΈ 2. Она примСняСтся ΠΊΠ°ΠΊ Π·Π°Π²Π΅Ρ€ΡˆΠ°ΡŽΡ‰Π°Ρ опСрация Π²ΠΎ ΠΌΠ½ΠΎΠ³ΠΈΡ… модСлях классификации — Ρ‚Π°ΠΊΠΈΠΌ ΠΎΠ±Ρ€Π°Π·ΠΎΠΌ ΠΌΡ‹ ΠΌΠΎΠΆΠ΅ΠΌ Π±Ρ‹Ρ‚ΡŒ ΡƒΠ²Π΅Ρ€Π΅Π½Ρ‹, Ρ‡Ρ‚ΠΎ Π²Ρ‹Π΄Π°Π½Π½Ρ‹Π΅ модСлью числа Π±ΡƒΠ΄ΡƒΡ‚ ΠΈΠΌΠ΅Π½Π½ΠΎ распрСдСлСниСм вСроятностСй (Ρ‚. Π΅. ΡƒΠ΄ΠΎΠ²Π»Π΅Ρ‚Π²ΠΎΡ€ΡΡ‚ΡŒ свойствам 1 ΠΈ 2). Π‘ΡƒΡ‰Π΅ΡΡ‚Π²ΡƒΡŽΡ‚ ΠΈ Ρ€Π°Π·Π»ΠΈΡ‡Π½Ρ‹Π΅ Π°Π»ΡŒΡ‚Π΅Ρ€Π½Π°Ρ‚ΠΈΠ²Ρ‹ Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΈ softmax, Π½Π°ΠΏΡ€ΠΈΠΌΠ΅Ρ€ sparsemax (Martins and Astudillo, 2016).

МодСль, ΠΏΡ€Π΅Π΄ΡΠΊΠ°Π·Ρ‹Π²Π°ΡŽΡ‰Π°Ρ Π»ΠΎΠ³ΠΈΡ‚ΠΎΠ², ΠΊ ΠΊΠΎΡ‚ΠΎΡ€Ρ‹ΠΌ примСняСтся опСрация softmax, Π±ΡƒΠ΄Π΅Ρ‚ ΠΎΠ±Π»Π°Π΄Π°Ρ‚ΡŒ Ρ‚ΠΎΠ»ΡŒΠΊΠΎ ΠΎΠ΄Π½ΠΈΠΌ ΠΎΠ³Ρ€Π°Π½ΠΈΡ‡Π΅Π½ΠΈΠ΅ΠΌ: ΠΎΠ½Π° Π½Π΅ ΠΌΠΎΠΆΠ΅Ρ‚ ΠΏΡ€Π΅Π΄ΡΠΊΠ°Π·Ρ‹Π²Π°Ρ‚ΡŒ строго Π½ΡƒΠ»Π΅Π²Ρ‹Π΅ ΠΈΠ»ΠΈ строго Π΅Π΄ΠΈΠ½ΠΈΡ‡Π½Ρ‹Π΅ вСроятности. Π—Π°Ρ‚ΠΎ Ρ‚Π°ΠΊΡƒΡŽ модСль ΠΌΠΎΠΆΠ½ΠΎ ΠΎΠ±ΡƒΡ‡Π°Ρ‚ΡŒ Π³Ρ€Π°Π΄ΠΈΠ΅Π½Ρ‚Π½Ρ‹ΠΌ спуском, Ρ‚Π°ΠΊ ΠΊΠ°ΠΊ функция softmax Π΄ΠΈΡ„Ρ„Π΅Ρ€Π΅Π½Ρ†ΠΈΡ€ΡƒΠ΅ΠΌΠ°.

ВСхничСски ΠΈΠ½ΠΎΠ³Π΄Π° функция softmax рассматриваСтся ΠΊΠ°ΠΊ Ρ‡Π°ΡΡ‚ΡŒ ΠΌΠΎΠ΄Π΅Π»ΠΈ, ΠΈΠ½ΠΎΠ³Π΄Π° ΠΊΠ°ΠΊ Ρ‡Π°ΡΡ‚ΡŒ Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΈ ΠΏΠΎΡ‚Π΅Ρ€ΡŒ. НапримСр, Π² Π±ΠΈΠ±Π»ΠΈΠΎΡ‚Π΅ΠΊΠ΅ Keras ΠΌΡ‹ ΠΌΠΎΠΆΠ΅ΠΌ Π΄ΠΎΠ±Π°Π²ΠΈΡ‚ΡŒ Ρ„ΡƒΠ½ΠΊΡ†ΠΈΡŽ Π°ΠΊΡ‚ΠΈΠ²Π°Ρ†ΠΈΠΈ 'softmax' Π² послСдний слой сСти ΠΈ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒ Ρ„ΡƒΠ½ΠΊΡ†ΠΈΡŽ ΠΏΠΎΡ‚Π΅Ρ€ΡŒ CategoricalCrossentropy(), Π° ΠΌΠΎΠΆΠ΅ΠΌ Π½Π°ΠΎΠ±ΠΎΡ€ΠΎΡ‚ Π½Π΅ Π΄ΠΎΠ±Π°Π²Π»ΡΡ‚ΡŒ Ρ„ΡƒΠ½ΠΊΡ†ΠΈΡŽ Π°ΠΊΡ‚ΠΈΠ²Π°Ρ†ΠΈΠΈ Π² послСдний слой ΠΈ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒ Ρ„ΡƒΠ½ΠΊΡ†ΠΈΡŽ ΠΏΠΎΡ‚Π΅Ρ€ΡŒ CategoricalCrossentropy (from_logits=True), которая Π²ΠΊΠ»ΡŽΡ‡Π°Π΅Ρ‚ Π² сСбя расчСт softmax (ΠΈ Π΅Π΅ ΠΏΡ€ΠΎΠΈΠ·Π²ΠΎΠ΄Π½ΠΎΠΉ ΠΏΡ€ΠΈ ΠΎΠ±Ρ€Π°Ρ‚Π½ΠΎΠΌ ΠΏΡ€ΠΎΡ…ΠΎΠ΄Π΅). Π‘ матСматичСской Ρ‚ΠΎΡ‡ΠΊΠΈ зрСния Ρ€Π°Π·Π½ΠΈΡ†Ρ‹ ΠΌΠ΅ΠΆΠ΄Ρƒ этими двумя способами Π½Π΅ Π±ΡƒΠ΄Π΅Ρ‚, Π½ΠΎ ΠΏΠΎΠ³Ρ€Π΅ΡˆΠ½ΠΎΡΡ‚ΡŒ расчСта Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΈ ΠΏΠΎΡ‚Π΅Ρ€ΡŒ ΠΈ ΠΏΡ€ΠΎΠΈΠ·Π²ΠΎΠ΄Π½ΠΎΠΉ Π²ΠΎ Π²Ρ‚ΠΎΡ€ΠΎΠΌ случаС Π±ΡƒΠ΄Π΅Ρ‚ мСньшС. Π’ PyTorch ΠΌΡ‹ ΠΌΠΎΠΆΠ΅ΠΌ ΠΏΡ€ΠΈΠΌΠ΅Π½ΠΈΡ‚ΡŒ LogSoftmax вмСстС с NLLLoss (negative log-likelihood), Π° ΠΌΠΎΠΆΠ΅ΠΌ вмСсто этого ΠΏΡ€ΠΈΠΌΠ΅Π½ΠΈΡ‚ΡŒ torch.nn.functional.cross_entropy, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹ΠΉ Π²ΠΊΠ»ΡŽΡ‡Π°Π΅Ρ‚ Π² сСбя расчСт LogSoftmax.

1.3. Π’Π΅ΠΌΠΏΠ΅Ρ€Π°Ρ‚ΡƒΡ€Π° softmax ΠΈ опСрация hardmax*

Π£ Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΈ softmax (5) Π΅ΡΡ‚ΡŒ Π²Π°ΠΆΠ½ΠΎΠ΅ свойство: Ссли ΠΊΠΎ всСм Π»ΠΎΠ³ΠΈΡ‚Π°ΠΌ ΠΏΡ€ΠΈΠ±Π°Π²ΠΈΡ‚ΡŒ ΠΎΠ΄Π½Ρƒ ΠΈ Ρ‚Ρƒ ΠΆΠ΅ константу , Ρ‚ΠΎ вСроятности Π½ΠΈΠΊΠ°ΠΊ Π½Π΅ измСнятся, Ρ‚Π°ΠΊ ΠΊΠ°ΠΊ послС примСнСния экспонСнты константа ΠΈΠ· слагаСмого прСвратится Π² ΠΌΠ½ΠΎΠΆΠΈΡ‚Π΅Π»ΡŒ, ΠΈ ΠΌΠ½ΠΎΠΆΠΈΡ‚Π΅Π»ΠΈ Π² числитСлС ΠΈ Π·Π½Π°ΠΌΠ΅Π½Π°Ρ‚Π΅Π»Π΅ сократятся. Однако Ссли всС Π»ΠΎΠ³ΠΈΡ‚Ρ‹ ΡƒΠΌΠ½ΠΎΠΆΠΈΡ‚ΡŒ Π½Π° Π½Π΅ΠΊΡƒΡŽ константу , Ρ‚ΠΎ Ρ‚ΠΎΠ³Π΄Π° вСроятности измСнятся: Ссли , Ρ‚ΠΎ вСроятности станут Π±Π»ΠΈΠΆΠ΅ Π΄Ρ€ΡƒΠ³ ΠΊ Π΄Ρ€ΡƒΠ³Ρƒ, Ρ‡Ρ‚ΠΎ ΠΎΠ·Π½Π°Ρ‡Π°Π΅Ρ‚ ΠΌΠ΅Π½ΡŒΡˆΡƒΡŽ ΡƒΠ²Π΅Ρ€Π΅Π½Π½ΠΎΡΡ‚ΡŒ Π² прСдсказании, Ссли ΠΆΠ΅ , Ρ‚ΠΎ Π½Π°ΠΎΠ±ΠΎΡ€ΠΎΡ‚ ΠΌΡ‹ ΠΏΠΎΠ»ΡƒΡ‡ΠΈΠΌ Π±ΠΎΠ»ΡŒΡˆΡƒΡŽ ΡƒΠ²Π΅Ρ€Π΅Π½Π½ΠΎΡΡ‚ΡŒ Π² прСдсказании. Π­Ρ‚ΠΎΡ‚ Π΄ΠΎΠΏΠΎΠ»Π½ΠΈΡ‚Π΅Π»ΡŒΠ½Ρ‹ΠΉ ΠΌΠ½ΠΎΠΆΠΈΡ‚Π΅Π»ΡŒ, Ссли ΠΎΠ½ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΠ΅Ρ‚ΡΡ, называСтся «Ρ‚Π΅ΠΌΠΏΠ΅Ρ€Π°Ρ‚ΡƒΡ€ΠΎΠΉ» softmax.

ΠŸΡ€ΠΈ Ρ‚ΠΎΡ‚ класс, Π»ΠΎΠ³ΠΈΡ‚ ΠΊΠΎΡ‚ΠΎΡ€ΠΎΠ³ΠΎ Π±Ρ‹Π» наибольшим, ΠΏΠΎΠ»ΡƒΡ‡ΠΈΡ‚ Π²Π΅Ρ€ΠΎΡΡ‚Π½ΠΎΡΡ‚ΡŒ 1, ΠΎΡΡ‚Π°Π»ΡŒΠ½Ρ‹Π΅ классы — Π²Π΅Ρ€ΠΎΡΡ‚Π½ΠΎΡΡ‚ΡŒ 0, Ρ‚Π°ΠΊΡƒΡŽ ΠΎΠΏΠ΅Ρ€Π°Ρ†ΠΈΡŽ ΠΏΠΎ Π°Π½Π°Π»ΠΎΠ³ΠΈΠΈ часто Π½Π°Π·Ρ‹Π²Π°ΡŽΡ‚ hardmax. Иногда Π΅Π΅ ΡƒΠΏΠΎΠΌΠΈΠ½Π°ΡŽΡ‚ ΠΊΠ°ΠΊ argmax, ΠΏΠΎΡ‚ΠΎΠΌΡƒ Ρ‡Ρ‚ΠΎ hardmax ΠΌΠΎΠΆΠ½ΠΎ ΡΡ‡ΠΈΡ‚Π°Ρ‚ΡŒ one-hot ΠΊΠΎΠ΄ΠΈΡ€ΠΎΠ²Π°Π½ΠΈΠ΅ΠΌ индСкса, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹ΠΉ Π²ΠΎΠ·Π²Ρ€Π°Ρ‰Π°Π΅Ρ‚ опСрация argmax.

На этом ΠΏΡ€ΠΈΠΌΠ΅Ρ€Π΅ Π²ΠΈΠ΄Π½ΠΎ Ρ‚ΠΎ, ΠΊΠ°ΠΊ ΡƒΠΏΠΎΡ‚Ρ€Π΅Π±Π»ΡΡŽΡ‚ΡΡ понятия soft ΠΈ hard Π² машинном ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠΈ: hard-ΠΎΠΏΠ΅Ρ€Π°Ρ†ΠΈΠΈ (hardmax, argmax, hard attention, hard labeling, sign) связаны с Π²Ρ‹Π±ΠΎΡ€ΠΎΠΌ Π½Π΅ΠΊΠΎΠ΅Π³ΠΎ элСмСнта Π² мноТСствС, Π° soft-ΠΎΠΏΠ΅Ρ€Π°Ρ†ΠΈΠΈ (softmax, soft attention, soft labeling, soft sign) ΡΠ²Π»ΡΡŽΡ‚ΡΡ ΠΈΡ… Π΄ΠΈΡ„Ρ„Π΅Ρ€Π΅Π½Ρ†ΠΈΡ€ΡƒΠ΅ΠΌΡ‹ΠΌΠΈ Π°Π½Π°Π»ΠΎΠ³Π°ΠΌΠΈ. НапримСр, Π² softmax ΠΌΠΎΠΆΠ½ΠΎ Ρ€Π°ΡΡΡ‡ΠΈΡ‚Π°Ρ‚ΡŒ ΠΏΡ€ΠΎΠΈΠ·Π²ΠΎΠ΄Π½ΡƒΡŽ ΠΊΠ°ΠΆΠ΄ΠΎΠ³ΠΎ Π²Ρ‹Ρ…ΠΎΠ΄Π½ΠΎΠ³ΠΎ элСмСнта ΠΏΠΎ ΠΊΠ°ΠΆΠ΄ΠΎΠΌΡƒ Π²Ρ…ΠΎΠ΄Π½ΠΎΠΌΡƒ. Π’ hardmax ΠΈΠ»ΠΈ argmax это Π½Π΅ ΠΈΠΌΠ΅Π΅Ρ‚ смысла: ΠΏΡ€ΠΎΠΈΠ·Π²ΠΎΠ΄Π½Ρ‹Π΅ всСгда Π±ΡƒΠ΄ΡƒΡ‚ Ρ€Π°Π²Π½Ρ‹ Π½ΡƒΠ»ΡŽ.

Π­Ρ‚ΠΎ ΠΌΠΎΠΆΠ½ΠΎ ΠΏΠΎΠ½ΡΡ‚ΡŒ Π΄Π°ΠΆΠ΅ Π½Π΅ прибСгая ΠΊ расчСтам, ΠΏΠΎΡΠΊΠΎΠ»ΡŒΠΊΡƒ Ρƒ диффСрСнцируСмости Π΅ΡΡ‚ΡŒ ΠΎΡ‡Π΅Π½ΡŒ простая наглядная интСрпрСтация: опСрация Π΄ΠΈΡ„Ρ„Π΅Ρ€Π΅Π½Ρ†ΠΈΡ€ΡƒΠ΅ΠΌΠ° Ссли ΠΏΠ»Π°Π²Π½ΠΎΠ΅ ΠΈΠ·ΠΌΠ΅Π½Π΅Π½ΠΈΠ΅ ΠΏΡ€ΠΈΠ²ΠΎΠ΄ΠΈΡ‚ ΠΊ ΠΏΠ»Π°Π²Π½ΠΎΠΌΡƒ измСнСнию . Π­Ρ‚ΠΎ Π²Π΅Ρ€Π½ΠΎ для ΠΎΠΏΠ΅Ρ€Π°Ρ†ΠΈΠΈ softmax, ΠΈ благодаря этому ΠΌΡ‹ ΠΌΠΎΠΆΠ΅ΠΌ ΠΏΡ€ΠΈΠΌΠ΅Π½ΡΡ‚ΡŒ Π³Ρ€Π°Π΄ΠΈΠ΅Π½Ρ‚Π½Ρ‹ΠΉ спуск ΠΈΠ»ΠΈ Π³Ρ€Π°Π΄ΠΈΠ΅Π½Ρ‚Π½Ρ‹ΠΉ бустинг. Но Π² ΠΎΠΏΠ΅Ρ€Π°Ρ†ΠΈΠΈ hardmax ΠΏΠ»Π°Π²Π½ΠΎΠ΅ ΠΈΠ·ΠΌΠ΅Π½Π΅Π½ΠΈΠ΅ Π»ΠΎΠ³ΠΈΡ‚ΠΎΠ² ΠΏΡ€ΠΈΠ²ΠΎΠ΄ΠΈΡ‚ ΠΊ Ρ‚ΠΎΠΌΡƒ, Ρ‡Ρ‚ΠΎ Π²Ρ‹Ρ…ΠΎΠ΄Π½Ρ‹Π΅ вСроятности Π»ΠΈΠ±ΠΎ ΠΎΡΡ‚Π°ΡŽΡ‚ΡΡ Ρ‚Π°ΠΊΠΈΠΌΠΈ ΠΆΠ΅, Π»ΠΈΠ±ΠΎ ΠΌΠ΅Π½ΡΡŽΡ‚ΡΡ скачкообразно, поэтому (Π±Π΅Π· Π΄ΠΎΠΏΠΎΠ»Π½ΠΈΡ‚Π΅Π»ΡŒΠ½Ρ‹Ρ… ΡƒΡ…ΠΈΡ‰Ρ€Π΅Π½ΠΈΠΉ) Π³Ρ€Π°Π΄ΠΈΠ΅Π½Ρ‚Π½Ρ‹ΠΉ спуск ΠΈ Π³Ρ€Π°Π΄ΠΈΠ΅Π½Ρ‚Π½Ρ‹ΠΉ бустинг ΠΎΠΊΠ°Π·Ρ‹Π²Π°ΡŽΡ‚ΡΡ Π½Π΅ΠΏΡ€ΠΈΠΌΠ΅Π½ΠΈΠΌΡ‹.

1.4. Ѐункция sigmoid Π² классификации

Рассмотрим случай Π±ΠΈΠ½Π°Ρ€Π½ΠΎΠΉ классификации. ΠŸΡ€Π΅Π΄ΡΡ‚Π°Π²ΠΈΠΌ, Ρ‡Ρ‚ΠΎ Ρƒ нас Π΅ΡΡ‚ΡŒ 2 класса, ΠΈ модСль Π²Ρ‹Π΄Π°Π΅Ρ‚ 2 Π»ΠΎΠ³ΠΈΡ‚Π° , ΠΈΠ· ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Ρ… с ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ softmax ΠΏΠΎΠ»ΡƒΡ‡Π°Π΅ΠΌ вСроятности , сумма ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Ρ… Ρ€Π°Π²Π½Π° Π΅Π΄ΠΈΠ½ΠΈΡ†Π΅. Но ΠΏΡ€ΠΈΠ±Π°Π²Π»Π΅Π½ΠΈΠ΅ ΠΎΠ΄Π½ΠΎΠΉ ΠΈ Ρ‚ΠΎΠΉ ΠΆΠ΅ константы ΠΊ Π½Π΅ мСняСт вСроятности, поэтому ΠΈΠΌΠ΅Ρ‚ΡŒ Π΄Π²Π΅ «ΡΡ‚Π΅ΠΏΠ΅Π½ΠΈ свободы» излишнС, ΠΈ ΠΈΠΌΠ΅Π΅Ρ‚ смысл Π·Π°Ρ„ΠΈΠΊΡΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ Π² Π·Π½Π°Ρ‡Π΅Π½ΠΈΠΈ 0. Π’Π΅ΠΏΠ΅Ρ€ΡŒ мСняя модСль Π±ΡƒΠ΄Π΅Ρ‚ ΠΌΠ΅Π½ΡΡ‚ΡŒ вСроятности классов . ЗначСния ΠΈ , согласно (21), Π±ΡƒΠ΄ΡƒΡ‚ связаны ΡΠ»Π΅Π΄ΡƒΡŽΡ‰ΠΈΠΌ ΠΎΠ±Ρ€Π°Π·ΠΎΠΌ:

Вакая функция носит Π½Π°Π·Π²Π°Π½ΠΈΠ΅ сигмоиды:

ΠŸΡ€ΠΈΠΌΠ΅Ρ‡Π°Π½ΠΈΠ΅. Π’ Π±ΠΎΠ»Π΅Π΅ ΡˆΠΈΡ€ΠΎΠΊΠΎΠΌ смыслС, сигмоидами Π½Π°Π·Ρ‹Π²Π°ΡŽΡ‚ ΠΈ Π΄Ρ€ΡƒΠ³ΠΈΠ΅ Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΈ ΠΎΠ΄Π½ΠΎΠΉ ΠΏΠ΅Ρ€Π΅ΠΌΠ΅Π½Π½ΠΎΠΉ, Π³Ρ€Π°Ρ„ΠΈΠΊ ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Ρ… выглядит ΠΏΠΎΡ…ΠΎΠΆΠΈΠΌ ΠΎΠ±Ρ€Π°Π·ΠΎΠΌ. Для прСобразования Π»ΠΎΠ³ΠΈΡ‚Π° Π² Π²Π΅Ρ€ΠΎΡΡ‚Π½ΠΎΡΡ‚ΡŒ вмСсто ΠΌΠΎΠΆΠ½ΠΎ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒ Π»ΡŽΠ±ΡƒΡŽ ΠΈ этих Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΉ, Ρ€Π°Π·Π½ΠΈΡ†Π° ΠΌΠ΅ΠΆΠ΄Ρƒ Π½ΠΈΠΌΠΈ Π½Π΅ ΠΏΡ€ΠΈΠ½Ρ†ΠΈΠΏΠΈΠ°Π»ΡŒΠ½Π°. Π’Π°ΠΊΠΆΠ΅ сигмоида ΠΈΠ½ΠΎΠ³Π΄Π° ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΠ΅Ρ‚ΡΡ Π² ΠΏΡ€ΠΎΠΌΠ΅ΠΆΡƒΡ‚ΠΎΡ‡Π½Ρ‹Ρ… слоях Π½Π΅ΠΉΡ€ΠΎΠ½Π½Ρ‹Ρ… сСтСй.

К Ρ‡Π΅ΠΌΡƒ ΠΌΡ‹ Π² ΠΈΡ‚ΠΎΠ³Π΅ ΠΏΡ€ΠΈΡˆΠ»ΠΈ? К Ρ‚ΠΎΠΌΡƒ, Ρ‡Ρ‚ΠΎ Ссли класса всСго Π΄Π²Π°, Ρ‚ΠΎ ΠΈΠΌΠ΅Ρ‚ΡŒ Π΄Π²Π° Π»ΠΎΠ³ΠΈΡ‚Π° Π² ΠΌΠΎΠ΄Π΅Π»ΠΈ Π½Π΅ ΠΎΠ±ΡΠ·Π°Ρ‚Π΅Π»ΡŒΠ½ΠΎ, достаточно всСго ΠΎΠ΄Π½ΠΎΠ³ΠΎ, ΠΊ ΠΊΠΎΡ‚ΠΎΡ€ΠΎΠΌΡƒ примСняСтся сигмоида вмСсто softmax. Ѐункция ΠΏΠΎΡ‚Π΅Ρ€ΡŒ ΠΏΡ€ΠΈ этом становится Π±ΠΈΠ½Π°Ρ€Π½ΠΎΠΉ кроссэнтропиСй (4). На самом Π΄Π΅Π»Π΅ Ρ‚ΠΎ ΠΆΠ΅ рассуТдСниС ΠΌΠΎΠΆΠ½ΠΎ ΠΏΡ€ΠΈΠΌΠ΅Π½ΠΈΡ‚ΡŒ ΠΈ ΠΊ ΠΌΡƒΠ»ΡŒΡ‚ΠΈΠΊΠ»Π°ΡΡΠΎΠ²ΠΎΠΉ классификации: Ссли классов , Ρ‚ΠΎ достаточно ΠΈΠΌΠ΅Ρ‚ΡŒ Π»ΠΎΠ³ΠΈΡ‚ΠΎΠ², Π½ΠΎ Ρ‚Π°ΠΊ ΠΎΠ±Ρ‹Ρ‡Π½ΠΎ Π½Π΅ Π΄Π΅Π»Π°ΡŽΡ‚.

Π’Π΅ΠΏΠ΅Ρ€ΡŒ запишСм Ρ„ΡƒΠ½ΠΊΡ†ΠΈΡŽ, ΠΎΠ±Ρ€Π°Ρ‚Π½ΡƒΡŽ сигмоидС. Π­Ρ‚Π° функция ΠΏΡ€Π΅ΠΎΠ±Ρ€Π°Π·ΡƒΠ΅Ρ‚ Π²Π΅Ρ€ΠΎΡΡ‚Π½ΠΎΡΡ‚ΡŒ ΠΎΠ±Ρ€Π°Ρ‚Π½ΠΎ Π² Π»ΠΎΠ³ΠΈΡ‚ ΠΈ называСтся logit function:

Если — это Π²Π΅Ρ€ΠΎΡΡ‚Π½ΠΎΡΡ‚ΡŒ Π²Ρ‚ΠΎΡ€ΠΎΠ³ΠΎ класса, Π° — Π²Π΅Ρ€ΠΎΡΡ‚Π½ΠΎΡΡ‚ΡŒ ΠΏΠ΅Ρ€Π²ΠΎΠ³ΠΎ класса, Ρ‚ΠΎ Π²Ρ‹Ρ€Π°ΠΆΠ΅Π½ΠΈΠ΅ ΠΎΠ·Π½Π°Ρ‡Π°Π΅Ρ‚ Ρ‚ΠΎ, Π²ΠΎ сколько Ρ€Π°Π· Π²Ρ‚ΠΎΡ€ΠΎΠΉ класс вСроятнСС ΠΏΠ΅Ρ€Π²ΠΎΠ³ΠΎ. Π­Ρ‚ΠΎ Π²Ρ‹Ρ€Π°ΠΆΠ΅Π½ΠΈΠ΅ называСтся odds ratio. Π›ΠΎΠ³ΠΈΡ‚ являСтся Π΅Π³ΠΎ Π»ΠΎΠ³Π°Ρ€ΠΈΡ„ΠΌΠΎΠΌ ΠΈ называСтся log odds ratio.

Если ΠΌΡ‹ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΠ΅ΠΌ Π² ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠΈ сигмоиду, Ρ‚ΠΎ модСль нСпосрСдствСнно прСдсказываСт Π»ΠΎΠ³ΠΈΡ‚ , Ρ‚ΠΎ Π΅ΡΡ‚ΡŒ Π»ΠΎΠ³Π°Ρ€ΠΈΡ„ΠΌ Ρ‚ΠΎΠ³ΠΎ, Π²ΠΎ сколько Ρ€Π°Π· Π²Ρ‚ΠΎΡ€ΠΎΠΉ класс вСроятнСС ΠΏΠ΅Ρ€Π²ΠΎΠ³ΠΎ.

2. ΠšΡ€ΠΎΡΡΡΠ½Ρ‚Ρ€ΠΎΠΏΠΈΡ Π² вСроятностных модСлях

2.1. Π Π°Π·ΠΌΠ΅Ρ‚ΠΊΠ° с Π½Π΅ΡƒΠ²Π΅Ρ€Π΅Π½Π½ΠΎΡΡ‚ΡŒΡŽ

Π’ выраТСниях для Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΈ ΠΏΠΎΡ‚Π΅Ρ€ΡŒ Π² классификации (2) ΠΈ рСгрСссии (Ρ‡Π°ΡΡ‚ΡŒ 1, Ρ„ΠΎΡ€ΠΌΡƒΠ»Π° 7) ΠΌΡ‹ ΠΏΡ€Π΅Π΄ΠΏΠΎΠ»Π°Π³Π°Π»ΠΈ Π½Π°Π»ΠΈΡ‡ΠΈΠ΅ для ΠΊΠ°ΠΆΠ΄ΠΎΠ³ΠΎ ΠΏΡ€ΠΈΠΌΠ΅Ρ€Π° эталонного ΠΎΡ‚Π²Π΅Ρ‚Π° , ΠΊ ΠΊΠΎΡ‚ΠΎΡ€ΠΎΠΌΡƒ модСль Π΄ΠΎΠ»ΠΆΠ½Π° ΡΡ‚Ρ€Π΅ΠΌΠΈΡ‚ΡŒΡΡ. Но Π² Π±ΠΎΠ»Π΅Π΅ ΠΎΠ±Ρ‰Π΅ΠΌ случаС эталонный ΠΎΡ‚Π²Π΅Ρ‚ ΠΌΠΎΠΆΠ΅Ρ‚ Π±Ρ‹Ρ‚ΡŒ Π½Π΅ ΠΊΠΎΠ½ΠΊΡ€Π΅Ρ‚Π½Ρ‹ΠΌ Π·Π½Π°Ρ‡Π΅Π½ΠΈΠ΅ΠΌ, Π° распрСдСлСниСм вСроятностСй Π½Π° мноТСствС , Ρ‚Π°ΠΊ ΠΆΠ΅ ΠΊΠ°ΠΊ ΠΈ прСдсказаниС ΠΌΠΎΠ΄Π΅Π»ΠΈ. Π’ΠΎ Π΅ΡΡ‚ΡŒ Π² Ρ€Π°Π·ΠΌΠ΅Ρ‚ΠΊΠ΅ датасСта значСния ΡƒΠΊΠ°Π·Π°Π½Ρ‹ с ΠΎΠΏΡ€Π΅Π΄Π΅Π»Π΅Π½Π½ΠΎΠΉ ΡΡ‚Π΅ΠΏΠ΅Π½ΡŒΡŽ нСувСрСнности: Ссли это классификация, Ρ‚ΠΎ ΠΌΠΎΠ³ΡƒΡ‚ Π±Ρ‹Ρ‚ΡŒ ΡƒΠΊΠ°Π·Π°Π½Ρ‹ вСроятности для всСх классов, Ссли рСгрСссия — Ρ‚ΠΎ ΠΌΠΎΠΆΠ΅Ρ‚ Π±Ρ‹Ρ‚ΡŒ ΡƒΠΊΠ°Π·Π°Π½Π° ΠΏΠΎΠ³Ρ€Π΅ΡˆΠ½ΠΎΡΡ‚ΡŒ.

Битуация, ΠΊΠΎΠ³Π΄Π° Ρ€Π°Π·ΠΌΠ΅Ρ‚ΠΊΠ° датасСта содСрТит Π½Π΅ΠΊΡƒΡŽ ΡΡ‚Π΅ΠΏΠ΅Π½ΡŒ нСувСрСнности, Π½Π΅ такая ΡƒΠΆ рСдкая. НапримСр, Π² ΠΏΡƒΡΡ‚ΡŒ Π² Π·Π°Π΄Π°Ρ‡Π΅ классификации эмоций ΠΏΠΎ видСозаписи датасСт Ρ€Π°Π·ΠΌΠ΅Ρ‡Π΅Π½ сразу нСсколькими людьми-Π°Π½Π½ΠΎΡ‚Π°Ρ‚ΠΎΡ€Π°ΠΌΠΈ, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ ΠΈΠ½ΠΎΠ³Π΄Π° Π΄Π°ΡŽΡ‚ Ρ€Π°Π·Π½Ρ‹Π΅ ΠΎΡ‚Π²Π΅Ρ‚Ρ‹. НапримСр, ΠΎΠ΄Π½ΠΎ ΠΈΠ· Π²ΠΈΠ΄Π΅ΠΎ Π² датасСтС ΠΌΠΎΠΆΠ΅Ρ‚ Π±Ρ‹Ρ‚ΡŒ Ρ€Π°Π·ΠΌΠ΅Ρ‡Π΅Π½ΠΎ ΠΊΠ°ΠΊ «happiness» 11 Π°Π½Π½ΠΎΡ‚Π°Ρ‚ΠΎΡ€Π°ΠΌΠΈ ΠΈ ΠΊΠ°ΠΊ «sadness» 9 Π°Π½Π½ΠΎΡ‚Π°Ρ‚ΠΎΡ€Π°ΠΌΠΈ. ΠžΡΡ‚Π°Π²ΠΈΠ² Ρ‚ΠΎΠ»ΡŒΠΊΠΎ «happiness» ΠΌΡ‹ потСряСм Ρ‡Π°ΡΡ‚ΡŒ ΠΈΠ½Ρ„ΠΎΡ€ΠΌΠ°Ρ†ΠΈΠΈ. ВмСсто этого ΠΌΡ‹ ΠΌΠΎΠΆΠ΅ΠΌ ΠΎΡΡ‚Π°Π²ΠΈΡ‚ΡŒ ΠΎΠ±Π΅ эмоции, ΡΡ‡ΠΈΡ‚Π°Ρ‚ΡŒ ΠΈΡ… распрСдСлСниСм вСроятностСй: , ΠΈ ΠΎΠ±ΡƒΡ‡Π°Ρ‚ΡŒ модСль Π²Ρ‹Π΄Π°Π²Π°Ρ‚ΡŒ для Π΄Π°Π½Π½ΠΎΠ³ΠΎ ΠΏΡ€ΠΈΠΌΠ΅Ρ€Π° Ρ‚Π°ΠΊΠΎΠ΅ ΠΆΠ΅ распрСдСлСниС вСроятностСй.

Благодаря Ρ€Π°Π·ΠΌΠ΅Ρ‚ΠΊΠ΅ с Π½Π΅ΡƒΠ²Π΅Ρ€Π΅Π½Π½ΠΎΡΡ‚ΡŒΡŽ сохраняСтся большС ΠΈΠ½Ρ„ΠΎΡ€ΠΌΠ°Ρ†ΠΈΠΈ: Π΅ΡΡ‚ΡŒ явно Π²Ρ‹Ρ€Π°ΠΆΠ΅Π½Π½Ρ‹Π΅ эмоции, Π° Π΅ΡΡ‚ΡŒ слоТно опрСдСляСмыС.

Но с Π΄Ρ€ΡƒΠ³ΠΎΠΉ стороны для ΠΊΠ°ΠΆΠ΄ΠΎΠ³ΠΎ Π²ΠΈΠ΄Π΅ΠΎ Π΅ΡΡ‚ΡŒ какая-Ρ‚ΠΎ истинная эмоция: Π»ΠΈΠ±ΠΎ «happiness», Π»ΠΈΠ±ΠΎ «sadness» — Ρ‡Π΅Π»ΠΎΠ²Π΅ΠΊ Π½Π΅ ΠΌΠΎΠΆΠ΅Ρ‚ ΠΈΡΠΏΡ‹Ρ‚Ρ‹Π²Π°Ρ‚ΡŒ ΠΎΠ±Π΅ эти эмоции ΠΎΠ΄Π½ΠΎΠ²Ρ€Π΅ΠΌΠ΅Π½Π½ΠΎ. Π’ Ρ‚Π΅ΠΎΡ€ΠΈΠΈ модСль ΠΌΠΎΠ³Π»Π° Π±Ρ‹ ΠΎΠ±ΡƒΡ‡ΠΈΡ‚ΡŒΡΡ ΠΎΠΏΡ€Π΅Π΄Π΅Π»ΡΡ‚ΡŒ эмоции Ρ‚ΠΎΡ‡Π½Π΅Π΅, Ρ‡Π΅ΠΌ Ρ‡Π΅Π»ΠΎΠ²Π΅ΠΊ, ΠΈ Ρ€Π°Π·ΠΌΠ΅Ρ‚ΠΊΠ° с Π½Π΅ΡƒΠ²Π΅Ρ€Π΅Π½Π½ΠΎΡΡ‚ΡŒΡŽ ΠΌΠΎΠΆΠ΅Ρ‚ ΠΏΠΎΠΌΠ΅ΡˆΠ°Ρ‚ΡŒ ΠΌΠΎΠ΄Π΅Π»ΠΈ Π²Ρ‹ΡƒΡ‡ΠΈΡ‚ΡŒΡΡ Ρ‚ΠΎΡ‡Π½Π΅Π΅ Ρ‡Π΅Π»ΠΎΠ²Π΅ΠΊΠ°: Ссли Ρ‡Π΅Π»ΠΎΠ²Π΅ΠΊ Π΄Π°Π΅Ρ‚ 50% вСроятности ΠΎΠ±ΠΎΠΈΠΌ классам, ΠΈ ΠΌΡ‹ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΠ΅ΠΌ это ΠΊΠ°ΠΊ эталонный ΠΎΡ‚Π²Π΅Ρ‚, Ρ‚ΠΎ модСль Π±ΡƒΠ΄Π΅Ρ‚ ΡΡ‚Ρ€Π΅ΠΌΠΈΡ‚ΡŒΡΡ ΠΊ Π½Π΅ΠΌΡƒ, Π΄Π°ΠΆΠ΅ Ссли ΠΎΠ½Π° способна ΠΎΠΏΡ€Π΅Π΄Π΅Π»ΠΈΡ‚ΡŒ ΡΠΌΠΎΡ†ΠΈΡŽ Ρ‚ΠΎΡ‡Π½Π΅Π΅.

2.2. ΠšΡ€ΠΎΡΡΡΠ½Ρ‚Ρ€ΠΎΠΏΠΈΡ ΠΈ расхоТдСниС ΠšΡƒΠ»ΡŒΠ±Π°ΠΊΠ°-Π›Π΅ΠΉΠ±Π»Π΅Ρ€Π°

ΠŸΡƒΡΡ‚ΡŒ ΠΌΡ‹ ΠΈΠΌΠ΅Π΅ΠΌ датасСт ΠΈΠ· ΠΏΠ°Ρ€ , Π² ΠΊΠΎΡ‚ΠΎΡ€ΠΎΠΌ эталонный ΠΎΡ‚Π²Π΅Ρ‚ являСтся Π½Π΅ ΠΊΠΎΠ½ΠΊΡ€Π΅Ρ‚Π½Ρ‹ΠΌ Π·Π½Π°Ρ‡Π΅Π½ΠΈΠ΅ΠΌ ΠΏΡ€ΠΈΠ·Π½Π°ΠΊΠ° , Π° распрСдСлСниСм вСроятностСй Π½Π° мноТСствС . Нам ΠΊΠ°ΠΊΠΈΠΌ-Ρ‚ΠΎ ΠΎΠ±Ρ€Π°Π·ΠΎΠΌ Π½ΡƒΠΆΠ½ΠΎ «ΠΏΠΎΠ΄ΠΎΠ³Π½Π°Ρ‚ΡŒ» прСдсказанноС распрСдСлСниС ΠΏΠΎΠ΄ эталонноС распрСдСлСниС .

ΠŸΡ€ΠΈΠΌΠ΅Ρ€ 1. Если Π² Π·Π°Π΄Π°Ρ‡Π΅ классификации Π² эталонном распрСдСлСнии вСроятности классов Ρ€Π°Π²Π½Ρ‹ 0.7 ΠΈ 0.3, Ρ‚ΠΎ ΠΌΡ‹ Ρ…ΠΎΡ‚Π΅Π»ΠΈ Π±Ρ‹, Ρ‡Ρ‚ΠΎΠ±Ρ‹ Π² прСдсказании ΠΎΠ½ΠΈ Ρ‚ΠΎΠΆΠ΅ Π±Ρ‹Π»ΠΈ Π±Ρ‹ Ρ€Π°Π²Π½Ρ‹ 0.7 ΠΈ 0.3.

ΠŸΡ€ΠΈΠΌΠ΅Ρ€ 2. Если Π² Π·Π°Π΄Π°Ρ‡Π΅ рСгрСссии эталонноС распрСдСлСниС ΠΈΠΌΠ΅Π΅Ρ‚ Π΄Π²Π΅ ΠΌΠΎΠ΄Ρ‹ Π² значСниях 0.5 ΠΈ 1.5, Ρ‚ΠΎ Π½Π°ΠΌ Ρ…ΠΎΡ‚Π΅Π»ΠΎΡΡŒ Π±Ρ‹, Ρ‡Ρ‚ΠΎΠ±Ρ‹ прСдсказанноС распрСдСлСниС вСроятностСй Ρ‚ΠΎΠΆΠ΅ ΠΈΠΌΠ΅Π»ΠΎ ΠΌΠΎΠ΄Ρ‹ Π² этих Ρ‚ΠΎΡ‡ΠΊΠ°Ρ…. Но Ссли ΠΌΡ‹ ΠΌΠΎΠ΄Π΅Π»ΠΈΡ€ΡƒΠ΅ΠΌ Π½ΠΎΡ€ΠΌΠ°Π»ΡŒΠ½Ρ‹ΠΌ распрСдСлСниСм (ΠΊΠ°ΠΊ Π² Ρ€Π°Π·Π΄Π΅Π»Π΅ 2.3 ΠΏΠ΅Ρ€Π²ΠΎΠΉ части), Ρ‚ΠΎΠ³Π΄Π° Π² Π½Π΅ΠΌ Π² любом случаС Π±ΡƒΠ΄Π΅Ρ‚ Ρ‚ΠΎΠ»ΡŒΠΊΠΎ ΠΎΠ΄Π½Π° ΠΌΠΎΠ΄Π°, ΠΈ Ρ‡Ρ‚ΠΎΠ±Ρ‹ Ρ…ΠΎΡ‚ΡŒ ΠΊΠ°ΠΊ-Ρ‚ΠΎ ΠΏΡ€ΠΈΠ±Π»ΠΈΠ·ΠΈΡ‚ΡŒ прСдсказаниС ΠΊ эталонному ΠΎΡ‚Π²Π΅Ρ‚Ρƒ, ΠΌΠΎΠΆΠ½ΠΎ Ρ€Π°ΡΠΏΠΎΠ»ΠΎΠΆΠΈΡ‚ΡŒ ΠΌΠΎΠ΄Ρƒ посСрСдинС ΠΌΠ΅ΠΆΠ΄Ρƒ Ρ‚ΠΎΡ‡ΠΊΠ°ΠΌΠΈ 0.5 ΠΈ 1.5 — Ρ‚ΠΎΠ³Π΄Π° ΠΌΠ°Ρ‚. ΠΎΠΆΠΈΠ΄Π°Π½ΠΈΠ΅ ошибки прСдсказания Π±ΡƒΠ΄Π΅Ρ‚ наимСньшим.

Как Π²ΠΈΠ΄ΠΈΠΌ, Π²Ρ‚ΠΎΡ€ΠΎΠΉ ΠΏΡ€ΠΈΠΌΠ΅Ρ€ получился слоТнСС ΠΏΠ΅Ρ€Π²ΠΎΠ³ΠΎ. Если мноТСство Π½Π΅ΠΏΡ€Π΅Ρ€Ρ‹Π²Π½ΠΎ, Ρ‚ΠΎ Π·Π°Π΄Π°Ρ‡Π° приблиТСния прСдсказанного распрСдСлСния ΠΊ эталонному ΠΎΠ·Π½Π°Ρ‡Π°Π΅Ρ‚ Π·Π°Π΄Π°Ρ‡Ρƒ сблиТСния Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΉ плотности вСроятности.

Вакая постановка Π·Π°Π΄Π°Ρ‡ΠΈ Π½Π΅ΠΎΠ΄Π½ΠΎΠ·Π½Π°Ρ‡Π½Π°: ΡΠ±Π»ΠΈΠ·ΠΈΡ‚ΡŒ Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΈ ΠΌΠΎΠΆΠ½ΠΎ ΠΏΠΎ-Ρ€Π°Π·Π½ΠΎΠΌΡƒ, Ρ‚Π°ΠΊ ΠΊΠ°ΠΊ «Ρ€Π°ΡΡΡ‚ояниС» ΠΌΠ΅ΠΆΠ΄Ρƒ функциями ΠΌΠΎΠΆΠ½ΠΎ ΠΎΠΏΡ€Π΅Π΄Π΅Π»ΡΡ‚ΡŒ ΠΏΠΎ-Ρ€Π°Π·Π½ΠΎΠΌΡƒ. Π§Π°Ρ‰Π΅ всСго для этого ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΡŽΡ‚ расхоТдСниС ΠšΡƒΠ»ΡŒΠ±Π°ΠΊΠ°-Π›Π΅ΠΉΠ±Π»Π΅Ρ€Π° (ΠΎΡ‚Π½ΠΎΡΠΈΡ‚Π΅Π»ΡŒΠ½ΡƒΡŽ ΡΠ½Ρ‚Ρ€ΠΎΠΏΠΈΡŽ) — Π½Π΅ΡΠΈΠΌΠΌΠ΅Ρ‚Ρ€ΠΈΡ‡Π½ΡƒΡŽ ΠΌΠ΅Ρ‚Ρ€ΠΈΠΊΡƒ сходства ΠΌΠ΅ΠΆΠ΄Ρƒ двумя распрСдСлСниями вСроятностСй ΠΈ . РасхоТдСниС ΠšΡƒΠ»ΡŒΠ±Π°ΠΊΠ°-Π›Π΅ΠΉΠ±Π»Π΅Ρ€Π° ΠΌΠΎΠΆΠ½ΠΎ Ρ€Π°ΡΠΏΠΈΡΠ°Ρ‚ΡŒ ΠΊΠ°ΠΊ сумму Π² дискрСтном случаС ΠΈ ΠΊΠ°ΠΊ ΠΈΠ½Ρ‚Π΅Π³Ρ€Π°Π» Π² Π½Π΅ΠΏΡ€Π΅Ρ€Ρ‹Π²Π½ΠΎΠΌ случаС.

ДискрСтный случай (, — Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΈ вСроятности):

НСпрСрывный случай (, — Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΈ плотности вСроятности):

ΠŸΠΎΠ»ΡŒΠ·ΡƒΡΡΡŒ Ρ‚Π΅ΠΌ, Ρ‡Ρ‚ΠΎ , ΠΌΡ‹ ΠΌΠΎΠΆΠ΅ΠΌ Ρ€Π°ΡΠΏΠΈΡΠ°Ρ‚ΡŒ расхоТдСниС ΠšΡƒΠ»ΡŒΠ±Π°ΠΊΠ°-Π›Π΅ΠΉΠ±Π»Π΅Ρ€Π° ΠΊΠ°ΠΊ Ρ€Π°Π·Π½ΠΎΡΡ‚ΡŒ Π΄Π²ΡƒΡ… Π²Π΅Π»ΠΈΡ‡ΠΈΠ½. Для дискрСтного случая:

ΠŸΠ΅Ρ€Π²ΠΎΠ΅ слагаСмоС со Π·Π½Π°ΠΊΠΎΠΌ минус называСтся энтропиСй распрСдСлСния (ΠΈΠ»ΠΈ Π΄ΠΈΡ„Ρ„Π΅Ρ€Π΅Π½Ρ†ΠΈΠ°Π»ΡŒΠ½ΠΎΠΉ энтропиСй Π² Π½Π΅ΠΏΡ€Π΅Ρ€Ρ‹Π²Π½ΠΎΠΌ случаС) ΠΈ обозначаСтся ΠΊΠ°ΠΊ , Π° Π²Ρ‚ΠΎΡ€ΠΎΠ΅ слагаСмоС (Π²ΠΊΠ»ΡŽΡ‡Π°Ρ минус) называСтся кроссэнтропиСй ΠΌΠ΅ΠΆΠ΄Ρƒ распрСдСлСниями ΠΈ . Π­Ρ‚ΠΈ Π²Π΅Π»ΠΈΡ‡ΠΈΠ½Ρ‹ ΠΌΠΎΠΆΠ½ΠΎ Ρ€Π°ΡΠΏΠΈΡΠ°Ρ‚ΡŒ Ρ‡Π΅Ρ€Π΅Π· ΠΌΠ°Ρ‚. ΠΎΠΆΠΈΠ΄Π°Π½ΠΈΠ΅:

Π’ машинном ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠΈ ΠΏΠ΅Ρ€Π²Ρ‹ΠΌ Π°Ρ€Π³ΡƒΠΌΠ΅Π½Ρ‚ΠΎΠΌ Π² ΠΎΠ±Ρ‹Ρ‡Π½ΠΎ ставят эталонноС распрСдСлСниС, Π²Ρ‚ΠΎΡ€Ρ‹ΠΌ Π°Ρ€Π³ΡƒΠΌΠ΅Π½Ρ‚ΠΎΠΌ — прСдсказанноС. Как Π²ΠΈΠ΄Π½ΠΎ ΠΈΠ· Ρ„ΠΎΡ€ΠΌΡƒΠ»Ρ‹ (9), ΠΏΠ΅Ρ€Π²ΠΎΠ΅ слагаСмоС Π½Π΅ зависит ΠΎΡ‚ , поэтому минимизация ΠΏΠΎ Ρ€Π°Π²Π½ΠΎΡΠΈΠ»ΡŒΠ½ΠΎ ΠΌΠΈΠ½ΠΈΠΌΠΈΠ·Π°Ρ†ΠΈΠΈ кроссэнтропии ΠΌΠ΅ΠΆΠ΄Ρƒ ΠΈ .

РСзюмС. Если значСния Ρ†Π΅Π»Π΅Π²ΠΎΠ³ΠΎ ΠΏΡ€ΠΈΠ·Π½Π°ΠΊΠ° Π² датасСтС Π΄Π°Π½Ρ‹ ΠΊΠ°ΠΊ распрСдСлСния вСроятностСй, Ρ‚ΠΎ для обучСния ΠΌΠΎΠ΄Π΅Π»ΠΈ ΠΌΡ‹ ΠΌΠΎΠΆΠ΅ΠΌ ΠΌΠΈΠ½ΠΈΠΌΠΈΠ·ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ ΠΊΡ€ΠΎΡΡΡΠ½Ρ‚Ρ€ΠΎΠΏΠΈΡŽ ΠΌΠ΅ΠΆΠ΄Ρƒ прСдсказанными ΠΈ эталонными распрСдСлСниями. ΠœΡ‹ Ρ‚Π°ΠΊ ΡƒΠΆΠ΅ Π΄Π΅Π»Π°Π»ΠΈ Π² ΠΌΠΎΠ΄Π΅Π»ΠΈ классификации, Π½ΠΎ Ρ‚Π°ΠΌ эталонноС распрСдСлСниС Π±Ρ‹Π»ΠΎ Π²Ρ‹Ρ€ΠΎΠΆΠ΄Π΅Π½Π½Ρ‹ΠΌ Π½Π°Π·Π½Π°Ρ‡Π°Π»ΠΎ Π²Π΅Ρ€ΠΎΡΡ‚Π½ΠΎΡΡ‚ΡŒ 1 ΠΎΠ΄Π½ΠΎΠΌΡƒ ΠΈΠ· классов, поэтому Π² Ρ„ΠΎΡ€ΠΌΡƒΠ»Π΅ (3) лишь ΠΎΠ΄Π½ΠΎ слагаСмоС Π±Ρ‹Π»ΠΎ Π½Π΅Π½ΡƒΠ»Π΅Π²Ρ‹ΠΌ. Π’ этом Ρ€Π°Π·Π΄Π΅Π»Π΅ ΠΌΡ‹ рассмотрСли Π±ΠΎΠ»Π΅Π΅ ΠΎΠ±Ρ‰ΠΈΠΉ случай, ΠΊΠΎΠ³Π΄Π° эталонноС распрСдСлСниС Π½Π΅Π²Ρ‹Ρ€ΠΎΠΆΠ΄Π΅Π½ΠΎ ΠΈ Π² (3) ΠΌΠΎΠΆΠ΅Ρ‚ Π±Ρ‹Ρ‚ΡŒ ΠΌΠ½ΠΎΠ³ΠΎ Π½Π΅Π½ΡƒΠ»Π΅Π²Ρ‹Ρ… слагаСмых.

2.3. ΠšΡ€ΠΎΡΡΡΠ½Ρ‚Ρ€ΠΎΠΏΠΈΡ ΠΊΠ°ΠΊ максимизация правдоподобия*

ЯвляСтся Π»ΠΈ «ΠΏΠΎΠ΄Π³ΠΎΠ½ΠΊΠ°» прСдсказанного распрСдСлСния ΠΏΠΎΠ΄ эталонноС распрСдСлСниС ΠΏΡ€ΠΈΠΌΠ΅Π½Π΅Π½ΠΈΠ΅ΠΌ ΠΌΠ΅Ρ‚ΠΎΠ΄Π° максимизации правдоподобия? Для ΠΎΡ‚Π²Π΅Ρ‚Π° Π½Π° этот вопрос Π½ΡƒΠΆΠ½ΠΎ ΠΏΠΎΠ½ΡΡ‚ΡŒ Ρ‡Ρ‚ΠΎ Ρ‚Π°ΠΊΠΎΠ΅ «ΠΏΡ€Π°Π²Π΄ΠΎΠΏΠΎΠ΄ΠΎΠ±ΠΈΠ΅» Π² Ρ‚ΠΎΠΌ случаС, ΠΊΠΎΠ³Π΄Π° вмСсто эталонного ΠΎΡ‚Π²Π΅Ρ‚Π° ΠΌΡ‹ ΠΈΠΌΠ΅Π΅ΠΌ распрСдСлСниС.

ΠœΡ‹ ΠΌΠΎΠΆΠ΅ΠΌ ΡΠ΄Π΅Π»Π°Ρ‚ΡŒ Ρ‚Π°ΠΊΠΈΠΌ ΠΎΠ±Ρ€Π°Π·ΠΎΠΌ. ΠŸΡƒΡΡ‚ΡŒ для -Π³ΠΎ ΠΏΡ€ΠΈΠΌΠ΅Ρ€Π° ΠΌΡ‹ ΠΈΠΌΠ΅Π΅ΠΌ Π·Π½Π°Ρ‡Π΅Π½ΠΈΠ΅ ΠΈ распрСдСлСниС . ΠœΡ‹ΡΠ»Π΅Π½Π½ΠΎ сгСнСрируСм ΠΈΠ· этого ΠΏΡ€ΠΈΠΌΠ΅Ρ€Π° ΠΎΡ‡Π΅Π½ΡŒ большоС (стрСмящССся ΠΊ бСсконСчности) количСство ΠΏΡ€ΠΈΠΌΠ΅Ρ€ΠΎΠ² (ΠΎΠ±ΠΎΠ·Π½Π°Ρ‡ΠΈΠΌ Π΅Π³ΠΎ ), Π² ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Ρ… исходныС ΠΏΡ€ΠΈΠ·Π½Π°ΠΊΠΈ Ρ€Π°Π²Π½Ρ‹ , Π° Ρ†Π΅Π»Π΅Π²ΠΎΠΉ ΠΏΡ€ΠΈΠ·Π½Π°ΠΊ взят ΠΈΠ· распрСдСлСния :

ОбъСдинСниС нСльзя Ρ€Π°ΡΡΠΌΠ°Ρ‚Ρ€ΠΈΠ²Π°Ρ‚ΡŒ ΠΊΠ°ΠΊ i.i.d.-Π²Ρ‹Π±ΠΎΡ€ΠΊΡƒ, ΠΏΠΎΡ‚ΠΎΠΌΡƒ Ρ‡Ρ‚ΠΎ ΠΏΡ€ΠΈ бСсконСчном количСствС ΠΏΡ€ΠΈΠΌΠ΅Ρ€ΠΎΠ² ΠΌΡ‹ ΠΈΠΌΠ΅Π΅ΠΌ лишь ΡƒΠ½ΠΈΠΊΠ°Π»ΡŒΠ½Ρ‹Ρ… Π·Π½Π°Ρ‡Π΅Π½ΠΈΠΉ . Но ΠΏΠΎΡΠΊΠΎΠ»ΡŒΠΊΡƒ ΠΌΡ‹ Π½Π΅ ΠΌΠΎΠ΄Π΅Π»ΠΈΡ€ΡƒΠ΅ΠΌ распрСдСлСниС , это Π½Π΅ являСтся ΠΏΡ€ΠΎΠ±Π»Π΅ΠΌΠΎΠΉ. ΠŸΠΎΡΠΊΠΎΠ»ΡŒΠΊΡƒ всС нСзависимы:

Π’ ΠΈΡ‚ΠΎΠ³Π΅ ΠΏΡ€ΠΈ минус Π»ΠΎΠ³Π°Ρ€ΠΈΡ„ΠΌ правдоподобия оказался Ρ€Π°Π²Π΅Π½ кроссэнтропии ΠΌΠ΅ΠΆΠ΄Ρƒ эталонным распрСдСлСниСм ΠΈ прСдсказанным модСлью распрСдСлСниСм . ΠžΡ‚ΡΡŽΠ΄Π° получаСтся, Ρ‡Ρ‚ΠΎ минимизация кроссэнтропии (ΠΈΠ»ΠΈ, Ρ‡Ρ‚ΠΎ эквивалСнтно, минимизация расхоТдСния ΠšΡƒΠ»ΡŒΠ±Π°ΠΊΠ°-Π›Π΅ΠΉΠ±Π»Π΅Ρ€Π°) максимизируСт ΠΏΡ€Π°Π²Π΄ΠΎΠΏΠΎΠ΄ΠΎΠ±ΠΈΠ΅.

2.4. ΠšΡ€ΠΎΡΡΡΠ½Ρ‚Ρ€ΠΎΠΏΠΈΡ Π² Π·Π°Π΄Π°Ρ‡Π΅ рСгрСссии*

ВСрнСмся ΠΊ ΡΠ»ΡƒΡ‡Π°ΡŽ рСгрСссии. Если для ΠΎΠ±ΡƒΡ‡Π°ΡŽΡ‰Π΅ΠΉ ΠΏΠ°Ρ€Ρ‹ Ρ‚ΠΎΡ‡Π½ΠΎ извСстСн ΠΎΡ‚Π²Π΅Ρ‚ , Ρ‚ΠΎ Π΅Π³ΠΎ ΠΌΠΎΠΆΠ½ΠΎ ΠΏΡ€Π΅Π΄ΡΡ‚Π°Π²ΠΈΡ‚ΡŒ ΠΊΠ°ΠΊ распрСдСлСниС вСроятностСй Π½Π° , ΠΈΠΌΠ΅ΡŽΡ‰Π΅Π΅ лишь ΠΎΠ΄Π½ΠΎ Π²ΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎΠ΅ Π·Π½Π°Ρ‡Π΅Π½ΠΈΠ΅ с Π²Π΅Ρ€ΠΎΡΡ‚Π½ΠΎΡΡ‚ΡŒΡŽ 1 (Ρ‚Π°ΠΊΠΎΠ΅ распрСдСлСниС Π½Π°Π·Ρ‹Π²Π°ΡŽΡ‚ Π²Ρ‹Ρ€ΠΎΠΆΠ΄Π΅Π½Π½Ρ‹ΠΌ, Π² Π΄Π°Π½Π½ΠΎΠΌ случаС Π΅Π³ΠΎ Π΅Ρ‰Π΅ Π½Π°Π·Ρ‹Π²Π°ΡŽΡ‚ «ΡΠΌΠΏΠΈΡ€ΠΈΡ‡Π΅ΡΠΊΠΈΠΌ»).

Для Ρ‚Π°ΠΊΠΈΡ… случаСв ΠΌΠ°Ρ‚Π΅ΠΌΠ°Ρ‚ΠΈΠΊΠΈ ΠΏΡ€ΠΈΠ΄ΡƒΠΌΠ°Π»ΠΈ ΡΠΏΠ΅Ρ†ΠΈΠ°Π»ΡŒΠ½ΡƒΡŽ Ρ„ΡƒΠ½ΠΊΡ†ΠΈΡŽ, Π½Π°Π·Ρ‹Π²Π°Π΅ΠΌΡƒΡŽ Π΄Π΅Π»ΡŒΡ‚Π°-Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠ΅ΠΉ Π”ΠΈΡ€Π°ΠΊΠ° . Она Ρ€Π°Π²Π½Π° Π½ΡƒΠ»ΡŽ Π²ΠΎ всСх Ρ‚ΠΎΡ‡ΠΊΠ°Ρ… ΠΊΡ€ΠΎΠΌΠ΅ нуля, Π² Π½ΡƒΠ»Π΅ Ρ€Π°Π²Π½Π° бСсконСчности, Π° Π΅Π΅ ΠΈΠ½Ρ‚Π΅Π³Ρ€Π°Π» Ρ€Π°Π²Π΅Π½ Π΅Π΄ΠΈΠ½ΠΈΡ†Π΅. НапримСр, Ссли ΠΌΡ‹ возьмСм Ρ„ΡƒΠ½ΠΊΡ†ΠΈΡŽ плотности вСроятности Π½ΠΎΡ€ΠΌΠ°Π»ΡŒΠ½ΠΎΠ³ΠΎ распрСдСлСния (Ρ‡Π°ΡΡ‚ΡŒ 1, Ρ„ΠΎΡ€ΠΌΡƒΠ»Π° 4) с ΠΈ устрСмим ΠΊ Π½ΡƒΠ»ΡŽ, Ρ‚ΠΎ Π² ΠΏΡ€Π΅Π΄Π΅Π»Π΅ ΠΏΠΎΠ»ΡƒΡ‡ΠΈΠΌ Π΄Π΅Π»ΡŒΡ‚Π°-Ρ„ΡƒΠ½ΠΊΡ†ΠΈΡŽ.

Π’ случаС рСгрСссии эмпиричСскоС распрСдСлСниС ΠΌΠΎΠΆΠ½ΠΎ Π·Π°ΠΏΠΈΡΠ°Ρ‚ΡŒ ΠΊΠ°ΠΊ . ΠŸΠΎΠΏΡ€ΠΎΠ±ΡƒΠ΅ΠΌ, ΠΏΠΎ Π°Π½Π°Π»ΠΎΠ³ΠΈΠΈ с классификациСй, ΠΌΠΈΠ½ΠΈΠΌΠΈΠ·ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ ΠΊΡ€ΠΎΡΡΡΠ½Ρ‚Ρ€ΠΎΠΏΠΈΡŽ ΠΌΠ΅ΠΆΠ΄Ρƒ эталонным ΠΈ прСдсказанным распрСдСлСниями. ΠŸΡƒΡΡ‚ΡŒ модСль Π²Ρ‹Π΄Π°Π΅Ρ‚ для Π½ΠΎΡ€ΠΌΠ°Π»ΡŒΠ½ΠΎΠ΅ распрСдСлСниС . РаспишСм ΠΊΡ€ΠΎΡΡΡΠ½Ρ‚Ρ€ΠΎΠΏΠΈΡŽ ΠΌΠ΅ΠΆΠ΄Ρƒ эмпиричСским ΠΈ прСдсказанным распрСдСлСниСм:

ΠžΠ±Ρ€Π°Ρ‚ΠΈΡ‚Π΅ Π²Π½ΠΈΠΌΠ°Π½ΠΈΠ΅, Ρ‡Ρ‚ΠΎ ΠΎΠ±Π° Π°Ρ€Π³ΡƒΠΌΠ΅Π½Ρ‚Π° ΡΠ²Π»ΡΡŽΡ‚ΡΡ Π½Π΅ числами, Π° функциями ΠΎΡ‚ , ΠΈ ΠΏΠΎΠ΄Ρ‹Π½Ρ‚Π΅Π³Ρ€Π°Π»ΡŒΠ½ΠΎΠ΅ Π²Ρ‹Ρ€Π°ΠΆΠ΅Π½ΠΈΠ΅ Π½Π΅ Ρ€Π°Π²Π½ΠΎ Π½ΡƒΠ»ΡŽ Ρ‚ΠΎΠ»ΡŒΠΊΠΎ Π² ΠΎΠ΄Π½ΠΎΠΉ Ρ‚ΠΎΡ‡ΠΊΠ΅ . Π‘ ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ Ρ„ΠΎΡ€ΠΌΡƒΠ»Ρ‹ (10) ΠΌΡ‹ ΠΏΡ€ΠΈΡˆΠ»ΠΈ ΠΊ Ρ‚ΠΎΠΌΡƒ, Ρ‡Ρ‚ΠΎ минимизация кроссэнтропии ΠΎΠ·Π½Π°Ρ‡Π°Π΅Ρ‚ ΠΌΠΈΠ½ΠΈΠΌΠΈΠ·Π°Ρ†ΠΈΡŽ , Ρ‡Ρ‚ΠΎ эквивалСнтно максимизации . ИмСнно это ΠΌΡ‹ ΠΈ Π΄Π΅Π»Π°Π»ΠΈ Π² Ρ€Π°Π·Π΄Π΅Π»Π΅ 2. ΠŸΠΎΠ»ΡƒΡ‡Π°Π΅Ρ‚ΡΡ, Ρ‡Ρ‚ΠΎ модСль рСгрСссии Ρ‚ΠΎΠΆΠ΅ обучаСтся с ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ кроссэнтропии, которая ΠΏΠΎ Ρ„ΠΎΡ€ΠΌΡƒΠ»Π΅ (10) прСвращаСтся Π² ΠΌΠΈΠ½ΠΈΠΌΠΈΠ·Π°Ρ†ΠΈΡŽ ΠΈ Π΄Π°Π»Π΅Π΅ Π² ΠΌΠΈΠ½ΠΈΠΌΠΈΠ·Π°Ρ†ΠΈΡŽ срСднСквадратичного отклонСния (Ρ‡Π°ΡΡ‚ΡŒ1, Ρ„ΠΎΡ€ΠΌΡƒΠ»Π° 7), Ссли модСлируСтся Π½ΠΎΡ€ΠΌΠ°Π»ΡŒΠ½Ρ‹ΠΌ распрСдСлСниСм.

Как Π²ΠΈΠ΄ΠΈΠΌ, ΠΌΡ‹ ΠΏΠΎΠ»ΡƒΡ‡Π°Π΅ΠΌ максимально ΡƒΠ½ΠΈΡ„ΠΈΡ†ΠΈΡ€ΠΎΠ²Π°Π½Π½Ρ‹ΠΉ ΠΈ ΠΏΡ€ΠΈ этом Π³ΠΈΠ±ΠΊΠΈΠΉ ΠΏΠΎΠ΄Ρ…ΠΎΠ΄, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹ΠΉ ΠΌΠΎΠΆΠ½ΠΎ ΠΏΡ€ΠΈΠΌΠ΅Π½ΡΡ‚ΡŒ для задания Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΈ ΠΏΠΎΡ‚Π΅Ρ€ΡŒ Π² слоТных случаях.

ΠšΡ€ΠΎΡΡΡΠ½Ρ‚Ρ€ΠΎΠΏΠΈΡ с Ρ‚ΠΎΡ‡ΠΊΠΈ зрСния ΠΎΠΏΡ‚ΠΈΠΌΠΈΠ·Π°Ρ†ΠΈΠΈ*

Π’ Π·Π°Π΄Π°Ρ‡Π΅ рСгрСссии ΠΌΡ‹ рассматривали Π΄Π²Π° ΠΏΠΎΠ΄Ρ…ΠΎΠ΄Π° ΠΊ Π²Ρ‹Π±ΠΎΡ€Ρƒ Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΈ ΠΏΠΎΡ‚Π΅Ρ€ΡŒ: ΠΏΠ΅Ρ€Π²Ρ‹ΠΉ ΠΏΠΎΠ΄Ρ…ΠΎΠ΄ опираСтся Π½Π° Π·Π΄Ρ€Π°Π²Ρ‹ΠΉ смысл, наши прСдставлСния ΠΎ ΠΌΠ΅Ρ‚Ρ€ΠΈΠΊΠ΅ сходства Π½Π° мноТСствС ΠΈ Π»Π΅Π³ΠΊΠΎΡΡ‚ΡŒ ΠΎΠΏΡ‚ΠΈΠΌΠΈΠ·Π°Ρ†ΠΈΠΈ. Π’Ρ‚ΠΎΡ€ΠΎΠΉ ΠΏΠΎΠ΄Ρ…ΠΎΠ΄ опираСтся Π½Π° Ρ‚Π΅ΠΎΡ€ΠΈΡŽ вСроятностСй ΠΈ наши прСдставлСния ΠΎΠ± условном распрСдСлСнии , ΠΈΠ· ΠΊΠΎΡ‚ΠΎΡ€ΠΎΠ³ΠΎ слСдуСт Ρ„ΠΎΡ€ΠΌΡƒΠ»Π° для Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΈ ΠΏΠΎΡ‚Π΅Ρ€ΡŒ (ΡΡ‚Π°Ρ‚ΡŒΡ 1, Ρ„ΠΎΡ€ΠΌΡƒΠ»Ρ‹ 5-7).

Π’Π΅ΠΏΠ΅Ρ€ΡŒ вСрнСмся ΠΊ Π·Π°Π΄Π°Ρ‡Π΅ классификации. Π•ΡΡ‚ΡŒ Π»ΠΈ здСсь Π°Π½Π°Π»ΠΎΠ³ΠΈΡ‡Π½Ρ‹Π΅ Π΄Π²Π° ΠΏΠΎΠ΄Ρ…ΠΎΠ΄Π°? ВСроятностный ΠΏΠΎΠ΄Ρ…ΠΎΠ΄, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹ΠΉ ΠΏΡ€ΠΈΠ²ΠΎΠ΄ΠΈΡ‚ ΠΊ кроссэнтропии, ΠΌΡ‹ ΡƒΠΆΠ΅ рассматривали. Но Ρ…ΠΎΡ€ΠΎΡˆΠ° Π»ΠΈ кроссэнтропия с Ρ‚ΠΎΡ‡ΠΊΠΈ зрСния ΠΎΠΏΡ‚ΠΈΠΌΠΈΠ·Π°Ρ†ΠΈΠΈ, ΠΈΠ»ΠΈ Π΅ΡΡ‚ΡŒ Π±ΠΎΠ»Π΅Π΅ удобная функция ΠΏΠΎΡ‚Π΅Ρ€ΡŒ? НапримСр, вмСсто кроссэнтропии ΠΌΡ‹ ΠΌΠΎΠ³Π»ΠΈ Π±Ρ‹ ΠΌΠΈΠ½ΠΈΠΌΠΈΠ·ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ ΡΡ€Π΅Π΄Π½Π΅ΠΊΠ²Π°Π΄Ρ€Π°Ρ‚ΠΈΡ‡Π½ΡƒΡŽ ΠΎΡˆΠΈΠ±ΠΊΡƒ ΠΌΠ΅ΠΆΠ΄Ρƒ прСдсказанным распрСдСлСниСм вСроятностСй ΠΈ эталонным распрСдСлСниСм вСроятностСй , Π² ΠΊΠΎΡ‚ΠΎΡ€ΠΎΠΌ Π²Π΅Ρ€ΠΎΡΡ‚Π½ΠΎΡΡ‚ΡŒ 1 назначаСтся Π²Π΅Ρ€Π½ΠΎΠΌΡƒ классу:

Бмысл Ρ‚Π°ΠΊΠΎΠ³ΠΎ выраТСния с Ρ‚ΠΎΡ‡ΠΊΠΈ зрСния Ρ‚Π΅ΠΎΡ€ΠΈΠΈ вСроятностСй Π½Π΅ совсСм ясСн, Π½ΠΎ Π²ΠΈΠ΄Π½ΠΎ, Ρ‡Ρ‚ΠΎ Ρ‡Π΅ΠΌ Π±Π»ΠΈΠΆΠ΅ прСдсказаниС ΠΊ истинС, Ρ‚Π΅ΠΌ мСньшС Π±ΡƒΠ΄Π΅Ρ‚ функция ΠΏΠΎΡ‚Π΅Ρ€ΡŒ. А это ΠΈ Π΅ΡΡ‚ΡŒ Ρ‚ΠΎ свойство, ΠΊΠΎΡ‚ΠΎΡ€ΠΎΠ΅ трСбуСтся ΠΎΡ‚ Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΈ ΠΏΠΎΡ‚Π΅Ρ€ΡŒ.

Π§Ρ‚ΠΎ ΠΆΠ΅ Π»ΡƒΡ‡ΡˆΠ΅: кроссэнтропия ΠΈΠ»ΠΈ срСднСквадратичная ошибка? Π§Ρ‚ΠΎΠ±Ρ‹ ΠΏΠΎΠ½ΡΡ‚ΡŒ, какая ΠΈΠ· Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΉ ΠΏΠΎΡ‚Π΅Ρ€ΡŒ Π»ΡƒΡ‡ΡˆΠ΅ ΠΏΠΎΠ΄Ρ…ΠΎΠ΄ΠΈΡ‚ для ΠΎΠΏΡ‚ΠΈΠΌΠΈΠ·Π°Ρ†ΠΈΠΈ Π³Ρ€Π°Π΄ΠΈΠ΅Π½Ρ‚Π½Ρ‹ΠΌ спуском, Π΄Π°Π²Π°ΠΉΡ‚Π΅ рассчитаСм Π³Ρ€Π°Π΄ΠΈΠ΅Π½Ρ‚Ρ‹ этих Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΉ ΠΏΠΎΡ‚Π΅Ρ€ΡŒ ΠΏΠΎ Π»ΠΎΠ³ΠΈΡ‚Π°ΠΌ (Ρ‚ΠΎ Π΅ΡΡ‚ΡŒ Ρ‚Π΅ΠΌ значСниям, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ Π²Ρ‹Π΄Π°ΡŽΡ‚ΡΡ Π΄ΠΎ ΠΎΠΏΠ΅Ρ€Π°Ρ†ΠΈΠΈ softmax ΠΈΠ»ΠΈ sigmoid). ΠŸΡƒΡΡ‚ΡŒ классификация являСтся Π±ΠΈΠ½Π°Ρ€Π½ΠΎΠΉ, Π²Π΅Ρ€Π½Ρ‹ΠΉ ΠΎΡ‚Π²Π΅Ρ‚ΠΎΠΌ являСтся Π²Ρ‚ΠΎΡ€ΠΎΠΉ класс, ΠΈ модСль Π²Ρ‹Π΄Π°Π»Π° Π·Π½Π°Ρ‡Π΅Π½ΠΈΠ΅ Π»ΠΎΠ³ΠΈΡ‚Π°, Ρ€Π°Π²Π½ΠΎΠ΅ . ΠžΡ‚ΡΡŽΠ΄Π° Π²Π΅Ρ€ΠΎΡΡ‚Π½ΠΎΡΡ‚ΡŒ Π²Ρ‚ΠΎΡ€ΠΎΠ³ΠΎ класса Ρ€Π°Π²Π½Π° , Π³Π΄Π΅ — опСрация сигмоиды (6). РассчитаСм ΠΏΡ€ΠΎΠΈΠ·Π²ΠΎΠ΄Π½ΡƒΡŽ Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΈ ΠΏΠΎΡ‚Π΅Ρ€ΡŒ ΠΏΠΎ Π»ΠΎΠ³ΠΈΡ‚Ρƒ .

Π’ случаС Π±ΠΈΠ½Π°Ρ€Π½ΠΎΠΉ кроссэнтропии:

Π’ случаС срСднСквадратичной ошибки:

ΠŸΡ€ΠΈ (Ρ‚ΠΎ Π΅ΡΡ‚ΡŒ ΠΊΠΎΠ³Π΄Π° модСль Π²Ρ‹Π΄Π°Π΅Ρ‚ ΡƒΠ²Π΅Ρ€Π΅Π½Π½Ρ‹ΠΉ Π½Π΅ΠΏΡ€Π°Π²ΠΈΠ»ΡŒΠ½Ρ‹ΠΉ ΠΎΡ‚Π²Π΅Ρ‚) ΠΏΡ€ΠΈ Π±ΠΈΠ½Π°Ρ€Π½ΠΎΠΉ кроссэнтропии производная стрСмится ΠΊ 1, Π° ΠΏΡ€ΠΈ срСднСквадратичной ошибкС производная стрСмится ΠΊ Π½ΡƒΠ»ΡŽ. Π­Ρ‚ΠΎ ΠΎΠ·Π½Π°Ρ‡Π°Π΅Ρ‚, Ρ‡Ρ‚ΠΎ ΠΏΡ€ΠΈ сочСтСнии сигмоиды ΠΈ срСднСквадратичной ошибки ΡƒΠ²Π΅Ρ€Π΅Π½Π½Ρ‹Π΅ Π½Π΅ΠΏΡ€Π°Π²ΠΈΠ»ΡŒΠ½Ρ‹Π΅ ΠΎΡ‚Π²Π΅Ρ‚Ρ‹ практичСски Π½Π΅ ΠΊΠΎΡ€Ρ€Π΅ΠΊΡ‚ΠΈΡ€ΡƒΡŽΡ‚ΡΡ Π³Ρ€Π°Π΄ΠΈΠ΅Π½Ρ‚Π½Ρ‹ΠΌ спуском (Π³Ρ€Π°Π΄ΠΈΠ΅Π½Ρ‚ Π±Π»ΠΈΠ·ΠΎΠΊ ΠΊ Π½ΡƒΠ»ΡŽ), Ρ‡Ρ‚ΠΎ ΠΌΠΎΠΆΠ΅Ρ‚ Π½Π΅Π³Π°Ρ‚ΠΈΠ²Π½ΠΎ ΡΠΊΠ°Π·Π°Ρ‚ΡŒΡΡ Π½Π° качСствС обучСния. Π­Ρ‚ΠΎ Π°Ρ€Π³ΡƒΠΌΠ΅Π½Ρ‚ Π² ΠΏΠΎΠ»ΡŒΠ·Ρƒ Ρ‚ΠΎΠ³ΠΎ, Ρ‡Ρ‚ΠΎΠ±Ρ‹ ΠΏΡ€ΠΈ использовании сигмоиды Π²Ρ‹Π±ΠΈΡ€Π°Ρ‚ΡŒ Π±ΠΈΠ½Π°Ρ€Π½ΡƒΡŽ ΠΊΡ€ΠΎΡΡΡΠ½Ρ‚Ρ€ΠΎΠΏΠΈΡŽ, Π° Π½Π΅ ΡΡ€Π΅Π΄Π½Π΅ΠΊΠ²Π°Π΄Ρ€Π°Ρ‚ΠΈΡ‡Π½ΡƒΡŽ ΠΎΡˆΠΈΠ±ΠΊΡƒ.

Π₯отя, с Π΄Ρ€ΡƒΠ³ΠΎΠΉ стороны, этот Π°Ρ€Π³ΡƒΠΌΠ΅Π½Ρ‚ Π½Π΅ ΠΎΠΊΠΎΠ½Ρ‡Π°Ρ‚Π΅Π»ΡŒΠ½Ρ‹ΠΉ, вСдь ΡƒΠ²Π΅Ρ€Π΅Π½Π½Ρ‹Π΅ Π½Π΅ΠΏΡ€Π°Π²ΠΈΠ»ΡŒΠ½Ρ‹Π΅ ΠΎΡ‚Π²Π΅Ρ‚Ρ‹ ΠΌΠΎΠ΄Π΅Π»ΠΈ ΠΌΠΎΠ³ΡƒΡ‚ Π½Π° самом Π΄Π΅Π»Π΅ Π±Ρ‹Ρ‚ΡŒ выбросами Π² Π΄Π°Π½Π½Ρ‹Ρ… ΠΈΠ»ΠΈ ошибками Ρ€Π°Π·ΠΌΠ΅Ρ‚ΠΊΠΈ, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ модСль Π½Π΅ Π΄ΠΎΠ»ΠΆΠ½Π° Π²Ρ‹ΡƒΡ‡ΠΈΠ²Π°Ρ‚ΡŒ. ΠŸΠΎΡΡ‚ΠΎΠΌΡƒ, Π²ΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎ, Π² Π½Π΅ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Ρ… случаях ΠΈΠΌΠ΅Π΅Ρ‚ смысл ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒ ΡΡ€Π΅Π΄Π½Π΅ΠΊΠ²Π°Π΄Ρ€Π°Ρ‚ΠΈΡ‡Π½ΡƒΡŽ ΠΎΡˆΠΈΠ±ΠΊΡƒ вмСсто кроссэнтропии.


ΠšΠΎΠ½Π΅Ρ† части 2. Π§Π°ΡΡ‚ΡŒ 3, посвящСнная байСсовскому Π²Ρ‹Π²ΠΎΠ΄Ρƒ, планируСтся ΠΊΒ ΠΏΡƒΠ±Π»ΠΈΠΊΠ°Ρ†ΠΈΠΈ. Бпасибо@ivankomarovΠΈ @yorkoΠ·Π° Ρ†Π΅Π½Π½Ρ‹Π΅ ΠΊΠΎΠΌΠΌΠ΅Π½Ρ‚Π°Ρ€ΠΈΠΈ, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ Π±Ρ‹Π»ΠΈ ΡƒΡ‡Ρ‚Π΅Π½Ρ‹ ΠΏΡ€ΠΈ ΠΏΠΎΠ΄Π³ΠΎΡ‚ΠΎΠ²ΠΊΠ΅ ΡΡ‚Π°Ρ‚ΡŒΠΈ.

3-8 9 ΠžΡ†Π΅Π½ΠΈΡ‚ΡŒ ΠΊΠ²Π°Π΄Ρ€Π°Ρ‚Π½Ρ‹ΠΉ ΠΊΠΎΡ€Π΅Π½ΡŒ ΠΈΠ· 12 10 ΠžΡ†Π΅Π½ΠΈΡ‚ΡŒ ΠΊΠ²Π°Π΄Ρ€Π°Ρ‚Π½Ρ‹ΠΉ ΠΊΠΎΡ€Π΅Π½ΡŒ ΠΈΠ· 20 11 ΠžΡ†Π΅Π½ΠΈΡ‚ΡŒ ΠΊΠ²Π°Π΄Ρ€Π°Ρ‚Π½Ρ‹ΠΉ ΠΊΠΎΡ€Π΅Π½ΡŒ ΠΈΠ· 50 94 18 ΠžΡ†Π΅Π½ΠΈΡ‚ΡŒ ΠΊΠ²Π°Π΄Ρ€Π°Ρ‚Π½Ρ‹ΠΉ ΠΊΠΎΡ€Π΅Π½ΡŒ ΠΈΠ· 45 19 ΠžΡ†Π΅Π½ΠΈΡ‚ΡŒ ΠΊΠ²Π°Π΄Ρ€Π°Ρ‚Π½Ρ‹ΠΉ ΠΊΠΎΡ€Π΅Π½ΡŒ ΠΈΠ· 32 20 ΠžΡ†Π΅Π½ΠΈΡ‚ΡŒ ΠΊΠ²Π°Π΄Ρ€Π°Ρ‚Π½Ρ‹ΠΉ ΠΊΠΎΡ€Π΅Π½ΡŒ ΠΈΠ· 18 92

ΠšΠ°Π»ΡŒΠΊΡƒΠ»ΡΡ‚ΠΎΡ€ стСпСнной Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΈ

Автор Arturo Barrantes

ΠžΡ‚Π·Ρ‹Π² ΠΎΡ‚ Luis Hoyos

ПослСднСС ΠΎΠ±Π½ΠΎΠ²Π»Π΅Π½ΠΈΠ΅: 20 января 2023 Π³.

Π‘ΠΎΠ΄Π΅Ρ€ΠΆΠ°Π½ΠΈΠ΅:
  • Π§Ρ‚ΠΎ Ρ‚Π°ΠΊΠΎΠ΅ стСпСнная функция Π² ΠΌΠ°Ρ‚Π΅ΠΌΠ°Ρ‚ΠΈΠΊΠ΅?
  • Как Π²Ρ‹Ρ‡ΠΈΡΠ»ΠΈΡ‚ΡŒ ΡΡ‚Π΅ΠΏΠ΅Π½ΡŒ любого числа?
  • Π”Ρ€ΡƒΠ³ΠΈΠ΅ ΠΏΠΎΠ»Π΅Π·Π½Ρ‹Π΅ инструмСнты, Ρ‚Π°ΠΊΠΈΠ΅ ΠΊΠ°ΠΊ ΠΊΠ°Π»ΡŒΠΊΡƒΠ»ΡΡ‚ΠΎΡ€ стСпСнной Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΈ
  • Часто Π·Π°Π΄Π°Π²Π°Π΅ΠΌΡ‹Π΅ вопросы

ΠšΠ°Π»ΡŒΠΊΡƒΠ»ΡΡ‚ΠΎΡ€ стСпСнной Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΈ ΠΏΠΎΠΌΠΎΠΆΠ΅Ρ‚ Π²Π°ΠΌ ΠΏΠΎΠ»ΡƒΡ‡ΠΈΡ‚ΡŒ любоС число Π² стСпСни ΠΏΠΎΠ»ΠΎΠΆΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎΠ³ΠΎ, ΠΎΡ‚Ρ€ΠΈΡ†Π°Ρ‚Π΅Π»ΡŒΠ½ΠΎΠ³ΠΎ, Π½ΡƒΠ»Π΅Π²ΠΎΠ³ΠΎ ΠΈΠ»ΠΈ Π΄Π°ΠΆΠ΅ дСсятичного порядка. 9nf(x)=xn

, Π³Π΄Π΅ x прСдставляСт основаниС, n β€” ΠΏΠΎΠΊΠ°Π·Π°Ρ‚Π΅Π»ΡŒ стСпСни, Π° f(x) β€” стСпСнная функция. ΠŸΠΎΠΊΠ°Π·Π°Ρ‚Π΅Π»ΡŒ стСпСни ΡƒΠΊΠ°Π·Ρ‹Π²Π°Π΅Ρ‚, Π²ΠΎ сколько Ρ€Π°Π· ΠΌΡ‹ ΡƒΠΌΠ½ΠΎΠΆΠΈΠΌ основаниС. НапримСр, Ссли ΠΊΡ‚ΠΎ-Ρ‚ΠΎ спросит: Бколько Π±ΡƒΠ΄Π΅Ρ‚ 2 Π² стСпСни 30? . Нам придСтся ΡƒΠΌΠ½ΠΎΠΆΠΈΡ‚ΡŒ число 2 Π² Ρ‚Ρ€ΠΈΠ΄Ρ†Π°Ρ‚ΡŒ Ρ€Π°Π·. Π—Π²ΡƒΡ‡ΠΈΡ‚ ΠΌΠ½ΠΎΠ³ΠΎ, ΠΏΡ€Π°Π²Π΄Π°?

Π’ Ρ‚Π°ΠΊΠΈΡ… случаях ΠΌΡ‹ ΠΌΠΎΠΆΠ΅ΠΌ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒ наш ΠΊΠ°Π»ΡŒΠΊΡƒΠ»ΡΡ‚ΠΎΡ€ Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΉ мощности. Π‘Π»Π΅Π΄ΠΎΠ²Π°Ρ‚Π΅Π»ΡŒΠ½ΠΎ, Ρ€Π΅Π·ΡƒΠ»ΡŒΡ‚Π°Ρ‚ Ρ€Π°Π²Π΅Π½ 1 073 741 824 . Но Ρ‡Ρ‚ΠΎ, Ссли ΠΌΡ‹ столкнСмся с ΠΏΡ€ΠΎΠ±Π»Π΅ΠΌΠΎΠΉ, Ρ‚Ρ€Π΅Π±ΡƒΡŽΡ‰Π΅ΠΉ 4 Π² стСпСни 0 ΠΈΠ»ΠΈ стСпСни -2? Π­Ρ‚ΠΈ ΠΈ Π΄Ρ€ΡƒΠ³ΠΈΠ΅ случаи ΠΌΡ‹ рассмотрим Π² ΡΠ»Π΅Π΄ΡƒΡŽΡ‰Π΅ΠΌ Ρ€Π°Π·Π΄Π΅Π»Π΅.

Как Π²Ρ‹Ρ‡ΠΈΡΠ»ΠΈΡ‚ΡŒ ΡΡ‚Π΅ΠΏΠ΅Π½ΡŒ любого числа?

Π§Ρ‚ΠΎ касаСтся вычислСния стСпСни любого числа, ΠΌΡ‹ Π±ΡƒΠ΄Π΅ΠΌ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒ ΠΌΠ΅Ρ‚ΠΎΠ΄, описанный Π²Ρ‹ΡˆΠ΅, Π½ΠΎ Ρ€Π°Π·Π΄Π΅Π»Π΅Π½Π½Ρ‹ΠΉ Π½Π° Ρ‚Ρ€ΠΈ части:

  • Когда ΠΏΠΎΠΊΠ°Π·Π°Ρ‚Π΅Π»ΡŒ стСпСни ΠΏΠΎΠ»ΠΎΠΆΠΈΡ‚Π΅Π»Π΅Π½: ΠΌΡ‹ слСдуСм Ρ‚ΠΎΠΌΡƒ ΠΆΠ΅ процСссу, ΡƒΠΊΠ°Π·Π°Π½Π½ΠΎΠΌΡƒ Π²Ρ‹ΡˆΠ΅ для стСпСнных Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΉ. ΠŸΡ€ΠΈΠΌΠ΅Ρ€: 4 Π² стСпСни 4: 4 x 4 x 4 x 4 = 256 .

  • Когда ΠΏΠΎΠΊΠ°Π·Π°Ρ‚Π΅Π»ΡŒ стСпСни ΠΎΡ‚Ρ€ΠΈΡ†Π°Ρ‚Π΅Π»ΡŒΠ½Ρ‹ΠΉ: ΠŸΡ€ΠΈΠΌΠ΅Ρ€: Бколько Π±ΡƒΠ΄Π΅Ρ‚ 2 Π² стСпСни -3.

    1. Π£Π·Π½Π°Ρ‚ΡŒ ΠΏΠΎΠΊΠ°Π·Π°Ρ‚Π΅Π»ΡŒ стСпСни. Π’ Π΄Π°Π½Π½ΠΎΠΌ случаС: -3 . Π‘Π»Π΅Π΄ΠΎΠ²Π°Ρ‚Π΅Π»ΡŒΠ½ΠΎ, ΠΌΡ‹ Π±ΡƒΠ΄Π΅ΠΌ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒ - , Ρ‡Ρ‚ΠΎΠ±Ρ‹ ΠΏΡ€Π΅ΠΎΠ±Ρ€Π°Π·ΠΎΠ²Π°Ρ‚ΡŒ основаниС Π² ΠΎΠ±Ρ€Π°Ρ‚Π½ΠΎΠ΅.
    2. ΠΠ°ΠΏΠΈΡˆΠΈΡ‚Π΅ ΠΎΠ±Ρ€Π°Ρ‚Π½ΠΎΠ΅ основаниС. Если основаниС Ρ€Π°Π²Π½ΠΎ 2, ΠΌΡ‹ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΠ΅ΠΌ 12\frac{1}{2}21​.
    3. Π£ΠΌΠ½ΠΎΠΆΡŒΡ‚Π΅ Π½ΠΎΠ²ΠΎΠ΅ основаниС ΡΡ‚ΠΎΠ»ΡŒΠΊΠΎ Ρ€Π°Π·, сколько ΡƒΠΊΠ°Π·Ρ‹Π²Π°Π΅Ρ‚ ΠΏΠΎΠΊΠ°Π·Π°Ρ‚Π΅Π»ΡŒ стСпСни: 12Γ—12Γ—12=18\frac{1}{2} \times \frac{1}{2} \times \frac{1}{2} = \ frac{1}{8} 21​×21​×21​=81​.
  • Когда ΠΏΠΎΠΊΠ°Π·Π°Ρ‚Π΅Π»ΡŒ стСпСни Ρ€Π°Π²Π΅Π½ 0: любоС число Π² стСпСни 0 Ρ€Π°Π²Π½ΠΎ 1.

Π”Ρ€ΡƒΠ³ΠΈΠ΅ ΠΏΠΎΠ»Π΅Π·Π½Ρ‹Π΅ инструмСнты, Ρ‚Π°ΠΊΠΈΠ΅ ΠΊΠ°ΠΊ ΠΊΠ°Π»ΡŒΠΊΡƒΠ»ΡΡ‚ΠΎΡ€ стСпСнных Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΉ

ΠŸΠΎΡΠΊΠΎΠ»ΡŒΠΊΡƒ Π²Ρ‹ ΡƒΠΆΠ΅ Π·Π½Π°Π΅Ρ‚Π΅, ΠΊΠ°ΠΊ Ρ€Π°Π±ΠΎΡ‚Π°ΡŽΡ‚ стСпСнныС Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΈ, Π²Ρ‹ ΠΌΠΎΠΆΠ΅Ρ‚Π΅ Π²Π·Π³Π»ΡΠ½ΡƒΡ‚ΡŒ Π½Π° Π΄Ρ€ΡƒΠ³ΠΈΠ΅ связанныС инструмСнты:

  • ΠšΠ°Π»ΡŒΠΊΡƒΠ»ΡΡ‚ΠΎΡ€ экспонСнты;
  • Π‘Ρ‚Π΅ΠΏΠ΅Π½ΡŒ числа 2; ΠΈ
  • Π‘Ρ‚Π΅ΠΏΠ΅Π½ΡŒ числа 10.

Часто Π·Π°Π΄Π°Π²Π°Π΅ΠΌΡ‹Π΅ вопросы

Π§Ρ‚ΠΎ Π΅ΡΡ‚ΡŒ Π² стСпСни 0?

  1. По соглашСнию, всС Π² стСпСни 0 Ρ€Π°Π²Π½ΠΎ 1. Π˜Ρ‚Π°ΠΊ, Ссли ΠΊΡ‚ΠΎ-Ρ‚ΠΎ спросит, сколько Π±ΡƒΠ΄Π΅Ρ‚ 1 ΠΌΠΈΠ»Π»ΠΈΠΎΠ½ Π² стСпСни 0, Π²Ρ‹ ΠΎΡ‚Π²Π΅Ρ‚ΠΈΡ‚Π΅: просто 1.

Бколько Π±ΡƒΠ΄Π΅Ρ‚ 2 Π² стСпСни 3?

Π­Ρ‚ΠΎ 8 . Π’Ρ‹ ΠΌΠΎΠΆΠ΅Ρ‚Π΅ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒ инструмСнт ΠžΠΌΠ½ΠΈΠΊΠ°Π»ΡŒΠΊΡƒΠ»ΡΡ‚ΠΎΡ€Π°: ΠšΠ°Π»ΡŒΠΊΡƒΠ»ΡΡ‚ΠΎΡ€ Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΈ стСпСни ΠΈΠ»ΠΈ:

  1. ΠžΠΏΡ€Π΅Π΄Π΅Π»ΠΈΡ‚Π΅ ΡΡ‚Π΅ΠΏΠ΅Π½ΡŒ, Π² ΠΊΠΎΡ‚ΠΎΡ€ΡƒΡŽ ΠΎΠ½ Π²ΠΎΠ·Π²Π΅Π΄Π΅Π½. Π’ Π΄Π°Π½Π½ΠΎΠΌ случаС это 3.
  2. Π£ΠΌΠ½ΠΎΠΆΠΈΡ‚ΡŒ Ρ‚Ρ€ΠΈ Ρ€Π°Π·Π° основаниС: 2 * 2 * 2. Π’ Ρ€Π΅Π·ΡƒΠ»ΡŒΡ‚Π°Ρ‚Π΅ получится 8.

Π§Π΅ΠΌΡƒ Ρ€Π°Π²Π½ΠΎ 2 ΠΌΠΈΠ»Π»ΠΈΠΎΠ½Π° Π² стСпСни 0?

ΠŸΠΎΠΌΠ½ΠΈΡ‚Π΅, всякий Ρ€Π°Π·, ΠΊΠΎΠ³Π΄Π° ΠΊΡ‚ΠΎ-Ρ‚ΠΎ ΡΠΏΡ€Π°ΡˆΠΈΠ²Π°Π΅Ρ‚ вас, Ρ‡Ρ‚ΠΎ Π·Π½Π°Ρ‡ΠΈΡ‚ Ρ‡Ρ‚ΠΎ-Π½ΠΈΠ±ΡƒΠ΄ΡŒ Π² стСпСни 0, ΠΎΡ‚Π²Π΅Ρ‚ Π±ΡƒΠ΄Π΅Ρ‚ 1.

Π”ΠΎΠ±Π°Π²ΠΈΡ‚ΡŒ ΠΊΠΎΠΌΠΌΠ΅Π½Ρ‚Π°Ρ€ΠΈΠΉ

Π’Π°Ρˆ адрСс email Π½Π΅ Π±ΡƒΠ΄Π΅Ρ‚ ΠΎΠΏΡƒΠ±Π»ΠΈΠΊΠΎΠ²Π°Π½. ΠžΠ±ΡΠ·Π°Ρ‚Π΅Π»ΡŒΠ½Ρ‹Π΅ поля ΠΏΠΎΠΌΠ΅Ρ‡Π΅Π½Ρ‹ *