Содержательный подход к измерению информации
Содержательный подход к измерению информацииСодержательный подход к измерению информации
Информация – это знания человека. Сообщение несет информацию для человека (информативно), если содержащиеся в нем сведения являются для него новыми и понятными.
Можно различить две ситуации: «нет информации» — «есть информация» т.е. количество информации равно нулю или не равно нулю). Нужна единица измерения, тогда можно определить, в каком сообщении информации больше, в каком – меньше. Эта единица называется бит.
Сообщение, уменьшающее неопределенность знаний в два раза, несет 1 бит информации.
Неопределенность знаний о некотором событии – это количество возможных результатов события.
Что такое «неопределенность знаний»? Рассмотрим примеры:
Пример 1: Вы бросаете монету, загадывая, что выпадет: орел или решка?
Решение:
Есть два варианта
возможного результата бросания монеты.
Ни один из этих вариантов
не имеет преимущества перед другим (равновероятны). Перед
подбрасыванием монеты неопределенность знаний о результате равна
двум.
После совершения действия неопределенность уменьшилась в 2 раза. Получили 1 бит информации.
Ответ: Результат подбрасывания монеты принес 1 бит информации.
Пример 2: Студент на экзамене может получить одну из четырех оценок: 5, 4, 3, 2. Учится неровно и с одинаковой вероятностью может получить любую оценку. После сдачи экзамена, на вопрос: «Что получил?» — ответил: «Четверку». Сколько бит информации содержится в его ответе?
Решение:
Если сразу сложно ответить на вопрос, то можно отгадать оценку, задавая
вопросы, на которые можно ответить только «да» или « нет»,
т.
е. поиск осуществляется отбрасыванием половины вариантов.
Вопросы будем ставить так, чтобы каждый ответ уменьшал количество вариантов в два раза и, следовательно, приносил 1 бит информации.
1 вопрос: -Оценка выше тройки? — ДА
(число вариантов уменьшилось в два раза.) Получен 1 бит информации.
2 вопрос: -Ты получил пятерку? — НЕТ
(выбран один вариант из двух оставшихся: оценка – «четверка».) Получен еще 1 бит.
В сумме имеем 2 бита.
Ответ: Сообщение о том, что произошло одно из четырех равновероятностных событий несет 2 бита информации.
Пример 3: На книжном стеллаже восемь полок. Книга может быть поставлена на любую из них. Сколько информации содержит сообщение о том, где находится книга?
1 вопрос: — Книга лежит выше четвертой полки? — НЕТ (1, 2, 3, 4) — 1 бит
2 вопрос: — Книга лежит ниже третьей полки? — ДА (1, 2) — 1 бит
3 вопрос: — Книга – на второй полке? — НЕТ (1) — 1 бит
Книга лежит на первой
полке.
Ответ: 3 бита информации (каждый ответ уменьшал неопределенность в два раза. Всего было задано три вопроса.)
Получим формулу вычисления количества информации.
Обозначим: N – количество возможных событий (неопределенность знаний)
i — количество информации в сообщении о том, что произошло одно из N событий.
В примере с монетой N = 2, i = 1 21 = 2
В примере с оценками N = 4, i = 2 22 = 4
В примере со
стеллажом
N
= 8, i
= 3 2
Получаем формулу: 2i = N
Вывод: Для определения количества информации i, содержащейся в сообщении о том, что произошло одно из N равновероятных событий, нужно решить показательное уравнение:
2i = N Þ I = log2N
Примечание:
Если
i
– дробное число, т.
е. например,
N=6
(результат бросания игральной кости, у которой имеется шесть граней), то можно
воспользоваться таблицей.
Þ
i =2,58496
|
N i |
N i |
N i |
N i |
|
1 0,00000 |
17 4,08746 |
33 5,04439 |
49 5,61471 |
|
2 1,00000 |
18 4,16993 |
34 5,08746 |
50 5,64386 |
|
3 1,58496 |
19 4,24793 |
35 5,12928 |
51 5,67243 |
|
4 2,00000 |
20 4,32193 |
36 5,16993 |
52 5,70044 |
|
5 2,32193 |
21 4,39232 |
37 5,20945 |
53 5,72792 |
|
6 2,58496 |
22 4,45943 |
38 5,24793 |
54 5,75489 |
|
|
23 4,52356 |
39 5,28540 |
55 5,78136 |
|
8 3,00000 |
24 4,58496 |
40 5,32193 |
56 5,80735 |
|
9 3,16993 |
25 4,64386 |
41 5,35755 |
57 5,83289 |
|
10 3,32193 |
26 4,70044 |
42 5,39232 |
58 5,85798 |
|
11 3,45943 |
27 4,75489 |
43 5,42626 |
59 5,88264 |
|
|
28 4,80735 |
44 5,45943 |
60 5,90689 |
|
13 3,70044 |
29 4,85798 |
45 5,49185 |
61 5,93074 |
|
14 3,80735 |
30 4,90689 |
46 5,52356 |
62 5,95420 |
|
15 3,90689 |
31 4,95420 |
47 5,55459 |
63 5,97728 |
|
16 4,00000 |
32 5,00000 |
48 5,58496 |
64 6,00000 |
В МЕНЮ
Используются технологии uCoz
Определение количества информации — презентация онлайн
Похожие презентации:
Количество информации
Измерение количества информации
Измерение информации.
Содержательный и алфавитный подход
Измерение информации
Измерение информации
Определение количества информации
Алфавитный подход к определению количества информации
Измерение информации. Алфавитный подход к измерению информации
Измерение информации. Информация и информационные процессы
Определение количества информации
2. Как измерить информацию?
Вопрос этот очень непростой.Ответ на него зависит от того, что
понимать под информацией. Но поскольку
определять информацию можно поразному, то и способы измерения тоже
могут быть разными.
Измерение
информации
Содержательный
подход
Алфавитный
подход
Содержательный подход к измерению информации.
Для человека информация — это знания. Если получение новой
информации приводит к расширению знаний, то можно говорить, что такое
сообщение содержит информацию.
Говорят, что сообщение информативно если оно пополняет знания
человека.
Например, прогноз погоды на завтра — информативное сообщение, а
сообщение о вчерашней погоде неинформативно, т.к. нам это уже известно.
Основоположником этого подхода является
американский учёный Клод Элвуд Шеннон(1916 — 2001).
По Шеннону, информация — уменьшение
неопределенности наших знаний.
Неопределенность некоторого события — это
количество возможных исходов данного события.
Так, например, если из колоды карт наугад выбирают
карту, то неопределенность равна количеству карт в
колоде.
При бросании монеты неопределенность равна 2.
Содержательный подход к измерению информации.
Единица измерения информации была определена в науке, которая
называется теорией информации. Эта единица носит название
«бит». Ее определение звучит так:
Сообщение, уменьшающее неопределенность знаний
в два раза, несет 1 бит информации.
Неопределенность знаний о некотором событии — это количество
возможных результатов события.
Тогда можно записать формулу:
i
2=
N
N — количество событий
i — количество информации одного события
6.
Пример:На книжном стеллаже восемь полок. Книгаможет быть поставлена на любую из них.
Сколько информации содержит сообщение о
том, где находится книга?
Решение:
N = 8. i — ?
2i = N
2i = 8
2i = 23
i = 3 бита
Ответ: сообщение о том, что книга находится
на любой из полок равно 3 бита.
Алфавитный подход к измерению информации
Алфавитный подход к измерению количества информации основан на
подсчете числа символов в сообщении.
При алфавитном подходе к определению количества информации
отвлекаются от содержания информации и рассматривают
информационное сообщение как последовательность знаков
определенной знаковой системы.
Все множество используемых в языке символов будем традиционно
называть алфавитом.
Обычно под алфавитом понимают только буквы, но поскольку в тексте
могут встречаться знаки препинания, цифры, скобки, то мы их тоже
включим в алфавит. В алфавит также следует включить и пробел, т.е.
пропуск между словами.
Полное количество символов алфавита принято называть мощностью
алфавита.
В формуле
2i = N
N — мощность алфавита
i — количество информации одного символа
Алфавитный подход к измерению информации
При алфавитном подходе к измерению информации количество
информации зависит не от содержания, а от размера текста и
мощности алфавита.
Информационный объем текста (I), содержащего K символов
вычисляют по формуле:
I=K*i
где I — информационный объем текста,
K — количество символов в тексте,
i — информационный объем одного символа.
Основоположником этого подхода
является Андрей Николаевич
Колмогоров,(1903-1987), великий
российский ученый-математик.
9. Пример:
Определите информационный объем страницы книги, если длязаписи текста использовались только заглавные буквы русского
алфавита, кроме буквы Ё.
Решение:
N = 32
2i = N
2i = 32
2i = 25
i = 5 бит
На странице 3000 знаков,т.
е. К=3000,тогда объем информации I =K * i
I = 3000 * 5 ,
I = 15000 бит.
Ответ: информационный объем страницы книги равен 15000 бит.
1 байт = 8 бит
1 килобайт = 1Кб=210 байт =1024 байта;
1 мегабайт = 1Мб= 210 Кб = 220 байта;
1 гигабайт = 1Гб = 210 Мб = 230 байта;
1 Терабайт (Тб) = 210 Гбайта = 240 байта,
1 Петабайт (Пб) = 210 Тбайта = 250 байта.
Примеры некоторых алфавитов.
Двоичный алфавит
А что если алфавит состоит только из двух символов 0 и 1?
В этом случае: N = 2; 2i = N; 2i = 2; i = 1бит.
При использовании двоичной системы (алфавит состоит из двух знаков: 0
и 1) каждый двоичный знак несет 1 бит информации.
Интересно, что сама единица измерения информации «бит» получила
свое название от английского сочетания
«binary digit» — «двоичная цифра».
Достаточный алфавит
Ограничения на максимальный размер алфавита теоретически не существует.
Однако есть алфавит, который можно назвать достаточным. С ним мы скоро
встретимся при работе с компьютером.
Это алфавит мощностью 256символов. В алфавит такого размера можно поместить все практически
необходимые символы: латинские и русские буквы, цифры, знаки
арифметических операций, всевозможные скобки, знаки препинания….
В этом случае: N = 256; 2i = N; 2i = 256; 2i = 28; i = 8бит.
Один символ этого алфавита «весит» 8 бит или 1байт, т.к.
1 байт = 8 бит
12. Скорость передачи информации
Прием-передачаинформации
могут
происходить с разной скоростью.
Количество информации, передаваемое
за единицу времени, есть скорость
передачи информации или скорость
информационного потока.
Очевидно, эта скорость выражается в
таких единицах, как бит в секунду
(бит/с), байт в секунду (байт/с), килобайт
в секунду (Кбайт/с) и т.д.
English Русский Правила
LSAT PrepTest 64, Раздел II, Логическая игра 4. Настройка
LG Game 4 Setup, by LSATHacks
Это объяснение четвертой логической игры из раздела II Preptest 64 LSAT, LSAT за октябрь 2011 года.
Восемь книг (F, G, H, I, K, L, M, O) размещены на книжном шкафу с тремя полками. На каждой из трех полок — верхней полке (1), средней полке (2) и нижней полке (3) — есть как минимум две книги. Вы должны определить размещение книг на основе правил.
Настройка игры
Это групповая игра с небольшой числовой неопределенностью. На каждой полке есть как минимум две книги, но количество книг на полках 1 и 2 может быть разным.
Это вытекает из первого правила. На третьей полке (внизу) больше книг, чем на первой полке (вверху). Всего восемь книг. На каждой полке должно быть не менее двух книг. Единственный способ, которым мы можем положить больше на нижнюю полку, — это поставить туда как минимум три книги и поставить только две книги на верхнюю полку. Это два порядка, сверху вниз:
2 – 3 – 3
2 – 2 – 4
Итого 8. Если мы поместим три книги на верхнюю полку и четыре книги на нижнюю, у нас останется только одна книга на средней полке.
Последние три правила можно нарисовать вместе.
K выше, чем F и M (которые находятся на той же полке). O выше, чем L. Вертикальные линии показывают, что одна переменная выше другой.
Лучше всего рисовать правила 3 и 5 вместе: K выше, чем F и M. Я часто вижу, как ученики рисуют правила по отдельности, а затем теряются на своей странице. Если вы нарисуете меньшее количество правил вместе, это поможет вам работать быстрее и избежать ошибок.
Мы можем добавить эти правила на главную диаграмму. Я нарисовал три горизонтальных ряда, чтобы показать книги на трех книжных полках.
O и K нельзя размещать на нижней полке (полка с маркировкой 3), а L, F и M нельзя размещать на верхней полке. Например, если бы K был внизу, FM не мог бы быть ниже K.
I находится на средней полке. Лучше всего нарисовать это прямо на схеме. Порядок не имеет значения, поэтому я просто поставил I слева.
Вертикальная черта у полки 1 означает, что на этой полке может быть только две книги.
Отсутствие вертикальной линии у двух других полок означает, что на одну из них можно поставить дополнительную книгу. На третьей полке есть как минимум три книги, потому что на нижней полке книг больше, чем на верхней.
G и H — случайные величины, к ним не привязаны никакие правила (я рисую круги вокруг случайных величин).
Если это поможет вам визуализировать вещи, вы можете нарисовать две отдельные полки, чтобы показать разное количество книг, которые могут стоять на двух нижних полках. Одна диаграмма будет иметь четыре книги внизу, а другая — три книги внизу и три в середине.
Я не нашел это полезным. Вместо этого я подумал, что было бы полезно визуализировать, что происходит, когда F и M помещаются на вторую полку.
K должен быть на верхней полке, потому что K должен быть выше F.
O тоже должен быть на верхней полке, потому что O должен стоять выше L. переменные G и H вынуждены идти на нижнюю полку. В других местах места нет.
Итак, если F и M находятся на полке 2, все становится на свои места.
Другой сценарий (F и M внизу) менее интересен, но его все же стоит нарисовать. Его рисование напомнит вам, что FM находятся на нижней полке во всех сценариях, что не выглядят так, как я нарисовал выше.
Предыдущий вопрос
Содержание
Основная диаграмма
Заказ LawHub
Заказ LawHub
Хотите бесплатный урок Логических игр?
Получите бесплатный образец мастер-класса по логическим играм. Узнайте, как быстрее играть в логические игры
Привет, меня зовут Грэм Блейк.
Я создал LSATHacks и набрал 177 баллов на LSAT.
Закажите бесплатную консультацию со мной, чтобы обсудить, как вы можете улучшить свой результат: Запишитесь на консультацию
———
Фотографии и обновления: Если у вас есть вопрос, вы можете подписаться на нас в Instagram здесь или отправить по электронной почте.
Чтобы получать обновления, подпишитесь на мою рассылку. Я обновляю каждый раз, когда у меня появляются новые сообщения.4
комбинаторика — поставить 24 разные книги на 4 полки, на каждой полке есть хотя бы одна книга. почему мой ответ неверен?
спросил
Изменено 5 лет, 11 месяцев назад
Просмотрено 4к раз
$\begingroup$
поставить 24 разные книги на 4 полки, на каждой полке есть хотя бы одна книга(книги ставятся рядом друг с другом). Сколько способов? 920.
Кто-нибудь может сказать, почему мой ответ неверен?
- комбинаторика
- перестановки
$\endgroup$
1
$\begingroup$
Вы пересчитываете.
Случаи, когда на первой полке находятся книги $a,b$, учитываются один раз, когда $a$ входит в число первых четырех, и еще раз, когда $b$ входит в число первых четырех. Вы также занижаете учет, не учитывая порядок книг на каждой полке
$\endgroup$
0
$\begingroup$
После того, как выбраны первые четыре книги, ваш способ не учитывает, в каком порядке располагаются остальные книги на каждой полке . Кроме того, вы не различаете, какая из первых четырех книг стоит на какой полке. Так, например, вы считаете
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24
как неотличимый от
11 10 9 8 7 6 5 4 3 2 21 20 19 18 17 16 15 14 13 12 23 22 1 24
$\endgroup$
$\begingroup$
Это пример звезд и полос.
Предположим, что книги пронумерованы от $1$ до $24$:
$$ 1\;2\;3\;4\;5\;6\;7\;8\;9\;10\;11\;12\;13\;14\;15\;16\; 17\;18\;19\;20\;21\;22\;23\;24$$
и поместите между ними три разделителя (у нас есть $23$ различных мест для размещения таких разделителей)
$$ 1\;2\;3\;4\;5\;6\;7\;8\,\color{red}{\perp}\,9\;10\;11\;12\,\color{red}{\perp}\,13\;14\;15\;16\;17\;18\;19\,\color{red}{\ преступник}\,20\;21\;22\;23\;24$$
затем выберите случайную перестановку из $S_{24}$
$$ 12\;2\;16\;4\;5\;6\;23\;8\,\color{red}{\perp}\,9\;18\;11\;1\,\ цвет{красный}{\perp}\,13\;15\;14\;3\;17\;10\;19\,\цвет{красный}{\perp}\,20\;21\;22\ ;7\;24$$
получаем четыре непустые полки. Каждая аранжировка может быть сгенерирована таким образом, а отдельные шаги независимы, поэтому у нас есть $\binom{23}{3}\cdot 24!$ способов выполнения нашей задачи.
$\endgroup$
$\begingroup$
Это классические звезды и полосы. Вот общая формула.