Общие сведения о курсе:

Название курса: Теория информации (дискретная математика)

Описание:
Курс посвящён основам теории информации, её математическому аппарату и применению в машинном обучении и обработке данных.

Формула итоговой оценки:
$$0.3 \cdot [\text{ДЗ}] + 0.3 \cdot [\text{КР}] + 0.4 \cdot [\text{ЭКЗ}]$$

Блокирующие элементы: контрольная работа и экзамен.

Домашние задания

Оценка за домашние задания считается следующим образом:

1. Вычисляется доля $\nu \in [0; 1]$ заработанных балов от максимального числа баллов.
2. Оценка вычисляется как $\omega(\nu)$ где $\omega$ — правая обратная к функции распределения Гиббса с уровнями энергии $0, \ldots, 10$ и температуре $T \to +\infty$.

TBD: ссылка на hwproj

Формат контрольной работы

Coming soon...

Формат и программа экзамена

Coming soon...

Рекомендуемая литература:

1. Яглом А. М., Яглом И. Вероятность и информация. – Рипол Классик, 1960.
2. Cover T. M. Elements of information theory. – John Wiley & Sons, 1999.
3. Murphy K. P. Machine learning: a probabilistic perspective. – MIT press, 2012.
4. MacKay D. J. C. Information theory, inference and learning algorithms. – Cambridge university press, 2003.

Структура репозитория

├── LICENSE
├── README.md
├── notes.pdf              # Конспект лекций
├── homeworks              # Домашние задания
│   ├── hw01.pdf           # Задание 1
│   ├── hw02.pdf           # Задание 2
│   └── ...
├── seminars               # Листки с семинаров
│   ├── seminar-01.pdf
│   └── seminar-02.pdf
└── src                    # Исходные файлы в TeX
    ├── records.lua        # Метаданные
    ├── configuration      # Преамбула и кастомные зависимости
    ├── homeworks          # Исходники для домашних заданий
    ├── labs               # Исходники для практических работ
    ├── lectures           # Исходники лекций
    │   ├── assets         # Изображения и дополнительные файлы
    │   ├── chapters       # Главы лекций
    │   ├── notes.tex      # Основной файл конспекта
    │   └── preamble.tex   # Преамбула для лекций
    └── seminars           # Исходники семинаров
        ├── seminar-01.tex
        └── seminar-02.tex

Сборка листочков и конспекта

1. Подтяните все субмодули:

   git submodule update --init --recursive

2. Установите необходимые зависимости для пакетов:

   • minted (может потребовать pygmentize)
   • memoize (потребует Perl-библиотеку PDF::Builder)

3. Убедитесь, что установлена свежая версия latexmk (4.85+) и движок LuaHBTeX версии 1.18.0 или выше.

4. Для сборки использовать команду latexmk из корневой директории (где расположен файл latexmkrc).

5. Рекомендуется использовать редактор с поддержкой магических команд (например, NeoVim с расширением VimTeX).