Программа и содержание

Слив курса LLM-инженер [Gigaschool]

Создавай, обучай и внедряй LLM‑проекты под руководством экспертов и практиков

Что даст курс?

Возможность создать LLM-проект

освоив технологии разработки LLM, вы сможете запускать свои проекты с нуля, создавая решения на базе передовых технологий.

Улучшить существующие сервисы

возможность создавать и оптимизировать LLM для реальных задач, повышая эффективность бизнес-процессов и улучшая качество сервисов.

В связи с высокой стоимостью (180 000 руб.) и продолжительностью (5,5 месяцев) курса, для удобства участников принято решение о его разделении на 5 частей.

Каждая часть соответствует одному большому разделу программы.

Каждая последующая часть является продолжением предыдущей.

Это первая часть большого онлайн-курса, на которой вы научитесь создавать, дообучать и оптимизировать собственные большие языковые модели (LLM).

Под руководством экспертов вы изучите современные архитектуры, методы дообучения PEFT, выравнивания моделей с помощью RLHF и способы уменьшения их размера для эффективного использования.

Что вы освоите в этой части:

Ключевые навыки:

Разбираться в архитектурах современных LLM (close vs open models)

Запускать и адаптировать open-source модели под свои задачи

Настраивать модели с помощью fine-tuning и PEFT (LoRA / QLoRA)

Использовать методы RLHF для выравнивания моделей (включая DPO, PPO)

Снижать ресурсоёмкость моделей через квантизацию и дистилляцию

Основные инструменты:

Hugging Face Transformers

TRL (для RLHF)

LoRA / QLoRA

Программа курса:

1. Выравнивающий блок

NLP - от базы до DL

Attention & трансформеры

Эволюция трансформеров до наших дней

2. Современные LLM

Современные LLM

PEFT

RLHF & Alignment

Уменьшение размеров модели

3. Prerequisites для RAG

Работа с текстами

Векторы

Информационный поиск

Ранжировние

4. RAG

Основы RAG систем

Усложнение RAG систем

5. Агенты

Введение

Мультиагентные системы

6. Инфра

Хостинг LLM, эмбеддингов

Разворачивание чат-бота

Observing

7. Безопасность и Этика

Безопасность (OWASP)

дискриминация и предвзятость, утечка

конфиденциальной информации в ЛЛМ,

галлюцинации модели, alignment

Эксперты курса:

Кристина Желтова — Директор по разработке моделей, Газпромбанк

Роман Соломатин — ML Engineer (LLM, Ops), X5 Tech

Дарья Андреева — ML Engineer (NLP), X5 Tech

Александр Потехин — NLP Lead, X5 Tech

Евгений Кокуйкин — CEO, Raft