ИИ-репетиторы в школах: что показывают замеры в Сьерра-Леоне

ИИ-репетитор в школе звучит красиво до первого вопроса: а он вообще учит или просто занимает ребёнка чатом. Проекты по внедрению разговорных моделей в образование запускают в странах с дефицитом учителей — Сьерра-Леоне, Нигерия, Кения, Гана, — и почти каждый спотыкается об одно и то же. Не о качестве модели. О том, как честно измерить, стало ли детям лучше, и отличить эффект программы от эффекта новизны, дополнительного времени за партой и внимания взрослых.

Почему именно измерение — самая сложная часть

Запустить чат-бота на базе большой языковой модели технически несложно: интерфейс, набор промптов под школьную программу, доступ через дешёвый смартфон или общий планшет. Сложность начинается там, где нужно доказать причинно-следственную связь между инструментом и результатом.

Ребёнок, которого посадили за ИИ-репетитора, одновременно получает три вещи: сам инструмент, дополнительные часы занятий и внимание проекта. Если после программы его баллы выросли, непонятно, что именно сработало. Возможно, любой репетитор — живой или цифровой — дал бы тот же прирост. Возможно, дети просто привыкли к формату теста. Отделить это можно только правильным дизайном исследования, а не эффектными скриншотами диалога с моделью.

Инструмент, который нельзя честно измерить, — это не образовательная технология, а гипотеза с хорошим интерфейсом.

Что мешает верить громким цифрам

• Эффект новизны. Новый гаджет поднимает вовлечённость на несколько недель, а потом кривая падает. Замер на второй неделе покажет чудо, замер через полгода — реальность.
• Отбор участников. В пилот часто попадают более мотивированные школы и семьи. Их дети выросли бы и без вмешательства.
• Тест под инструмент. Если модель натаскивала ребёнка на определённый тип заданий, а итоговый тест проверяет ровно их — это измерение натаскивания, а не понимания.
• Отсев. Слабые ученики бросают программу первыми. К финалу остаются сильнейшие, и среднее по группе растёт само собой.

Как устроен корректный замер

Золотой стандарт — рандомизированное контролируемое исследование (РКИ)*. Школы или классы случайным образом делят на две группы: одна получает ИИ-репетитора, другая продолжает учиться как обычно. Через фиксированный срок обе группы проходят один и тот же независимый тест. Разница в результатах и есть эффект программы, очищенный от посторонних факторов.

Ключевые элементы, без которых цифрам верить нельзя:

1. Контрольная группа. Без неё вы не знаете, что было бы без вмешательства.
2. Замер до и после. Стартовый тест фиксирует базовый уровень, чтобы измерять прирост, а не абсолютный балл.
3. Независимая проверка знаний. Тест составляют не авторы программы, и он не совпадает с тренировочными заданиями модели.
4. Учёт отсева. В расчёт берут всех, кто начинал, а не только дошедших до финала.
5. Отложенный замер. Проверка через несколько месяцев после окончания показывает, удержались ли знания.

Что именно измеряют

Обычно смотрят на несколько метрик сразу, потому что одна ничего не решает:

Сьерра-Леоне как показательный случай

Сьерра-Леоне интересна тем, что образование там объявлено политическим приоритетом, а нехватка квалифицированных учителей — системная. В таких условиях ИИ-репетитор выглядит не как замена педагогу, а как способ дотянуться туда, куда педагога физически не хватает. И именно поэтому цена ошибки в измерениях высокая: если государство поверит завышенным цифрам и масштабирует то, что на самом деле не работает, оно потратит ограниченный бюджет впустую.

Честный подход здесь — не обещать революцию по итогам трёхмесячного пилота, а прогонять инструмент через контрольную группу и независимый замер, прежде чем расширять. Медленно, скучно, зато проверяемо.

Разница между рабочей программой и красивой презентацией часто прячется в одном вопросе: была ли контрольная группа.

Инфраструктурный контекст

Любой замер идёт поверх реальности, а реальность — это перебои с электричеством, дорогой мобильный трафик и один общий смартфон на семью. Если инструмент работает только при стабильном интернете, эффект будет измерен на узкой прослойке благополучных детей, и распространять вывод на всю страну нельзя. Поэтому серьёзные проекты параллельно фиксируют, у кого вообще был доступ к инструменту и сколько раз он реально запускался.

Что это значит за пределами Африки

Проблема измерения универсальна. Российская школа, европейский колледж или частная EdTech-платформа сталкиваются ровно с тем же: продавец обещает рост успеваемости, но не показывает дизайн исследования. Вопросы, которые стоит задавать любому поставщику ИИ-обучения, одинаковы:

• Была ли контрольная группа, которая не пользовалась инструментом.
• Кто составлял итоговый тест и совпадал ли он с тренировочными материалами.
• Сколько времени прошло между окончанием программы и замером.
• Какой процент участников дошёл до конца и как считали остальных.
• Публиковались ли отрицательные или нулевые результаты, или только успешные.

Если на эти вопросы нет внятного ответа, перед вами маркетинг, а не доказательство. Модель может быть отличной, интерфейс — удобным, но без корректного замера утверждение «дети стали учиться лучше» остаётся недоказанным.

* Рандомизированное контролируемое исследование (РКИ) — метод, при котором участников случайно делят на группу с вмешательством и контрольную, чтобы разница результатов отражала эффект самого вмешательства, а не отбора или посторонних факторов.