Ученик прошёл модуль про смену аккордов, сдал тест и поставил курсу пятёрку. А на репетиции группы он по-прежнему замирает перед каждым новым аккордом. Для гитариста настоящая проверка выглядит так: песня из своего репертуара в нужном темпе, партия на репетиции, выступление на концерте школы. Разрыв между пройденным уроком и игрой нужно измерять. Иначе программу школы защищают одними ощущениями.
Начни с того, что ученик должен сыграть
Завершённый курс, тест и анкета хранятся в учебной платформе. А перенос навыка в игру видно в другом месте: в записях, на репетициях, в журнале занятий. Перенос здесь значит, что ученик уверенно делает то, чему учился, когда уже просто играет и об уроке не думает.
Сначала реши, какое одно действие покажет результат. После модуля по смене аккордов это переход G, C и D без остановки на 80 долях в минуту в песне, которую ученик выбрал сам. После модуля по баррэ это фа мажор в первой позиции, который звучит на всех шести струнах прямо в припеве. После модуля по ритму это восьмые с акцентами под метроном, без ускорения к концу куплета.
Доля переноса = ученики, которые показали это действие / ученики, у которых была возможность его показать
Почему делят не на всех? Если подходящего случая не было, нельзя считать, что навык не перенёсся.
Действие должно быть видно, связано с курсом и не сводиться к нажатию кнопки. Открытый урок в приложении ничего не говорит о переносе. Запись песни под метроном, отметка преподавателя на репетиции или видео, оценённое по понятным критериям, говорят.
Слова ученика рисуют картину лучше, чем она есть
Спросить ученика проще, чем слушать записи. Поэтому опрос так часто заменяет проверку. Но опрос отвечает на другие вопросы: понял ли человек материал, верит ли, что навык пригодится, что ему мешает, хватает ли помощи преподавателя.
Ответ «я уже играю это чисто» зависит от памяти, желания выглядеть увереннее и от того, что ученик считает чистой игрой. Переноса он не доказывает.
Записи тоже сами не объясняют причину. Темп мог вырасти из-за новой гитары с низкими струнами, разбора песни на чужом канале или строгого преподавателя. Поэтому опрос нужен, чтобы понять, что мешает. А главная проверка остаётся за тем, что ученик реально сыграл.
Когда опрос и запись расходятся, это часто полезнее, чем когда совпадают. Ученик уверен в себе, а на записи навыка нет? Значит, ему негде применить навык, он не понимает, что считать хорошей игрой, или никто не даёт ему отзыва.
Проверки через 30, 60 и 90 дней
Сразу после курса ты в основном измеряешь воодушевление. Навык проверяют будни, поэтому смотрят трижды. Через 30 дней проверяют первую попытку. Через 60 дней смотрят, пережил ли навык обычную нагрузку, когда воодушевление прошло. Через 90 дней смотрят, держится ли он без напоминаний и насколько хорошо звучит. Сроки задают с запасом, в несколько дней, а не требуют записи строго в определённое число.
| Срок | Что видно | Что считать | Где можно ошибиться |
|---|---|---|---|
| 30 дней | Первая правильная попытка | Сколько учеников хотя бы раз сыграли нужное | Ученик мог сыграть это только при преподавателе |
| 60 дней | Повторение в обычной игре | Как часто ученики играют это, когда есть случай | Один удачный раз легко принять за привычку |
| 90 дней | Навык держится и звучит хорошо | Сколько учеников играют это снова, плюс оценка качества | Мешают смена программы, сезон или другой репертуар |
Такая схема работает, если случай применить навык выпадает часто. Для редких навыков она не годится. Если концерт школы бывает раз в квартал, то отсутствие выступления через 30 дней ничего не говорит.
Тогда смотрят на промежуточные шаги, например на запись номера целиком дома. А главную проверку переносят на первое реальное выступление. Проверки подстраивают под жизнь ученика, расписание курса тут вторично.
Насколько быстро навык забывается, точно не знает никто. Но ориентир есть. В 2006 году Алан Сакс и Моника Белкур опросили специалистов по обучению и опубликовали результаты в журнале Human Resource Management. По их оценкам, сразу после курса применяют около 62% выученного, через полгода 44%, через год 34%.
Это оценки практиков, точными измерениями их считать нельзя. Но картина совпадает с выводом Болдуина и Форда (Personnel Psychology, 1988). Перенос меньше зависит от самого курса и больше от того, есть ли у человека возможность и поддержка применять навык. Для гитариста это группа, где нужно играть, песни по силам и время на инструмент. Поэтому если между 30-м и 90-м днём навык пропадает, чаще виновата обстановка вокруг ученика, чем урок.
Сравнение с другой группой отделяет урок от случайностей
Даже если ученик сыграл нужное вовремя, это ещё не доказывает, что помог курс. За те же три месяца школа могла выложить новые разборы песен, а у ученика мог смениться преподаватель. Без сравнения такие вещи легко принять за успех программы.
Самый простой способ: сравнить, как изменились ученики, которые прошли модуль, и похожие ученики, которые его пока не проходили. Эффект = изменение после обучения в основной группе минус изменение в контрольной группе. Похожими группы должны быть по уровню, стажу, возрасту, начальному темпу, стилю и инструменту.
Пример с придуманными цифрами. Модуль по смене аккордов прошли 40 учеников, ещё 40 ждут следующего набора. До модуля песню на 80 долях в минуту без остановок играли 30% первых и 28% вторых. Через 60 дней стало 55% и 38%. Первые прибавили 25 процентных пунктов, вторые 10. Вторые выросли потому, что за эти недели школа выложила бесплатные разборы песен с медленными минусовками. Значит, модуль дал 25 минус 10, то есть 15 пунктов, а не 25, как показал бы отчёт без сравнения.
Много ли это? В группах по 40 человек случайный разброс большой. Разница между группами может гулять примерно на 20 пунктов в любую сторону просто по случайности. Эффект в 15 пунктов в этот разброс помещается.
Поэтому простое правило: если в группах меньше 50 человек, а разница меньше 20 пунктов, не объявляй ни успех, ни провал. Повтори замер со следующим набором и сложи результаты, если курс и занятия не менялись.
Лучше всего, когда учеников делят на группы жребием. Но так можно не всегда. Тогда помогает запуск по очереди: первый набор учится раньше, а следующий пока служит для сравнения. По ходу записывай даты обучения, доступ к материалам и любые изменения в занятиях.
Если преподаватели сами выбирали, кого учить первым, честного сравнения не получится. Ты увидишь, что обучение и игра связаны, но не докажешь, что изменения вызвал именно курс.
Сравнение групп показывает, помог ли курс в среднем. Но отдельные случаи тоже стоит разбирать. Если игра выросла только у учеников сильного преподавателя, полезнее понять, как он ведёт их между уроками, чем объявлять программу успешной для всей школы.
Каждый источник видит свою часть картины
Одно место редко показывает весь путь от урока до игры. И от выбора источника зависит, что ты вообще сможешь заметить.
| Источник | Что видно | Чего не видно |
|---|---|---|
| Учебная платформа | Завершение модулей, тест, время в курсе | Что ученик делает после курса |
| Журнал школы | Посещения, домашние задания, отметки преподавателя | Отметка может стоять для галочки |
| Журнал занятий ученика | Что и когда он играл, в каком темпе | Как это звучало |
| Прослушивание записей | Насколько игра соответствует понятным критериям | Нужны общие критерии, чтобы преподаватели оценивали одинаково |
| Опрос ученика и мнение преподавателя | Что мешает, насколько ученик уверен | Желание понравиться и симпатия искажают ответы |
Связка из нескольких источников скромнее одного «общего балла», зато помогает решать. Журнал показывает, что ученик играл. Запись показывает, как это звучало. Опрос объясняет, что мешает. Если источники противоречат друг другу, не усредняй их. Выясни, где именно расхождение.
Отметки в журнале стоит сразу проверять записями. Допустим, отметку «сыграл песню целиком» ставят 60% учеников. Ты прослушал 20 записей за месяц, и преподаватель признал ровной по темпу и смене аккордов только каждую вторую. Значит, на деле навык перенесли около 30%. Отметок стало больше, а игра не улучшилась. Это видно, только когда смотришь в два источника сразу.
В разных модулях проверяют разное
Что считать главным признаком, зависит от модуля. В аккомпанементе первым сигналом будет ровная смена аккордов во всей песне, на записи или на репетиции. Продление абонемента важно для экономики гитарной школы, но зависит от цены, расписания, сезона и отпусков. Без сравнения с другой группой связывать его с модулем рискованно.
В модуле по соло первой проверкой может быть фраза на минусовке без сбоя ритма. А через 90 дней импровизация на 12 тактов блюза, которую оценит преподаватель. В модуле по нотной грамоте проверяют чтение с листа незнакомого этюда в медленном темпе. Число пройденных уроков там ничего не доказывает.
В игре в ансамбле смотрят на то, что можно проверить. Вступает ли ученик после отсчёта. Держит ли свою партию, когда сосед сбивается. Не уходит ли темп на последнем припеве. Сравнивать один и тот же процент между модулями нельзя: где-то случаев применить навык много, где-то мало, и цена ошибки разная.
Пока ты проверяешь один модуль на небольшой группе, всё это легко держать в голове. Когда учеников становится больше, сравнивать становится трудно, и никто этого не замечает. На пробной группе можно вручную прослушать несколько десятков записей. Когда учеников сотни, это дорого, а автоматические отчёты живут по своим правилам.
Появляются повторы, меняются названия заданий, ученики переходят от одного преподавателя к другому, один навык попадает в несколько модулей. Если заранее не договориться, что как считать, цифры незаметно начнут означать другое.
Поэтому до расширения реши несколько вещей. Кто отвечает за каждую цифру. Что считать случаем применить навык. В какой день снимать данные. Смотри результаты отдельно по модулям, преподавателям, формату (онлайн или очно) и начальному уровню. Среднее может скрыть, что опытные ученики переносят навык, а новички не доходят даже до первой попытки. Этим группам нужна разная помощь.
Сначала реши, что будешь делать с результатом
Выгружать все данные учебной платформы подряд бесполезно. Сначала реши, что сделаешь по итогам. Может быть, изменишь домашнюю практику после модуля. Добавишь разбор записи с преподавателем. Уберёшь помеху вроде неудобного расписания. Или закроешь программу. Потом собери минимум данных, которых хватит для этого решения.
- Опиши одно действие, которое покажет результат, и условия, в которых его можно сыграть.
- Запиши, как ученики играют до курса, и найди похожую группу для сравнения.
- Назначь проверки через 30, 60 и 90 дней: первая попытка, повторение и устойчивость.
- Добавь оценку качества и одну цифру по школе, например продления. Но не приписывай её рост курсу, пока не проверили другие причины.
В небольшой школе на 60 учеников это звучит наивно. Базовый модуль по аккордам проходят все новички сразу. И ни один преподаватель не оставит половину группы без него ради чистоты замера.
Для базовых модулей группу для сравнения действительно не собрать. Есть другой способ. Записывай рабочий темп ученика за 8 недель до модуля и посмотри, изменился ли рост после него. Если темп и до модуля рос на 2 доли в минуту в неделю, такой же рост после модуля заслугой курса не считается. Это слабее, чем сравнение с другой группой, но честнее, чем одна точка «до» и одна «после».
Если через 30 дней навык появился, а через 60 исчез, проверь две вещи: забылся ли он и было ли где его применять. Может не хватать времени на инструмент, подходящей песни, удобной гитары или отзыва преподавателя. Если навык держится, а звучит не лучше, возможно, ты выбрал не то действие для проверки.
Доказательство в записях, а не в отзывах
Допустим, к 90-му дню у тебя есть три вещи: навык, который повторяется, запись того, как ученики играли до курса, и похожая группа для сравнения. Тогда разговор о программе школы меняется. Понравился ли курс, уже не так важно. Обсуждают, доработать модуль, продолжить его или закрыть. Если хотя бы одного из трёх нет, честнее назвать результат предварительным и назначить следующий замер на ближайший концерт или репетицию.