НАЦІОНАЛЬНИЙ МЕДИЧНИЙ УНІВЕРСИТЕТ імені О.О. Богомольця
ЧЕСТЬ, МИЛОСЕРДЯ, СЛАВА

Чого варто і чого не варто очікувати від результатів пілотного тестування студентів-медиків 4 курсу (15 березня 2019 р.) під егідою МОЗу за тестами IFOM?

03.04.2019

Центр тестування

Американський іспит IFOM з фундаментальних наук для українських студентів-медиків, що пройшов 15 березня як дослідницький проект, став наймасштабніший за весь час, що його проводив за межами США розробник тесту – американська атестаційна організація NBME. Центр тестування був обраний NBME Адміністратором іспиту. Адміністрування іспиту на належному рівні стало можливим завдяки чіткій, злагодженій та професійній роботі усього колективу Центру тестування. Зокрема, для проведення іспиту було підготовлено відповідно до вимог NBME та залучено 329 прокторів, з яких за пропозицією МОЗ – 183 представники Руху Ветеранів України. Для забезпечення громадської безпеки в аудиторіях та недопущення використання під час іспиту недозволених технічних засобів зв’язку Центром тестування було залучено 130 представників поліції охорони Національної поліції України.

Ділимося загальними враженнями та прогнозами.

  1. На іспит було зареєстровано 7159 студентів-медиків четвертого курсу навчання. В іспиті взяло участь 6275 студентів з 19-ти закладів вищої освіти. Іспит проводився у 130 аудиторіях, які заклади вищої освіти облаштували відповідно до вимог NBME та Центру тестування щодо забезпечення відеоспостереження.

За винятком Одеського національного медичного університету, керівництво якого напередодні повідомило Центр тестування, про те, що університет не братиме участі у іспиті, явка студентів у ЗВО була високою.

  1. Як він проходив? За інформацією прокторів перші студенти почали здавати буклети з бланками відповідей вже після 15-20 хвилин від початку іспиту. А через дві години в аудиторіях залишилося менше половини студентів.
  2. Який можемо очікувати результат? Враховуючи, що тест складався з тестових завдань, як правило, з п’ятьма відповідями, і вгадування становить 20%, прогнозуємо, що середній результат по країні буде, у кращому випадку, близький до 30%. До такого висновку ми приходимо на підставі аналізу результатів складання у 2017-2018 р.р. на базі Центру тестування іспиту IFOM з клінічних наук у веб-форматі, який склали понад 200 мотивованих студентів за своїм бажанням. Їх середній результат становить 40%.
  3. Про що може свідчити прогностичний результат у 30%? З точки зору педагогічного оцінювання такий результат свідчить, що тест є невалідним за змістом. Це є наслідком того, що він не відповідає за змістом навчальному плану, який побудовано за горизонтальною моделлю вивчення спочатку фундаментальних дисциплін, а потім клінічних, а отже не відповідає програмам навчання. Таким чином, прогнозований результат по країні 30% з точки зору дидактики не є доказом неякісної підготовки майбутніх медиків. Це свідчить про те, що етапність підготовки майбутніх-медиків за змістом в Україні інша. Вона орієнтована на етапність вивчення доклінічних та клінічних дисциплін, яка прийнята у більшості європейських країн.
  4. Чи можна зробити будь-які висновки щодо покращення навчальних програм за результатами дослідження без змістового аналізу тесту?

160 тестових завдань іспиту IFOM є власністю NBME і після іспиту вони повертаються до США. Тестові завдання NBME не оприлюднюються, їхні психометричні характеристики не надаються, а результати представляються узагальнено відповідно до структури змісту іспиту. Отже без ознайомлення фахівців зі змістом 160 тестових завдань та їхніми психометричними характеристиками за результатами тестування немає і не може бути зворотного зв’язку з навчанням. А якщо оцінювання немає зворотного зв’язку  з навчання, то воно не виконує взагалі жодної дидактичної функції.

Тоді як, для порівняння, матеріали міжнародного моніторингового дослідження школярів PISA, що поводилося в Україні у 2018 році, залишилися в Україні та можуть бути використані фахівцями для аналізу та покращення підготовки школярів.

Узагальнені звіти з результатами проведеного дослідження можуть бути одержані МОЗ в середині травня. Ці результати мають пройти широке обговорення на науково-методичному рівні з освітянським професійним середовищем. За результатами такого професійного обговорення має бути прийнято рішення щодо напряму розвитку та змін змісту навчання майбутніх медиків в Україні, а саме визначена модель, яка обирається – європейська чи американська. І тільки після цього можна визначатися, чи потрібен додатковий тест і який.

Враховуючи норму Постанови КМУ від 12.12.2018 № 117, у якій Міністерству охорони здоров’я доручається:

«1) подати до 1 квітня 2019 р. за результатами проведеного міжнародного моніторингового дослідження якості вищої медичної освіти Кабінетові Міністрів України пропозиції щодо необхідності перенесення строку обов’язкового зарахування в 2019 році міжнародного іспиту з основ медицини як складової єдиного державного кваліфікаційного іспиту; 2) поінформувати Кабінет Міністрів України про результати проведеного міжнародного моніторингового дослідження якості вищої медичної освіти.»,

Центр тестування вважає педагогічно обґрунтованим «перенесення строку обов’язкового зарахування в 2019 році міжнародного іспиту з основ медицини як складової єдиного державного кваліфікаційного іспиту» на наступні роки, після розроблення рекомендацій щодо вдосконалення навчальних планів і освітніх програм та втіленням цих рекомендацій у систему підготовки лікарів.

І асоціація, яка напрошується у фахівців з педагогічного оцінювання. Проведене дослідження нагадує ситуацію коли, людину вчили керувати машиною з лівим кермом, а іспит з водіння вона має складати, керуючи машиною з правим кермом. Машини побудовані однаково, а результат іспиту буде різним.

НАШ КОМЕНТАР

 «Результатом освіти має бути набуття компетеності, тобто, за Shah (2012), “здатності працювати ефективно і успішно”.

Набуття компетентностей реалізується в «трикутнику» з чітко визначених  і взаємопов‘язаних  (1) навчальних цілей (2) програми  і методів викладання і (3) методів оцінювання. Всі вони мають відповідати один одному. 

Двома основними цілями оцінювання щодо набуття компетентностей є 1-вимірювання (assessment OF learning) і 2- удосконалення (assessment FOR learning).

Для того, щоб забезпечити точність ВИМІРЮВАННЯ, оцінювання має відповідати наступним вимогам (Ottawa Conference Working Group,2010, та інш.):

– бути достатньо валідним, тобто, бути достатньо ефективним інструментом вимірювання; 

– бути надійним, тобто, забезпечувати об’єктивність і відтворюваність результату (це практично автоматично забезпечує тестовий формат з даною достатньо великою кількістю завдань). 

Складовими валідності є:

– валідність контенту, тобто, повнота охоплення і відповідності до розділів програми і навчальних цілей. Можна погодитися з думкою Центру тестування про існування неповної відповідності  іспиту IFOM існуючим в українській медосвіті конкретним навчальним цілям і їхній реалізації переважно на найнижчому рівні – запам’ятовування фактів, а не їхнього застосування для вирішення конкретних клінічних задач, а також, певною мірою, змісту  програм фундаментальних дисциплін;

– валідність процесу іспиту – чіткість інструкцій студентам, адекватний його меті вибір часу іспиту, застосування хаотичності номеру вірної відповіді, унеможливлення помилок в «ключах». В нашому випадку є майже річний проміжок в часі між завершенням вивчення дисциплін і складанням IFOM, тому йдеться певною мірою про оцінювання «виживання» знань і компетентностей, що мало погіршити результати складання;

– валідність внутрішньої структури іспиту за показниками надійності, зокрема, Cronbach-альфа, індексом дискримінації «сильних» і «слабких» студентів і індексом складності. Ці показники мають підраховуватися за допомогою спеціальної статистичної програми після складання студентами іспиту для його оцінки. Якими будуть чисельні величини цих показників у українських студентів, поки що невідомо; 

– зв‘язок результату іспиту з такими «золотого стандарту» (такого у нас немає) або інших іспитів, які вимірюють подібні компетентності. Цікаво було б співставити з результатами «Крок-1»;

-зв‘язок з наслідками іспиту (не реально дослідити).

Отже, основні результати пілотного складання українськими студентами іспиту IFOM, ймовірно, будуть в площині не стільки демонстрації занадто великої поблажливості викладачів, які не мали допускати багато «слабких» студентів до подальшого навчання, а яскравої демонстрації потреби всієї системи в удосконаленні, тобто, модернізації і інтернаціоналізації за контентом і методами. При цьому використання лише результатів складання конкретних 160 тестових завдань для вирішення цієї задачі абсолютно недостатньо. Треба зробити дуже велику роботу з порівняння програм, написання нового курикулуму за зарубіжним взірцем з попереднім виваженим прийняттям фахового рішення про глибину і етапність «реформування» – з врахуванням готовності влади надати для цього фінансування і його обсягу.

Інакше навіщо було витрачати гроші?».

К.М. Амосова