Фармаконагляд як система виявлення, оцінювання, розуміння та запобігання побічним реакціям лікарських засобів (ЛЗ) спирається на безперервне опрацювання значних обсягів інформації. Дані надходять із різнорідних джерел – спонтанних повідомлень про підозрювані побічні реакції, наукової та медичної літератури, електронних медичних записів, соціальних мереж і реєстрів пацієнтів. Зростання цих обсягів робить ручне опрацювання дедалі трудомісткішим і створює передумови для впровадження методів штучного інтелекту (ШІ), зокрема машинного навчання та великих мовних моделей [2].
Особливе місце серед завдань фармаконагляду посідає моніторинг наукової літератури. Відповідно до настанови з належної практики фармаконагляду, власники реєстраційних посвідчень зобов’язані систематично переглядати наукові публікації для виявлення інформації з безпеки своїх ЛЗ. Обсяг публікацій, що потребують перегляду, може сягати десятків тисяч за цикл моніторингу, причому переважна більшість із них зрештою виявляється нерелевантною. Це створює природне підґрунтя для автоматизації первинного відбору за допомогою моделей класифікації тексту [1,3].
Водночас застосування моделей ШІ у регульованому середовищі фармаконагляду не може обмежуватися лише демонстрацією їхньої технічної ефективності. Такі моделі належать до комп’ютеризованих систем, що впливають на безпеку пацієнтів, а отже мають бути валідовані відповідно до документованого, ризик-орієнтованого життєвого циклу. Розрив між технічною спроможністю сучасних моделей і браком формалізованих підходів до їх валідації є однією з ключових перешкод для широкого впровадження ШІ у фармаконагляді.
Мета роботи – узагальнити ключові принципи та підходи до валідації моделей штучного інтелекту для завдань фармаконагляду, а також окреслити метрики оцінювання та регуляторний контекст, у якому така валідація має відбуватися.
Валідація комп’ютеризованих систем у фармацевтичній галузі ґрунтується на низці взаємопов’язаних документів. Базовими є Додаток 11 належної виробничої практики Європейського Союзу, що встановлює вимоги до комп’ютеризованих систем, та настанова GAMP 5, яка описує ризик-орієнтований підхід до забезпечення відповідності таких систем [2,4]. Згідно з класифікацією GAMP 5, системи на основі машинного навчання, як правило, належать до найвищої, п’ятої категорії складності, оскільки їхня поведінка визначається не лише програмним кодом, а й даними, на яких вони навчалися. Це зумовлює потребу в окремій увазі до якості навчальних і тестових даних, відтворюваності результатів та керування змінами.
Останніми роками регуляторне середовище активно розвивається у напрямі специфічних вимог до ШІ. У 2025 році Рада міжнародних організацій медичних наук (CIOMS) оприлюднила підсумковий звіт Робочої групи XIV – першу міжнародну консенсусну рамку застосування ШІ у фармаконагляді, побудовану навколо принципів ризик-орієнтованості, якості та керованості даних, прозорості, валідності, стабільність та людського контролю над робочим процесом [3,5,6]. Паралельно з’являються галузеві настанови щодо застосування ШІ в життєвому циклі ЛЗ, які доповнюють чинні вимоги до комп’ютеризованих систем. Сукупно ці документи формують контекст, у якому має відбуватися валідація будь-якого рішення на основі ШІ.
Для завдань класифікації, типових для фармаконагляду, оцінювання ефективності моделі ґрунтується на матриці невідповідностей, що зіставляє прогнози моделі з еталонними рішеннями експертів. На її основі обчислюють низку показників, основні з яких наведено в таблиці 1.
Таблиця 1
Основні метрики оцінювання класифікаційних моделей у фармаконагляді
Вибір пріоритетної метрики визначається специфікою завдання. У фармаконагляді ціна помилки пропуску релевантної інформації (хибнонегативний результат) суттєво перевищує ціну хибного включення (хибнопозитивний результат): пропущений сигнал з безпеки становить потенційну загрозу для пацієнта, тоді як хибнопозитивний результат лише збільшує обсяг ручного перегляду статей професіоналами з фармаконагляду. Через цю асиметрію за пріоритетну метрику доцільно обирати чутливість, встановлюючи для неї високий поріг прийнятності, тоді як для точності припустимий нижчий поріг.
На основі чинних регуляторних вимог та узагальнення практики можна виокремити чотири ключові принципи валідації моделей ШІ для фармаконагляду. Перший принцип – визначення критеріїв прийнятності до початку тестування. Пороги для ключових метрик мають бути зафіксовані апріорі та задокументовані до проведення оцінювання. Це фундаментальна вимога ризик-орієнтованої валідації, що запобігає підлаштуванню критеріїв під отримані результати. Обґрунтування порогів має спиратися на аналіз ризику, галузеві референтні показники та наявність компенсаторних механізмів контролю. Зокрема, поріг чутливості доцільно встановлювати на рівні, що відповідає або перевищує ефективність ручного скринінгу, який сам по собі має певну частку помилок [5].
Другий принцип – оцінювання на незалежному наборі даних із достовірною експертною розміткою. Тестовий набір має бути відокремленим від даних, використаних під час розроблення моделі, щоб уникнути завищення показників унаслідок перенавчання. Надійність еталонної розмітки забезпечується залученням кваліфікованих фахівців із відповідною освітою та подвійним незалежним оцінюванням кожного запису. Розбіжності між оцінювачами доцільно вирішувати шляхом консенсусу за участі кількох експертів, що зменшує суб’єктивність та підвищує валідність еталона. Бажано також оцінювати модель на кількох незалежних наборах даних, що дає змогу пересвідчитися у стабільності її показників.
Третій принцип – збереження людського контролю над робочим процесом. Модель ШІ доцільно розглядати як інструмент підтримки прийняття рішень, що присвоює попередню оцінку, тоді як остаточне рішення та обсяг ручної перевірки визначає кваліфікований фахівець. Залишковий ризик, пов’язаний із обраним порогом чутливості, керується не самою моделлю, а конфігурованим користувачем переглядом, обсяг якого встановлюється відповідно до толерантності організації до ризику. Такий підхід узгоджується з міжнародними рамковими документами, які наголошують на людському контролі як основоположному принципі застосування ШІ у фармаконагляді [3].
Четвертий принцип – повне документування процесу валідації. Документація має охоплювати весь життєвий цикл: від запиту на зміну та оцінки ризиків до протоколу й звіту про тестування і підсумкового висновку про придатність системи. Документована простежуваність кожного етапу є обов’язковою умовою прийнятності системи для регуляторного інспектування та забезпечує можливість відтворення результатів іншими фахівцями. Окремим елементом документування є керування змінами: будь-яке оновлення моделі, запиту або даних має супроводжуватися повторною валідацією у відповідному обсязі.
Наведені принципи утворюють відтворювану рамку, що не залежить від конкретної моделі чи постачальника. Організація може застосувати ту саму структуру – визначення завдання, апріорні критерії прийнятності з обґрунтуванням, оцінювання на незалежних даних, оцінку ризиків та керування змінами – до будь-якої обраної моделі та повторно валідувати її в разі оновлення. Важливо, що вибір моделі є не лише технічним, а й економічним рішенням: за умов масштабного опрацювання вартість експлуатації може суттєво відрізнятися між моделями, і найпотужніша модель не завжди є найдоцільнішою, якщо враховувати сукупну вартість за достатньої валідованої ефективності.
Обмеженням розглянутого підходу є те, що валідація стосується лише конкретного завдання, для якого вона проведена; перенесення моделі на інші завдання потребує окремого оцінювання. Крім того, через стохастичну природу великих мовних моделей доцільно оцінювати відтворюваність результатів шляхом повторних періодичних досліджень.
Висновки. Валідація моделей штучного інтелекту для завдань фармаконагляду має ґрунтуватися на чотирьох ключових принципах: апріорі визначених критеріях прийнятності з пріоритетом чутливості; оцінюванні на незалежних наборах даних із надійною подвійною експертною розміткою; збереженні людського контролю над робочим процесом та повному документуванні процесу валідації. Дотримання цих принципів дає змогу впроваджувати автоматизацію у фармаконагляді відповідно до регуляторних вимог і без шкоди для безпеки пацієнтів. Перспективним напрямом подальших досліджень є емпірична перевірка наведених підходів на реальних завданнях моніторингу даних з безпеки, зокрема на класифікації наукової літератури за релевантністю до фармаконагляду.
Список літератури:
1. Настанова з належної практики фармаконагляду (GVP). Модуль VI : збирання, опрацювання та подання повідомлень про підозрювані побічні реакції на лікарські засоби. Європейське агентство з лікарських засобів, 2017. 102 с.
2. ISPE GAMP 5: A Risk-Based Approach to Compliant GxP Computerized Systems. 2nd ed. Tampa : International Society for Pharmaceutical Engineering, 2022. 380 p.
3. Artificial Intelligence in Pharmacovigilance : Report of CIOMS Working Group XIV. Geneva : Council for International Organizations of Medical Sciences, 2025. 120 p.
4. EudraLex. Volume 4. Good Manufacturing Practice. Annex 11: Computerised Systems. European Commission. URL: https://health.ec.europa.eu/.
5. Li D, Wu L, Zhang M, Shpyleva S, Lin Y-C, Huang H-Y, Li T and Xu J (2024) Assessing the performance of large language models in literature screening for pharmacovigilance: a comparative study. Front. Drug Saf. Regul. 4:1379260. doi: 10.3389/fdsfr.2024.1379260
6. Salas M., Petracek J., Yalamanchili P. et al. The use of artificial intelligence in pharmacovigilance: a systematic review of the literature. Pharmaceutical Medicine. 2022. Vol. 36, No. 5. P. 295–306.
|
Голосування 
Ця робота ліцензується відповідно до Creative Commons Attribution 4.0 International License
Знайшли помилку? Виділіть помилковий текст мишкою і натисніть Ctrl + Enter