Уявіть ситуацію: ви відчуваєте щось тривожне, швидко відкриваєте чат-бота й набираєте текст, аби дізнатися, що з вами. Але через помилку в слові або трохи неформальний тон — ШІ радить не звертатися до лікаря. І це не вигадка, а результат дослідження. Йдеться не просто про технологічний збій — це вже питання безпеки, а подекуди навіть справедливості.
Медичні чат-боти: форма важливіша за зміст
Нещодавній аналіз, проведений дослідниками з MIT, показав, що медичні чат-боти на базі штучного інтелекту схильні змінювати свої рекомендації залежно від того, як саме написано повідомлення користувача.
Ні, не зміст скарги, а форма. Помилки, молодіжний сленг, дрібні неточності — навіть зайвий знак оклику — можуть змусити ШІ "передумати" і порадити не йти до лікаря. У середньому такі варіанти зустрічалися на 7–9% частіше, ніж при стандартному тексті. Це суттєво, враховуючи, що ці моделі все частіше використовуються в лікарнях — для призначення прийомів чи відповіді на типові запитання пацієнтів.
Як проходило дослідження
Науковці підготували тисячі варіантів повідомлень — частину взяли з медичних баз даних, частину з Reddit, а деякі створили самі. Скарги були однакові за змістом, але дещо відрізнялися у подачі. Наприклад:
- текст був написаний лише малими літерами;
- використовувалися гендерно нейтральні слова;
- зустрічалися неформальні звертання або розмовні звороти;
- додавалися умовні "відволікаючі" елементи, типу двох окликів чи пропущеного пробілу.
А далі все просто: ті самі симптоми — але зовсім різні відповіді. В одних випадках порада була звернутися до лікаря, в інших — впоратися самотужки.
Моделі, які брали участь у тесті — GPT-4 від OpenAI, LLaMA-3-70b від Meta та спеціалізована Palmyra-Med. Їх перевірили на міцність — і, як видно, знайшли слабке місце.
Чому ШІ реагує на форму, а не зміст
Пояснення доволі просте. Більшість таких моделей вчать за академічними текстами: медичні журнали, підручники, стандартизовані клінічні інструкції. І коли перед ними — жива, трохи хаотична мова реальної людини — вони можуть просто "розгубитися". Не розпізнати важливе. Не зрозуміти, що написано.
Але є ще тривожніша частина: гендерні перекоси.
Дослідники зауважили, що жінкам частіше радили не звертатися по медичну допомогу, ніж чоловікам — навіть коли їхні скарги були ідентичні. Це виглядає як повторення тієї ж проблеми, що існує в реальній медицині: коли симптоми жінок сприймаються менш серйозно або вважаються "емоційними". Тепер це ризикує перекочувати в цифровий світ.
Що кажуть самі вчені
Одна зі співавторок, Марзіє Гассемі, зазначила, що перш ніж використовувати такі системи в лікарнях, їх треба ретельно перевірити. Але процес складний — моделі працюють із величезними обсягами даних і часом відтворюють не лише знання, а й упередження. Або навіть підсилюють їх.
Медицина — не та сфера, де можна покладатися на "майже точність" чи "загальне розуміння". Коли здоров’я людини залежить від однієї відповіді, будь-який збій — це вже ризик. І якщо технології не вміють бачити всіх однаково — це питання, яке не можна залишати без відповіді.
Джерело: 5692.com.ua
