Чат-бот ChatGPT-4 впечатлил врачей офтальмологов
По словам доктора Аруна Тирунавукарасу, который руководил исследованием во время работы в Кембриджском университете, результаты показывают, что большие языковые модели (LLM) могут принести много пользы обществу.
Хотя специалистам-окулистам пока не стоит бояться потерять работу, результаты GPT-4 на экзамене могут означать сокращение времени ожидания в будущем при диагностике проблем со зрением.
Экзамен состоял из 87 вопросов с несколькими вариантами ответов, основанных на учебнике для начинающих офтальмологов. Вопросы охватывали такие области, как зуд глаз, поражения и чувствительность к свету. Результаты искусственного интеллекта сравнивались с ответами пяти опытных офтальмологов, трех стажеров-офтальмологов и двух неспециализированных младших врачей.
ChatGPT-4 набрал впечатляющие 69%, что выше 59% набранных стажерами-офтальмологов и намного выше 43% полученных младшими врачами-неспециалистами. Он также набрал больше баллов, чем другие большие языковые модели, такие как ChatGPT-3.5, Llama и Palm2. Эксперты-офтальмологи набрали 76%.
Важно отметить, что вопросы проверки зрения в учебнике не являются общедоступными, поэтому непосредственное обучение на данных не проводилось. Исследователи отметили, что большие языковые модели имеют склонность к «галлюцинациям», а также им не хватает способности понимать нюансы, но с точки зрения сокращения времени ожидания они демонстрируют большой потенциал.
«Мы могли бы реально использовать ИИ для сортировки пациентов с проблемами глаз, чтобы решить, какие случаи являются неотложными и требуют немедленного обращения к специалисту, какие могут быть осмотрены терапевтом, а какие не требуют лечения», — объяснил Тирунавукарасу. «При дальнейшем развитии большие языковые модели могут также помочь врачам общей практики, которым сложно получить оперативную консультацию от глазных врачей».
