ОЦІНКА ЕФЕКТИВНОСТІ ВЕЛИКИХ МОВНИХ МОДЕЛЕЙ У ЗАДАЧІ ЗАПОВНЕННЯ ГРАФІВ ЗНАНЬ: МЕТОДИ ТА ПЕРСПЕКТИВИ

Анотація

Автоматизація заповнення графів знань (KG) є ключовим завданням у сфері штучного інтелекту, що знаходить застосування в діалогових системах, пошукових механізмах і аналітичних платформах. У цій роботі досліджується ефективність великих мовних моделей (LLM) у завданні завершення графу знань (KGC) за участю трьох моделей: GPT-4o, GPT-3.5-Turbo-0125 та Mixtral-8x7b-Instruct-v0.1. Дослідження охоплює оцінку продуктивності моделей у Zero-Shot та One-Shot сценаріях, а також аналіз впливу різних підходів до формулювання підказок, включаючи навчання в контексті (ICL) та ланцюжок думок (COT). Використано два спеціалізовані набори даних, що містять як явні, так і неявні зв’язки між сутностями, що дозволяє оцінити здатність моделей до логічних висновків. Результати аналізу отримано за допомогою суворої парадигми, яка вимагає точного збігу передбачених трійок з еталонними, та гнучкої, що допускає часткову відповідність із подальшою постобробкою.Результати демонструють, що LLM можуть бути ефективними у завданнях завершення KG, проте їхня продуктивність значною мірою залежить від якості підказок, наявності прикладів та чіткості формату виводу. Деталізовані підказки без прикладів не завжди сприяють покращенню результатів, а Zero-Shot підхід виявляється менш ефективним порівняно з One-Shot методами. Моделі GPT показують вищу узгодженість із заданими інструкціями, тоді як Mixtral-8x7b іноді додає зайвий пояснювальний текст, що ускладнює його інтеграцію у KG. Незважаючи на досягнуті успіхи, LLM стикаються з обмеженнями у дотриманні формату виводу, розпізнаванні неявних зв’язків та залежності від формулювання підказок. Подальші дослідження мають бути спрямовані на оптимізацію підказок, вдосконалення методів навчання та інтеграцію LLM у більш складні системи KG, що дозволить підвищити точність і ефективність автоматизованого поповнення знань.