Master of Code Global розробили фреймворк для інтеграції великих мовних моделей у чатботи

IT-компанія Master of Code Global представила Large Language Model Orchestrator Framework Tool (LOFT), який дозволить інтегрувати великі мовні моделі у розмовні чатботи.Основні функції LOFT:агностичний фреймворк — безперешкодна інтеграція в будь-яку бекенд-систему, незалежно від HTTP-фреймворка; архітектура на основі черг — оптимізована для сценаріїв з високою пропускною здатністю; динамічні промпти — можливість змінювати запити перед відправленням до API LLM; підтримка проміжного програмного забезпечення — налаштування введення/виведення даних чату (наприклад, можна змінювати введені користувачем дані перед відправленням в API LLM); виявлення та обробка подій — розширені можливості для виявлення та обробки подій у чаті; обмеження частоти та горизонтальне масштабування — вбудовані можливості обмеження частоти запитів, які працюють у горизонтально масштабованих середовищах.LOFT відкриває нові горизонти для комерційного використання генеративного штучного інтелекту в різних галузяхВ компанії визнають, що аналогічний фреймворк DIAL від EPAM є значно масштабнішим, оскільки складається з багатьох репозиторіїв на різних мовах програмування. Однак на їхню думку, конкурентне рішення більше підходить для корпоративних бізнес-рішень, які вимагають широкого спектра інтеграцій.Раніше SPEKA писала, що Master of Code Global розробила чатбот для католицької церкви у Нью-Йорку.