Генеративные модели
Технология LLMLingua от Microsoft представляет новое решение для сжатия запросов путем удаления несущественных их частей. Данный метод способен сокращать запросы до 20 раз без потери качества реакции модели. Если использовать LLMLingua грамотно, это может уменьшить затраты на работу с передовыми LLM и сделать их доступными для более широкого круга пользователей и приложений.
22.12.2023
