🦜️🔗 GigaChain (GigaChat + LangChain)

Библиотека для разработки LangChain-style приложений на русском языке с поддержкой GigaChat
Создать issue · Документация GigaChain

GigaChain – это фреймворк для разработки приложений с использованием больших языковых моделей (LLM). GigaChain является ответвлением open source проекта LangChain.

Отличительная особенность GigaChain — ориентация на создание русскоязычных решений и умение работать с такими нейросетями, как GigaChat. При этом фреймворк полностью совместим со всеми популярными моделями и компонентами LangChain.

GigaChain значительно упрощает решение задач, требующих использования больших языковых моделей (LLM). Например, таких, как генерация на основе собственных источников (RAG), создание мультиагентных систем, суммаризация данных, и других.

За работу с GigaChat отвечает одноименный модуль, который автоматически формирует запросы в соответствии с форматом GigaChat API и передает их в выбранную модель.

Подробное описание архитектуры и компонентов GigaChain — в официальной документации.

Для начала работы с GigaChain посмотрите короткое видео или следуйте инструкциям ниже.

Установите GigaChain:

pip install gigachain-community

Запустите простой пример:

from langchain_core.messages import HumanMessage, SystemMessage
from langchain_community.chat_models.gigachat import GigaChat

# Авторизация в GigaChat
llm = GigaChat(
    credentials="<авторизационные_данные>",
    scope="GIGACHAT_API_PERS",
    model="GigaChat",
    # Отключает проверку наличия сертификатов НУЦ Минцифры
    verify_ssl_certs=False,
    streaming=False,
)

messages = [
    SystemMessage(
        content="Ты эмпатичный бот-психолог, который помогает пользователю решить его проблемы."
    )
]

while(True):
    user_input = input("Пользователь: ")
    messages.append(HumanMessage(content=user_input))
    res = llm.invoke(messages)
    messages.append(res)
    print("GigaChat: ", res.content)

Объект GigaChat принимает параметры:

• credentials — авторизационные данные для обмена сообщениями с GigaChat API. О том, как их получить — в разделе Быстрый старт.

• scope — необязательный параметр, в котором можно указать версию API. Возможные значения:

  • GIGACHAT_API_PERS — версия API для физических лиц;
  • GIGACHAT_API_B2B — доступ для ИП и юридических лиц по предоплате;
  • GIGACHAT_API_CORP — доступ для ИП и юридических лиц по постоплате.

  По умолчанию запросы передаются в версию для физических лиц.

• model — необязательный параметр, в котором можно явно задать модель GigaChat. По умолчанию запросы передаются в модель GigaChat.

• verify_ssl_certs — необязательный параметр, с помощью которого можно отключить проверку сертификатов НУЦ Минцифры.

• streaming — необязательный параметр, который включает и отключает потоковую генерацию токенов. Потоковая генерация позволяет повысить отзывчивость интерфейса программы при работе с длинными текстами. По умолчанию False.

Полный список доступных моделей можно получить с помощью метода get_models().

llm = GigaChat(
  credentials="авторизационные_данные",
  verify_ssl_certs=False,
)
llm.get_models() 

Метод выполняет запрос GET /models к GigaChat API и возвращает список с описанием доступных моделей.

Для подсчета количества токенов в запросе используйте метод get_num_tokens(str):

llm = GigaChat(
  credentials="авторизационные_данные",
  verify_ssl_certs=False,
)
llm.get_num_tokens("Сколько токенов в этой строке?")

Метод выполняет запрос POST /tokens/count к GigaChat API и возвращает информацию о количестве токенов в строке.

Если у вас возникли проблемы при работе с GigaChain убедитесь, что:

• у вас установлена последняя версия библиотеки (v0.2.16+);
• вместо модулей GigaChain не установлены модули LangChain.

Одновременное использование библиотек LangChain и GigaChain вызывает конфликты, которые могут проявиться даже после полного удаления одной из библиотек. Для предотвращения конфликтов рекомендуется создать чистое виртуальное окружение Python и установить только пакеты, которые входят в состав GigaChain. Подробнее — в разделе Миграция с LangChain.

Для вывода полного списка установленных модулей используйте команду:

pip list

В выводе команды не должно быть модулей, которые содержат в названии слово langchain.

Самый надежный способ избежать проблем при миграции с LangChain — использовать новое виртуальное окружение Python (Python virtual environment), в котором никогда не устанавливались пакеты LangChain.

Чтобы создать новое виртуальное окружение venv, используйте команды:

# Создает чистое виртуальное окружение Python
python -m venv .venv
# Активирует созданное окружение
source .venv/bin/activate
# Устанавливает gigachain
pip install gigachain-community

Обработка больших текстов может занимать у модели продолжительное время — 10 минут и более. Это может привести к возникновению проблем, связанных с превышением времени ожидания.

Чтобы избежать таких проблем, используйте потоковую передачу токенов (параметр streaming=True):

llm = GigaChat(
  credentials="<авторизационные_данные>",
  verify_ssl_certs=False,
  streaming=True,
)