Автоматизируйте рутину в масштабе всей компании без затрат на разработку с нуля

Можно использовать как облачный GPT-сервис (Yandex GPT), так и локальную GPT-модель. Мы поддерживаем произвольные среды запуска LLM моделей с поддержкой Open AI API, в том числе Ollama, vLLM и YandexGPT. Через локальные среды к продукту можно подключать произвольные LLM модели.

Если используется локальная языковая модель (LLM), развернутая в контуре организации, корпоративные данные остаются внутри и не передаются наружу для обучения. Это обеспечивает дополнительный уровень безопасности и конфиденциальности данных.

Для использования локальных GPT-моделей потребуется как минимум 1 сервер с двумя видеокартами типа RTX 5090. Примерная стоимость такого сервера — 1 млн. рублей. Такой сервер сможет обрабатывать 2 запроса в секунду в вопросно-ответном режиме или извлекать информацию из документа размером в 5 страниц примерно за 5-7 секунд. Если на данный момент в наличии сервера с видеокартами нет, можно временно использовать облачный сервис Yandex GPT.

В процессе обхода источника по найденным документам строится поисковый индекс, который затем используется для выполнения поисковых запросов. В индексе хранятся все поля каждого документа, включая его текст. Оригиналы документов остаются в источнике и в продукт не копируются.

Для оценки скорости индексации важен не столько размер накопленных документов, сколько их количество, формат, средний объем текста и быстродействие источника данных. Например, если для документов не требуется OCR, а сами документы расположены в файловой системе, то обход 1 млн документов займет около суток на одном узле кластера. Если OCR требуется, то за сутки обработается около 10 тыс документов, если каждый в среднем содержит около 5 страниц текста.

Права доступа при поиске учитываются на основе прав, выданных в рамках каждого источника. В процессе обхода для каждого документа источника в поисковый индекс сохраняется информация о группах и учетках, которым он доступен. При входе пользователя на сайт автоматически определяется его учетка и группы, в которые он входит. Затем эта информация также автоматически добавляется к запросу и используется для фильтрации документов. При обращении к продукту и через сайт, и через REST API права учитываются. Информация об учетных записях пользователей и их паролях в продукте не хранится, аутентификация выполняется по протоколу Kerberos на основе взаимодействия с сервером Active Directory.

Сможем, причем в зависимости от наблюдаемой нагрузки размер кластера можно поэтапно увеличивать, чтобы добиться приемлемых показателей по времени поиска. При использовании стандартной конфигурации 1 узла кластера с 8 ядрами, 32 Гб памяти и SSD диском время поиска по 1 млн. документов составляет 0.3 сек и пропускной способностью порядка 10 запросов в секунду. Если нужно больше, число узлов можно увеличить.

Да, для этого достаточно использовать наш REST API, подробно описанный в Руководстве по интеграции. Сайт поиска работает на базе этого же API и может рассматриваться как пример такой интеграции. Возможны разные варианты такой интеграции: например, на портале размещается поле ввода запроса и кнопка поиска, по нажатию на которую открывается наш сайт с результатами поиска (сайт можно кастомизировать под корпоративный стиль). Либо вы можете разработать полностью свой сайт поиска, с учетом специфики целевых бизнес-процессов. Ряд наших заказчиков выбрал именно такой вариант.

Нет, продукт может быть установлен в контуре без доступа к интернету. Все его функции при этом будут прежними.