Ответ с цитатами: что проверяется механикой

Вопрос о проекте: модель отвечает по найденным фрагментам в заданной форме — ответ, источники, цитаты. Цитаты сверяются с текстом фрагмента дословно, в коде; не нашлось ответа — так и будет сказано, с уточняющим вопросом.

вызовов модели — 2–3 кандидатов 10, в модель — до 5 цитаты сверяются дословно, в коде суточный предел вопросов — общий на всех посетителей этого дня

Вопрос

Режим отбора задан сервером — он назван в строке над ответом.

Ответ появится ниже; страница ничего не сохраняет.

 

Ответ

Токены в строке ниже — только вызова ответа: отбор и переписывание вопроса считаются отдельно, и этого числа у страницы нет.

Вопроса ещё не было. Ответ появится здесь целиком, без пересказа и без подсветки.

Сначала идёт поиск по этому репозиторию и отбор: десять кандидатов оценивает модель, дальше идут только относящиеся к вопросу, но не больше пяти. Отвечает модель только по ним, и форму ответа держит схема — ответ, источники, цитаты, — а не просьба в промпте.

Каждую цитату страница получает уже сверенной: код искал её в тексте фрагмента дословно. Не нашлась — так и будет написано рядом с ней, и цитата останется на экране.

Ответа в найденном может не оказаться — тогда исходом будет «не знаю» с уточняющим вопросом. Это исход, а не сбой, и дорисовывать выдачу ради симметрии страница не станет.

Четыре проверки

Проверяет код, а не модель: источники названы; цитаты приведены; каждая цитата найдена в тексте своего фрагмента дословно; путь источника, который назвала модель, совпал с настоящим знак в знак.

Фрагменты, на которые сослалась модель

Здесь — только те фрагменты, на которые модель указала сама. Всё, что ей дали прочитать, перечислено ниже, в «Источниках».

    Цитаты и их сверка

    Цитата сверяется с текстом фрагмента, как его отдала служба поиска: пробелы и регистр приводятся к одному виду, дальше — поиск подстроки. Не нашлась — цитата остаётся на экране с пометкой.

      Отбор

      Релевантность ставит модель-реранкер: 0 — не относится, 1 — относится, 2 — отвечает на вопрос. Остаются оценки не ниже 1, и не больше пяти штук.

        Источники

        Индекс собран из корпуса той выкатки, чей коммит назван. Если в репозитории с тех пор что-то поменялось, поиск этого ещё не видит.

        Близость — мера похожести на вопрос, больше значит ближе; шкала у стратегий своя, и сравнивать её между стратегиями нельзя.

        Здесь — то, что дошло до модели после отбора, с текстами: именно по этим текстам сверялись цитаты. Что поиск нашёл до отбора, перечислено выше.

          Как шёл конвейер

          Порядок шагов задан кодом, а не моделью: поиск идёт всегда и до вызова, инструмента модель не видит и выбрать его не может.

          Шаг «сборка промпта» своего события не имеет: эту запись рисует страница между «фрагменты получены» и «вызов модели», и время у неё — время вызова.

            Итоги прогона 10 контрольных вопросов