День 28: поиск по проекту — локально и в облаке

Рубрика та же, что в дне 22: 2 — верно, 1 — частично, 0 — неверно. Оценку по каждому ответу ставит судья, и судья — модель, читающая вопрос, ответ и найденные фрагменты. Его слова по каждому вопросу лежат в разборе ниже, и прочтение можно оспорить.

Средняя по рубрике на десяти вопросах — не статистика: доверительного интервала у неё нет, и разница в один-два вопроса от неё не отличима. Поэтому порог шума на странице считается как два вопроса из набора, а не берётся на глаз.

Признаки «путь назван» и «ссылка на источник есть» ловят форму, а не смысл: путь сверяется подстрокой. Они местами расходятся с оценкой судьи — оценку ставит он, а не признак.

Один и тот же набор вопросов, один промпт из реестра агентов, одна стратегия нарезки документов. Отличается то, что ниже промпта: локальная сторона искала в индексе, собранном на ноутбуке, и отвечала моделью на ноутбуке; облачная — свежий прогон дня 22 по проду.

Поиск отдаёт по пять фрагментов на вопрос, фрагмент приходит в промпт срезанным. Из этого и следует главная оговорка: разные индексы отдают разные фрагменты, и на вопросе, где верный документ нашла только одна сторона, разница в ответах — это разница поиска, а не моделей.

«Поиск совпал» означает совпадение документа, а не фрагмента: нужного раздела в найденных пяти фрагментах могло не быть у обеих сторон. Выдачи поиска облачной стороны в данных нет — прогон дня 22 записывает признаки и ответ, а не список путей.

• Устойчивости всего набора. Один прогон на вопрос; по три ответа — только у трёх вопросов, и это вся стабильность, которую неделя измерила.
• Скорости облачной стороны. Прогон дня 22 времени запуска не записывает, а сданный день не правится. В таблице на этом месте стоит «нет данных», а не придуманный нуль.
• Качества поиска как такового. Это мера дня 21 и дня 22; здесь поиск — условие, а не предмет.
• Потолка железа. Ноутбук был в обычной работе владельца, а не на изолированном стенде.
• Переносимости секунд на прод. Локальные времена — это времена ноутбука под нагрузкой владельца.