{ "day": 28, "generated": "2026-10-09T15:39:54Z", "commit": "d54ea81", "host": "ноутбук владельца, Apple M3 Max", "model": "qwen3.8:27b", "runner": "ollama 0.33.3", "repeats": 1, "judge": "reviewer (экземпляр-судья)", "stability_ids": [ "q08", "q72", "m01" ], "notes": [ "Один повтор на вопрос (решение владельца Р5); разброс виден только на трёх вопросах стабильности — q08, q72, m01.", "Индексы двух сторон разные: локальный собран на ноутбуке, облачный — на сервере. Сравнение честно там, где верный источник нашли оба.", "Судья — модель, вопросов десять, статистики нет: разница в один-два вопроса может быть шумом температуры 1.", "Время облачной стороны не измерено: прогон дня 22 времени запуска не записывает, а сданный день не правится.", "Выдачи поиска облачной стороны в файле нет: прогон дня 22 записывает признаки и ответ, а не найденные фрагменты. Поэтому «поиск совпал» считается по признаку верного документа, а не по списку путей.", "«Поиск совпал» означает, что совпал ДОКУМЕНТ, а не фрагмент: нужного раздела в найденных фрагментах могло не быть у обеих сторон.", "Признаки «путь назван» и «ключевая фраза есть» ловят форму, а не смысл: путь сверяется подстрокой, а ссылка видом «[1]» без пути признаком не становится. Поэтому они местами расходятся с оценкой судьи — оценку ставит он, а не признак.", "Локальный ответ упёрся в потолок num_predict на вопросах: q48. Такой ответ обрезан, и низкая оценка на нём — следствие потолка, а не незнания модели.", "Первый повтор нёс загрузку весов: q08 (31,74 с против 0,328 с), q72 (14,773 с против 0,326 с), m01 (23,69 с против 0,303 с). Это холодный старт, а не разброс модели, и в разбросе времени его надо читать отдельно." ], "summary": { "local": { "score_avg": 1.7, "retrieved": 6, "cited": 7, "refused": 3, "time_s_mean": 87.268, "answers": 10 }, "cloud": { "score_avg": 1.9, "retrieved": 6, "cited": 6, "refused": 2, "time_s_mean": null, "answers": 10 } }, "questions": [ { "id": "q08", "text": "что входит в Definition of Done проекта", "retrieved_match": true, "local": { "score": 2, "verdict": "верно", "time_s": 111.879, "refused": false, "sources": [ { "path": "agent_docs/guides/dod.md", "section": "Критерии завершенности (DoD) › Дополнительно по типам задач (если применимо) › Документация / контент" }, { "path": "AGENTS.md", "section": "Правила работы над проектом › Чек-лист перед завершением задачи" }, { "path": "agent_docs/setup-checklist.md", "section": "Чек-лист инициализации нового проекта › 1. Описание проекта" }, { "path": "agent_docs/guides/dod.md", "section": "Критерии завершенности (DoD) › Дополнительно по типам задач (если применимо) › Багфикс" }, { "path": "agent_docs/guides/dod.md", "section": "Критерии завершенности (DoD) › Дополнительно по типам задач (если применимо) › Рефакторинг / реструктуризация" } ], "answer": "На основании предоставленных фрагментов, в Definition of Done (DoD) проекта ai-advent-2026 входят следующие пункты:\n\n**Общие критерии и проверки перед завершением задачи:**\n* Требования выполнены, а результат соответствует ожидаемому поведению [2] AGENTS.md.\n* Каждое изменение прослеживается к исходному запросу (отсутствие «попутных улучшений») [2] AGENTS.md.\n* Файл `agent_docs/snapshot.md` обновлён, а закрытые пункты перенесены из `backlog/` в `backlog-closed.md` [2] AGENTS.md.\n* Документация обновлена; для нетривиальных изменений создана отдельная запись в `agent_docs/development-history/YYYY-MM-DD-HHMM-title.md` [2] AGENTS.md.\n* Если принято важное решение, добавлена запись в `agent_docs/adr/YYYY-MM-DD-HHMM-title.md` (шаблон: `agent_docs/templates/adr.md`) [2] AGENTS.md.\n* Произведена сверка с `agent_docs/guides/dod.md`, критерии DoD выполнены или зафиксированы причины отклонений [2] AGENTS.md.\n* Не нарушен ни один инвариант из `agent_docs/invariants.md` [2] AGENTS.md.\n* Если менялся UI: пройдено ревью `/design-review`, получен вердикт «ГОТОВО», а отклонения от корпуса объяснены [2] AGENTS.md.\n* Если тесты применимы, но не запускались или не добавлялись, указано, почему [2] AGENTS.md.\n\n**Дополнительные критерии для конкретного типа задачи:**\n\n* **Для документации/контента:**\n * Информация актуальна [1] agent_docs/guides/dod.md.\n * Добавлены примеры (если применимо) [1] agent_docs/guides/dod.md.\n * Ссылки работают [1] agent_docs/guides/dod.md.\n\n* **Для багфикса:**\n * Выявлена первопричина (root cause) [4] agent_docs/guides/dod.md.\n * Добавлен регрессионный тест (если применимо) [4] agent_docs/guides/dod.md.\n\n* **Для рефакторинга/реструктуризации:**\n * Функциональность и смысл не изменены (подтверждено тестами или ревью) [5] agent_docs/guides/dod.md.\n * ADR создан при значимых изменениях [5] agent_docs/guides/dod.md.\n\nВ фрагменте [3] agent_docs/setup-checklist.md упоминается только заполнение раздела «Описание проекта» в `AGENTS.md`, что является частью чек-листа инициализации, а не критерием готовности конкретной задачи.", "judge_note": "Назвал минимальный DoD полностью: snapshot.md и перенос закрытых пунктов, прослеживаемость изменений, инварианты, документация и запись в development-history, оговорка про тесты; добавки по типам задач — те три, что были во фрагментах. Источники: AGENTS.md [2], agent_docs/guides/dod.md [1][4][5]; фрагмент [3] явно отведён как не по делу.", "retrieved": true, "cited": true, "runs": [ { "verdict": "верно", "time_s": 111.879, "done_reason": null }, { "verdict": "верно", "time_s": 76.931, "done_reason": null }, { "verdict": "верно", "time_s": 81.983, "done_reason": null } ] }, "cloud": { "score": 2, "verdict": "верно", "time_s": null, "refused": false, "sources": [], "answer": "# Definition of Done проекта ai-advent-2026\n\nDefinition of Done проекта включает следующие критерии:\n\n## Общие требования [2] AGENTS.md\n\n- Требования выполнены, результат соответствует ожидаемому поведению\n- Каждое изменение прослеживается к исходному запросу (нет «попутных улучшений»)\n- `agent_docs/snapshot.md` обновлён; закрытые пункты перенесены из `backlog/` в `backlog-closed.md`\n- Документация обновлена; для нетривиальных изменений — отдельная запись в `agent_docs/development-history/YYYY-MM-DD-HHMM-title.md`\n- Если принято важное решение — добавлена отдельная запись в `agent_docs/adr/YYYY-MM-DD-HHMM-title.md`\n- Сверено с `agent_docs/guides/dod.md`, критерии DoD выполнены или зафиксированы причины отклонений\n- Ни один инвариант из `agent_docs/invariants.md` не нарушен\n- Если менялся UI: ревью `/design-review` пройдено, вердикт `ГОТОВО`, отклонения от корпуса объяснены\n- Если тесты применимы и не запускались/не добавлены — указано почему\n\n## По типам задач\n\n**Документация / контент** [1] agent_docs/guides/dod.md:\n- Информация актуальна\n- Примеры добавлены (если применимо)\n- Ссылки работают\n\n**Багфикс** [4] agent_docs/guides/dod.md:\n- Выявлена root cause\n- Добавлен регрессионный тест (если применимо)\n\n**Рефакторинг / реструктуризация** [5] agent_docs/guides/dod.md:\n- Функциональность/смысл не изменены (подтверждено тестами или ревью)\n- ADR создан при значимых изменениях", "judge_note": "Минимальный DoD назван полностью (snapshot.md, прослеживаемость, инварианты, документация и история, оговорка про тесты) плюс добавки по типам задач из фрагментов. Источники: AGENTS.md [2], agent_docs/guides/dod.md [1][4][5].", "retrieved": true, "cited": true } }, { "id": "q09", "text": "как называть событийные документы и почему один файл на итерацию", "retrieved_match": true, "local": { "score": 1, "verdict": "частично", "time_s": 96.578, "refused": true, "sources": [ { "path": "agent_docs/guides/atomic-documents.md", "section": "Атомарные документы" }, { "path": "agent_docs/development-history/README.md", "section": "История разработки" }, { "path": "agent_docs/design/2026-09-21-1852-staged-run-layout.md", "section": "День 13: машина состояний запуска — раскладка до кода › 10. Журнал этапов CSV › 10.2. Несколько запусков" }, { "path": "agent_docs/templates/development-history.md", "section": "[YYYY-MM-DD HH:MM] Краткое описание итерации › Обновлено" }, { "path": "agent_docs/templates/development-history.md", "section": "[YYYY-MM-DD HH:MM] Краткое описание итерации › Связанные решения" } ], "answer": "На основании предоставленных фрагментов:\n\n1. **Как называть событийные документы:**\n Правило «одно событие — один файл» прямо указано в фрагменте [1]. Однако конкретные требования к *именованию* (паттерн файлов) для событийных документов в предоставленных отрывках **отсутствуют**. В фрагменте [1] `agent_docs/guides/atomic-documents.md` упоминается только само правило структуры («одно событие — один файл»), но не даётся шаблон имени файла (например, с датой или ID), в отличие от других типов документов, упомянутых ниже.\n\n2. **Почему один файл на итерацию:**\n Прямого обоснования *почему* выбран подход «одна итерация — один файл» во фрагментах нет. В фрагменте [2] `agent_docs/development-history/README.md` и [1] `agent_docs/guides/atomic-documents.md` это изложено как действующее правило/структурное требование («Журнал итераций проекта. Одна нетривиальная итерация — один файл», «одно событие — один файл»), но причинно-следственная логика или преимущества такого подхода в этих отрывках не объясняются.\n\n**Что нашлось во фрагментах:**\n* Утверждение правила: одно событие/итерация — один файл [1] `agent_docs/guides/atomic-documents.md`, [2] `agent_docs/development-history/README.md`.\n* Пример именования файла для другого типа данных (CSV журнала этапов запуска): `day13-stages-1842.csv`, где в имени используется время запуска для уникальности, а не идентификатор [3] `agent_docs/design/2026-09-21-1852-staged-run-layout.md`.\n* Ссылки на шаблоны ADR и истории, но без объяснения причин выбора «файла на итерацию» [4] `agent_docs/templates/development-history.md`, [5] `agent_docs/templates/development-history.md`.\n\nТаким образом, прямых ответов на вопрос «как именно называть» (кроме контекста других файлов) и «почему» во фрагментах нет.\n\nВ найденных фрагментах ответа нет\nНашлось:\n1. Упоминание правила «одна итерация — один файл» [2] agent_docs/development-history/README.md.\n2. Упоминание правила «одно событие — один файл» [1] agent_docs/guides/atomic-documents.md.\n3. Пример именования CSV-файла с временем для уникальности [3] agent_docs/design/2026-09-21-1852-staged-run-layout.md.", "judge_note": "Назвал только правило «одно событие — один файл» по верному файлу и отказал в остальном. Формат имени YYYY-MM-DD-HHMM и причина (независимые записи, никакой сквозной нумерации и общего индекса) живут в разделе «Имена файлов», а во фрагмент попал лишь заголовочный кусок atomic-documents.md — проверено по файлу; поэтому не 0, но и не 2. Источники: agent_docs/guides/atomic-documents.md [1], agent_docs/development-history/README.md [2].", "retrieved": true, "cited": true }, "cloud": { "score": 1, "verdict": "частично", "time_s": null, "refused": false, "sources": [], "answer": "## Как называть событийные документы\n\n[1] Правило для событийных документов: **одно событие — один файл** (`agent_docs/guides/atomic-documents.md`).\n\n## Почему один файл на итерацию\n\n[2] В истории разработки проекта действует правило: **одна нетривиальная итерация — один файл** (`agent_docs/development-history/README.md`).\n\nЭто обеспечивает организацию журнала итераций проекта, где каждая нетривиальная итерация имеет собственный документ в истории разработки.", "judge_note": "Назвал только правило «одно событие — один файл» и «одна итерация — один файл»; формата имени YYYY-MM-DD-HHMM нет, причина подменена пересказом («обеспечивает организацию журнала»). Нужного раздела «Имена файлов» в выдаче поиска не было ни у одной стороны. Источники: agent_docs/guides/atomic-documents.md [1], agent_docs/development-history/README.md [2].", "retrieved": true, "cited": true } }, { "id": "q48", "text": "откуда взялась цифра потолка памяти, если расход на сервере никто не измерял", "retrieved_match": true, "local": { "score": 2, "verdict": "верно", "time_s": 138.585, "refused": false, "sources": [ { "path": "agent_docs/adr/2026-10-02-1519-ollama-ceiling-4g.md", "section": "[2026-10-02 15:19] Потолок памяти ollama — 4096 МиБ после апгрейда VPS › Обоснование" }, { "path": "agent_docs/operations.md", "section": "Эксплуатация › Первый запуск на сервере" }, { "path": "agent_docs/adr/2026-09-16-0907-router-admin-read-in-closed-list.md", "section": "[2026-09-16 09:07] Расход и метрики роутера в проде: две строки `admin.js` в закрытом списке серверных команд › Контекст" }, { "path": "agent_docs/development-history/2026-09-29-2240-day21-round4-rag-mcp-server.md", "section": "[2026-09-29 22:40] День 21, заход 4: сервер MCP над индексом и публичный `/rag` › Число 500 не измерено, и это сказано везде" }, { "path": "agent_docs/development-history/2026-09-28-0737-days18-20-design-notes.md", "section": "[2026-09-28 07:37] Дни 18–20: разбор восьми вопросов владельца, спайки и арифметика › Вопрос 1. Расход без человека" } ], "answer": "Согласно найденным фрагментам, цифра потолка памяти для `ollama` (4096 МиБ) была выведена арифметически, а не получена в результате прямого замера, и это прямо указано в документе.\n\nВот детали того, откуда взялась эта цифра:\n\n1. **Отсутствие прямых замеров:** В документе прямо сказано, что «Число выведено, а не замерено» [1] agent_docs/adr/2026-10-02-1519-ollama-ceiling-4g.md. Агентам было запрещено читать статистику Docker (`docker stats`) и выполнять команды в контейнерах (`exec`) на продакшен-сервере, а чтение памяти хоста также было недоступно [1] agent_docs/adr/2026-10-02-1519-ollama-ceiling-4g.md.\n2. **Исходные данные для арифметики:**\n * Известно, что для обработки 1843 токенов требуется больше 2048 МиБ, но точное значение не известно [1] agent_docs/adr/2026-10-02-1519-ollama-ceiling-4g.md.\n * База была снята на **прежнем** экземпляре хоста (до апгрейда), где было занято 3916 МиБ, свободно 2539 МиБ, и другие службы брали ~1380 МиБ [1] agent_docs/adr/2026-10-02-1519-ollama-ceiling-4g.md.\n * После апгрейда (когда машина была пересоздана провайдером) занято стало ~7900 МиБ, при этом предполагается, что остальное (VPN и т.д.) не выросло, оставляя ~6500 МиБ свободными [1] agent_docs/adr/2026-10-02-1519-ollama-ceiling-4g.md.\n3. **Логика выбора 4096 МиБ:**\n * 4096 МиБ — это вдвое выше известного минимального порога сбоя (выше 2048 МиБ) [1] agent_docs/adr/2026-10-02-1519-ollama-ceiling-4g.md.\n * Коэффициент потребления памяти для Linux по сравнению с Metal оценивался как больше 1,78 (нижняя граница), исходя из того, что 2048 МиБ ÷ 1150 МиБ (данные для Metal) = 1,78 [1] agent_docs/adr/2026-10-02-1519-ollama-ceiling-4g.md.\n * Расчёт запаса: если отвести `ollama` 4096 МиБ и `rag` 512 МиБ, общая сумма составит 4608 МиБ. От оставшихся ~6500 МиБ это оставляет ~1900 МиБ запаса на VPN владельца и возможный рост потребностей других служб [1] agent_docs/adr/2026-10-02-1519-ollama-ceiling-4g.md.\n\nТаким образом, цифра 4096 МиБ — это расчетная оценка запаса (хедж) с учетом ограничений измерений", "judge_note": "Главное по эталону есть: число выведено, а не замерено; известно только «больше 2048 МиБ на 1843 токенах»; 4096 — вдвое выше точки падения; 4096+512 от ~6500 оставляют ~1900 МиБ запаса; коэффициент 1,78 как нижняя граница. Дефекты: базу прочёл как «занято 3916, свободно 2539» (в ADR 3916 — это весь объём), и ответ обрезан по num_predict (done_reason=length) на последней фразе. Источник: agent_docs/adr/2026-10-02-1519-ollama-ceiling-4g.md [1].", "retrieved": true, "cited": true }, "cloud": { "score": 2, "verdict": "верно", "time_s": null, "refused": false, "sources": [], "answer": "[1] agent_docs/adr/2026-10-02-1519-ollama-ceiling-4g.md показывает, откуда взялась цифра потолка памяти 4096 МиБ для ollama:\n\n**Число выведено, а не замерено.** Известно только, что «на 1843 токенах нужно больше 2048 МиБ», но насколько больше — неизвестно. Прямые замеры недоступны: `docker stats` в закрытом списке нет, `exec` в контейнеры прода запрещён, чтение памяти хоста агенту тоже недоступно.\n\nВместо замеров использована арифметика:\n\n- Измерено на **прежнем экземпляре хоста** (до апгрейда провайдером): было 3916 МиБ свободно, остальные службы брали ~1380 МиБ\n- После апгрейда стало ~7900 МиБ; если остальное не выросло, свободно ~6500 МиБ\n- Потолок 4096 МиБ для `ollama` + 512 МиБ для `rag` = 4608, остаётся ~1900 МиБ на остальное\n\n**4096 — вдвое выше точки, где упало**, но сама точка отказа неизвестна. Коэффициент linux к Metal выведен как нижняя граница: **больше 2048 ÷ 1150 = 1,78** (не оценка, а граница, поскольку OOM говорит только «больше потолка»). По этой методике худший чанк обойдётся в ~2300 МиБ.", "judge_note": "Эталон закрыт: число выведено, а не замерено, 2048 как известная нижняя точка, 4096 вдвое выше, 4608 от ~6500 и ~1900 МиБ запаса, 1,78 как нижняя граница. Дефект — та же ошибка чтения базы, что у локальной стороны, но в другую сторону: «было 3916 МиБ свободно» (в ADR 3916 — весь объём, свободно 2539). Источник: agent_docs/adr/2026-10-02-1519-ollama-ceiling-4g.md [1].", "retrieved": true, "cited": true } }, { "id": "q57", "text": "почему запрос без годного ключа получает ответ как от несуществующего адреса", "retrieved_match": true, "local": { "score": 2, "verdict": "верно", "time_s": 132.305, "refused": false, "sources": [ { "path": "agent_docs/adr/2026-09-23-1844-mcp-endpoint-answers-404.md", "section": "[2026-09-23 18:44] Эндпоинт MCP отвечает 404 с пустым телом вместо 401 › Решение" }, { "path": "agent_docs/adr/2026-10-05-1130-eval-operator-key.md", "section": "[2026-10-05 11:30] Ключ оператора: прогон проверки идёт мимо окон на адрес › Решение" }, { "path": "agent_docs/adr/2026-09-23-1844-mcp-endpoint-answers-404.md", "section": "[2026-09-23 18:44] Эндпоинт MCP отвечает 404 с пустым телом вместо 401 › Обоснование" }, { "path": "agent_docs/design/2026-09-23-1242-mcp-console-layout.md", "section": "День 16: консоль MCP — раскладка до кода › 8. Отказ как результат › 8.4. Ответ без тела" }, { "path": "agent_docs/adr/2026-10-05-1130-eval-operator-key.md", "section": "[2026-10-05 11:30] Ключ оператора: прогон проверки идёт мимо окон на адрес › Обоснование" } ], "answer": "Запрос без годного ключа получает ответ, идентичный ответу на несуществующий путь (404 с пустым телом), по следующим причинам, изложенным в документах проекта:\n\n1. **Устранение разграничения для защиты информации.** Ответ 401 с телом JSON-RPC раскрывает наличие сервиса и протокол, что является подсказкой для атакующего. Пустой ответ 404 не раскрывает ни факт наличия сервиса, ни причину отказа [3] `agent_docs/adr/2026-09-23-1844-mcp-endpoint-answers-404.md`.\n2. **Единая функция ответа.** Логика «нет такого пути» и «нет годного ключа» обрабатывается одной и той же функцией (`nothingHere`), что гарантирует побайтовую идентичность ответов. Это предотвращает утечку информации через различия в деталях ответа (header `content-type`, тело) в зависимости от причины отказа [1] `agent_docs/adr/2026-09-23-1844-mcp-endpoint-answers-404.md`.\n3. **Упрощение публичного интерфейса.** Публичный endpoint `/mcp/healthz` урезан до минимального признака жизни (`{ ok: true }`), а детальная информация (имена инструментов, лимиты, статистика) отдаётся только при наличии валидного ключа. Использование 404 вместо 401 для невалидных ключей согласуется с политикой минимальной отдачи данных без авторизации [1] `agent_docs/adr/2026-09-23-1844-mcp-endpoint-answers-404.md`.\n4. **Порядок проверок.** Проверка ключа происходит до чтения тела запроса и сверяется в постоянном времени. Изменение кода ответа на 404 не меняет порядок проверок безопасности, а лишь унифицирует внешний вид отказа [1] `agent_docs/adr/2026-09-23-1844-mcp-endpoint-answers-404.md`.\n\nДанное решение было принято осознанно, несмотря на тот факт, что адрес сервиса опубликован в репозитории и на лендинге, так как владельцы сочли, что скрытность даёт небольшую пользу, но защита от раскрытия информации (через код статуса и тело ответа) важнее удобство отладки чужих клиентов [3] `agent_docs/adr/2026-09-23-1844-mcp-endpoint-answers-404.md`.\n\nТакже в интерфейсе пользователя (консоли MCP) это поведение учитывается: если служба возвращает 0 байт (как при 404), интерфейс отображает сообщение «Тела нет: служба не прислала ни одного байта», не догадываясь о причине отказа (неверный ключ или неверный адрес), поскольку эндпоинт её не сообщает [4] `agent_docs/design/2026-09-23-1242-mcp-console-layout.md`.", "judge_note": "Суть эталона названа: ответы на «нет пути» и «нет ключа» даёт одна функция nothingHere и они побайтно одинаковы, чтобы прохожий не узнал ни о службе, ни о причине отказа. Ключевая фраза «совпада» не попала из-за пересказа («побайтовая идентичность») — механический признак key=False существа не меняет. Источники: agent_docs/adr/2026-09-23-1844-mcp-endpoint-answers-404.md [1][3], agent_docs/design/2026-09-23-1242-mcp-console-layout.md [4].", "retrieved": true, "cited": true }, "cloud": { "score": 2, "verdict": "верно", "time_s": null, "refused": false, "sources": [], "answer": "[1] В фрагменте `agent_docs/adr/2026-09-23-1844-mcp-endpoint-answers-404.md` объясняется, что **обе причины отвечают одной функцией** (`nothingHere` в `mcp/src/service.js`): «нет такого пути» и «нет годного ключа» совпадают побайтно. Это означает, что запрос без годного ключа получает 404 с пустым телом, побайтно одинаковый с ответом на несуществующий путь.\n\n[3] **Обоснование этого решения:** Публичный адрес, который представляется, приглашает. Ответ 401 с телом JSON-RPC называет и протокол, и причину отказа — это подсказка, а не защита; пустой 404 не даёт ни того, ни другого. Ключ он не заменяет: защиту держит сверка ключа, 404 лишь снимает приглашение.\n\n[3] Владелец осознанно отклонил возражение оркестратора о том, что адрес опубликован в репозитории и назван на лендинге, поэтому скрытность даёт немного, хотя отладка чужого клиента слепнет — клиент, получивший 404, не отличит «ключ не тот» от «адрес не тот».", "judge_note": "Суть названа дословно по источнику: «нет такого пути» и «нет годного ключа» отвечает одна функция nothingHere и совпадают побайтно; добавлено, зачем так (401 с телом JSON-RPC называет протокол и причину) и что решение осознанно принято владельцем. Источник: agent_docs/adr/2026-09-23-1844-mcp-endpoint-answers-404.md [1][3].", "retrieved": true, "cited": true } }, { "id": "q58", "text": "когда исполнение команды внутри прод-контейнера считается стороной main, а не руками агента", "retrieved_match": true, "local": { "score": 2, "verdict": "верно", "time_s": 96.333, "refused": false, "sources": [ { "path": "agent_docs/adr/2026-09-22-1301-server-command-list-scope.md", "section": "[2026-09-22 13:01] Предмет закрытого списка серверных команд: руки агента, а не содержимое выкатки › Решение" }, { "path": "agents/README.md", "section": "Сервис агентов › Контракт" }, { "path": "agent_docs/operations.md", "section": "Эксплуатация › Сервис агентов и день 6" }, { "path": "agent_docs/adr/2026-09-28-1820-day15-api-mcp-server-analysis.md", "section": "[2026-09-28 18:20] Поверхность управления инструментами агентов: отдельный API с перечнем операций и отказом по умолчанию, сервер MCP над ним, клиент — код новых дней; единственная преграда — ключ, сеть не закрывается › Решение" }, { "path": "agent_docs/adr/2026-09-11-1743-agent-merges-protected-paths.md", "section": "[2026-09-11 17:43] PR с защищёнными путями сливает агент; копию существующего секрета делает агент › Решение" } ], "answer": "Согласно найденным фрагментам, исполнение в контейнере прода из шага выкатки (такого как `exec`, `run`, подменённый `command`/`entrypoint`) считается лежащим на стороне `main` при одновременном выполнении всех четырёх следующих условий [1] agent_docs/adr/2026-09-22-1301-server-command-list-scope.md:\n\n1. **Команда является литералом** в ревьюируемом файле и не содержит подстановок в самой себе. (Подстановки в соседних шагах выкатки, такие как `$SHA` или `$day`, этим условиям не подчиняются, так как они не являются исполнением в контейнере) [1] agent_docs/adr/2026-09-22-1301-server-command-list-scope.md.\n2. Команда **достижима только мержем в `main`** с гейтами класса A. При этом не используются триггеры `pull_request` или `pull_request_target` (так как форк исполнение не контролирует), а `workflow_dispatch` с чужой ветки удерживается политикой ветки окружения `production`, а не самим списком триггеров [1] agent_docs/adr/2026-09-22-1301-server-command-list-scope.md.\n3. Команда **не печатает значений** из `deploy/*.env` и секретов [1] agent_docs/adr/2026-09-22-1301-server-command-list-scope.md.\n4. Команда **не является универсальной лазейкой**. Запрещены любые формы произвольного исполнения (например: `exec … node -e`, `exec … sh -c`, `exec … bash`, `exec` с аргументом из переменной), так как они отменяют смысл первого условия, позволяя файлу перестать описывать то, что фактически выполняется [1] agent_docs/adr/2026-09-22-1301-server-command-list-scope.md.\n\nЕсли эти условия выполняются, такая команда считается частью стороны `main` (система/выкатка), а не действием агента. Если условия не выполнены (например, агент сочиняет команду сам по SSH), она относится к рукам агента [1] agent_docs/adr/2026-09-22-1301-server-command-list-scope.md.", "judge_note": "Все четыре условия названы и верно: литерал в ревьюируемом файле, достижимость только мержем в main с гейтами класса A, запрет печати значений из deploy/*.env и секретов, запрет универсальной лазейки. Источник: agent_docs/adr/2026-09-22-1301-server-command-list-scope.md [1].", "retrieved": true, "cited": true }, "cloud": { "score": 2, "verdict": "верно", "time_s": null, "refused": false, "sources": [], "answer": "Исполнение команды внутри прод-контейнера считается стороной `main`, а не руками агента, когда одновременно выполнены четыре условия [1]:\n\n1. **Команда — литерал в ревьюируемом файле**, без подстановок в ней самой (подстановки в соседних шагах выкатки не подчиняются этому условию);\n\n2. **Достижима только мержем в `main` с гейтами класса A** (ни `pull_request`, ни `pull_request_target` — форк исполнение не контролирует; `workflow_dispatch` с чужой ветки удержан политикой ветки окружения `production`);\n\n3. **Не печатает значений из `deploy/*.env` и секретов**;\n\n4. **Не универсальная лазейка** — запрещены `exec … node -e`, `exec … sh -c`, `exec … bash`, `exec` с аргументом из переменной и прочие формы произвольного исполнения, где бы они ни лежали, включая workflow.\n\nТакже отмечено [1], что правка `deploy.yml`, добавляющая команду в прод-контейнер, — класс A, и гейт `compliance` обязателен.", "judge_note": "Все четыре условия верны и полны, включая оговорки про pull_request и workflow_dispatch и запрет форм произвольного исполнения. Признак cited=False — следствие формы: ответ ссылается «[1]» и не пишет путь agent_docs/adr/2026-09-22-1301-server-command-list-scope.md строкой, хотя источник тот.", "retrieved": true, "cited": false } }, { "id": "q85", "text": "как инструмент сервера получает имя, которое видит модель, и почему обратный разбор идёт не по строке", "retrieved_match": true, "local": { "score": 2, "verdict": "верно", "time_s": 85.023, "refused": false, "sources": [ { "path": "agents/src/mcp/tool-names.js", "section": "tool-names.js" }, { "path": "agent_docs/operations.md", "section": "с сервера: модель видна" }, { "path": "agent_docs/day5-flow.md", "section": "Как устроен день 5 › Что происходит за один запрос" }, { "path": "agent_docs/development-history/2026-10-08-1034-keyed-uncensored-model-screen.md", "section": "[2026-10-08 10:34] Модель без отказов по именному ключу: экран дня 11 › Что сделано" }, { "path": "agent_docs/development-history/2026-10-08-0957-keyed-uncensored-model-server.md", "section": "[2026-10-08 09:57] Модель без отказов по именному ключу: серверная часть › Замечания compliance того же круга" } ], "answer": "Имя инструмента, которое видит модель, формируется сервером MCP следующим образом:\n\n1. **Формирование имени:** Инструмент, который на стороне сервера называется, например, `news.search`, показывается модели как `<сервер>__<имя с точками, заменёнными на подчёркивания>`. Например, если имя сервера `srv`, а инструмента `news.search`, то модель увидит `srv__news_search`. Это необходимо, потому что роутер требует, чтобы имя соответствовало регулярному выражению `^[a-zA-Z0-9_-]{1,128}$`, в которое не входят точки, и чтобы избежать коллизий имён у разных серверов [1] agents/src/mcp/tool-names.js.\n\n2. **Почему обратный разбор идёт по индексу, а не по строке:** Разбор имени обратно в сервер и инструмент выполняется через индекса (Map), а не через анализ строки (сплит по подчёркиваниям), потому что имя самого сервера может содержать два подчёркивания подряд. При разборе строки это «сломало бы разбор молча» (т.е. привело бы к неопределенности или ошибке без уведомления). Индекс же позволяет точно определить запись, и если имя не найдено, он просто вернёт `null`, а не выдаст неверное разделение [1] agents/src/mcp/tool-names.js.\n\nФункция `buildToolIndex` создаёт карту соответствия «имя у модели» → `{server, tool}`, используя сгенерированное `apiName`, и обеспечивает метод `resolve` для безопасного получения исходных данных [1] agents/src/mcp/tool-names.js.", "judge_note": "Схема имени «<сервер>__<имя с точками через подчёркивание>» и обе причины (роутер не пропускает точку по ^[a-zA-Z0-9_-]{1,128}$, имена серверов могут совпасть) верны; разбор по индексу объяснён ровно доводом источника — имя с двумя подчёркиваниями сломало бы разбор молча. Источник: agents/src/mcp/tool-names.js [1].", "retrieved": true, "cited": true }, "cloud": { "score": 2, "verdict": "верно", "time_s": null, "refused": false, "sources": [], "answer": "[1] Инструмент сервера получает имя для модели через функцию `apiToolName`, которая преобразует исходное имя инструмента: берёт имя сервера, добавляет двойное подчёркивание, затем имя инструмента с заменой всех точек на подчёркивания. Например, инструмент `news.search` на сервере становится `<сервер>__news_search` для модели.\n\nОбратный разбор идёт по индексу, а не по разбору строки, потому что [1]:\n\n> имя сервера с двумя подчёркиваниями подряд сломало бы разбор молча, а индекс на такое имя просто не найдёт записи\n\nИными словами, если разбирать строку по позиции двойного подчёркивания, то имя сервера, содержащее `__`, создаст неоднозначность и скрытую ошибку. Индексный подход (`buildToolIndex`) избегает этого: каждый инструмент заносится в карту по его преобразованному имени, и обратный поиск просто проверяет наличие ключа в этой карте. Чужое имя вернёт `null` без молчаливых сбоев.", "judge_note": "Схема имени и причина верны (двойное подчёркивание, точки в подчёркивания, разбор по индексу из-за имени с «__» внутри), доводом стоит цитата источника. Признак cited=False — опять форма: путь agents/src/mcp/tool-names.js в тексте не назван, хотя это и есть источник ответа.", "retrieved": true, "cited": false } }, { "id": "q72", "text": "какой суточный потолок в деньгах у приложения, из которого работают агенты", "retrieved_match": false, "local": { "score": 0, "verdict": "неверно", "time_s": 18.173, "refused": false, "sources": [ { "path": "agent_docs/adr/2026-09-15-2024-day11-profiles-knowledge-topics.md", "section": "[2026-09-15 20:24] День 11: отдельный агент со слоями памяти — профиль, память персонализации, память фактов по темам, рабочая память › Решение › 13. Критерии приёмки" }, { "path": "agent_docs/adr/2026-09-09-0854-agent-service.md", "section": "Агент как отдельный сервис: контракт, статусы, монитор › Решение › 5. День 6 — интерфейс к агенту" }, { "path": "agent_docs/development-history/2026-09-28-0737-days18-20-design-notes.md", "section": "[2026-09-28 07:37] Дни 18–20: разбор восьми вопросов владельца, спайки и арифметика › Задание" }, { "path": "agents/README.md", "section": "Сервис агентов" }, { "path": "agent_docs/adr/2026-09-09-0854-agent-service.md", "section": "Агент как отдельный сервис: контракт, статусы, монитор › Контекст" } ], "answer": "[1] agent_docs/adr/2026-09-15-2024-day11-profiles-knowledge-topics.md", "judge_note": "Ответа нет вовсе: модель выдала одну строку «[1] agent_docs/adr/2026-09-15-2024-day11-profiles-knowledge-topics.md» — ни суммы, ни отказа по форме, хотя в этом самом фрагменте стоит dailyCostUsd: 10 (проверено по ADR). Срыв формата, не ошибка по сути: повторы 2 и 3 того же вопроса отвечают верно.", "retrieved": false, "cited": false, "runs": [ { "verdict": "неверно", "time_s": 18.173, "done_reason": null }, { "verdict": "верно", "time_s": 42.333, "done_reason": null }, { "verdict": "верно", "time_s": 20.299, "done_reason": null } ] }, "cloud": { "score": 2, "verdict": "верно", "time_s": null, "refused": false, "sources": [], "answer": "[1] agent_docs/adr/2026-09-15-2024-day11-profiles-knowledge-topics.md\n\nСогласно фрагменту, суточный потолок в деньгах у приложения `agents` составляет **`dailyCostUsd: 10`**. Это указано в `router/config/apps.json` в `main`, и подтверждается тем, что `GET /v1/spend` роутера (по ключу администратора) отдаёт у `agents` `limits.dailyCostUsd: 10`.", "judge_note": "10 долларов в сутки у agents названы верно (dailyCostUsd: 10) с указанием на router/config/apps.json и проверку через /v1/spend. Поиск канонический файл не нашёл (retrieved=False), но число стоит в выданном фрагменте — проверено по ADR, это не выдумка. Источник: agent_docs/adr/2026-09-15-2024-day11-profiles-knowledge-topics.md [1].", "retrieved": false, "cited": true } }, { "id": "q94", "text": "сколько раз в сутки вообще можно посчитать вектор запроса, прежде чем поиск остановится", "retrieved_match": false, "local": { "score": 2, "verdict": "верно", "time_s": 70.248, "refused": false, "sources": [ { "path": "agent_docs/adr/2026-09-30-0957-rag-quantized-embedder.md", "section": "[2026-09-30 09:57] Эмбеддер — квантованная `embeddinggemma:300m-qat-q4_0`, сборка индекса остаётся на VPS › Числа, на которых стоит п. 1" }, { "path": "agent_docs/adr/2026-10-05-1004-day23-daily-cap-150.md", "section": "[2026-10-05 10:04] Суточный потолок запусков дня 23 — 150 вместо 50 › Обоснование" }, { "path": "agent_docs/adr/2026-10-05-1004-day23-daily-cap-150.md", "section": "[2026-10-05 10:04] Суточный потолок запусков дня 23 — 150 вместо 50 › Контекст" }, { "path": "agent_docs/adr/2026-10-04-0735-day22-rag-agent-two-modes-over-mcp.md", "section": "[2026-10-04 07:35] День 22: агент с двумя режимами (с RAG / без RAG) — детерминированный конвейер над `project.search` по MCP, 10 контрольных вопросов из эталона › Решение" }, { "path": "agent_docs/adr/2026-09-23-0646-day15-profile-prompts-prepare-stage.md", "section": "[2026-09-23 06:46] День 15: промпты профиля в своей таблице, седьмой этап «Подготовка промпта» с текстом в SQLite на 30 дней с профилем, потолок ответа 32 000 только у агента дня 15 › Решение › 5. Потолок ответа 32 000 — только у агента дня 15, с таймаутом по формуле" } ], "answer": "В найденных фрагментах суточный лимит на подсчёт векторов (эмбеддингов) для службы поиска составляет **500**.\n\nЭтот лимит установлен переменной `RAG_DAILY_EMBEDS` в файлах конфигурации и ограничений службы RAG:\n1. В фрагменте [2] указано, что для службы `rag` существует лимит **`RAG_DAILY_EMBEDS` = 500 в сутки** (ссылки на файлы: `deploy/compose.yml`, `rag/limits.py`).\n2. В фрагменте [4] при описании лимитов дня 22 также упоминается ограничение «эмбеддингов ≤ 50 из 500 суточных», что подтверждает тот же общий суточный предел для службы.\n\nИсточники:\n[2] agent_docs/adr/2026-10-05-1004-day23-daily-cap-150.md\n[4] agent_docs/adr/2026-10-04-0735-day22-rag-agent-two-modes-over-mcp.md", "judge_note": "Число эталона — 500 эмбеддингов в сутки — названо верно, с переменной RAG_DAILY_EMBEDS и указанием на deploy/compose.yml и rag/limits.py. Деталей эталона (сутки по UTC, счёт в /data/usage.json, число не измерено) нет — их не было во фрагментах. Источники: agent_docs/adr/2026-10-05-1004-day23-daily-cap-150.md [2], agent_docs/adr/2026-10-04-0735-day22-rag-agent-two-modes-over-mcp.md [4].", "retrieved": false, "cited": true }, "cloud": { "score": 2, "verdict": "верно", "time_s": null, "refused": false, "sources": [], "answer": "[1] agent_docs/adr/2026-09-30-0957-rag-quantized-embedder.md и [2] agent_docs/adr/2026-10-05-1004-day23-daily-cap-150.md\n\nСуточный лимит на эмбеддинги составляет **500 в сутки** — это значение `RAG_DAILY_EMBEDS` в `deploy/compose.yml` и `rag/limits.py` [2].\n\nЛимит единый и общий для нескольких дней проекта. Например, на день 22 запас эмбеддингов ≤ 50 из 500 суточных [4], а на день 25 эмбеддингов на ход — два (исходная реплика и переписанный запрос), счётчик общий с днём 22 [5].\n\nПоиск остановится, когда будет достигнут потолок в 500 эмбеддингов за сутки.", "judge_note": "500 эмбеддингов в сутки — верно, с RAG_DAILY_EMBEDS и указанием на deploy/compose.yml и rag/limits.py; деталей эталона про UTC и /data/usage.json нет. Источники: agent_docs/adr/2026-10-05-1004-day23-daily-cap-150.md [2], agent_docs/adr/2026-09-30-0957-rag-quantized-embedder.md [1].", "retrieved": false, "cited": true } }, { "id": "m01", "text": "что такое CAP-теорема и какой выбор она навязывает распределённому хранилищу", "retrieved_match": null, "local": { "score": 2, "verdict": "верно", "time_s": 56.253, "refused": true, "sources": [ { "path": "mcpstore/README.md", "section": "Сервер MCP: хранилище файлов › Как выкатывается" }, { "path": "agent_docs/development-history/2026-09-28-0832-mcpstore-body-limit-deviation.md", "section": "[2026-09-28 08:32] Отступление от ADR: потолок тела `mcpstore` — 256 КБ, а не 64 КБ › Почему это не расширение поверхности" }, { "path": "agent_docs/backlog/infra.md", "section": "Бэклог: инфраструктура › Soon › День 16: служба MCP — решения оркестратора и долги (2026-09-23)" }, { "path": "agent_docs/development-history/2026-09-28-0832-mcpstore-body-limit-deviation.md", "section": "[2026-09-28 08:32] Отступление от ADR: потолок тела `mcpstore` — 256 КБ, а не 64 КБ › Почему 64 КБ на тело невозможны" }, { "path": "agent_docs/adr/2026-09-08-1748-llm-router.md", "section": "[2026-09-08 17:48] Маршрутизация LLM-провайдеров: возможность, политика, здоровье › Решение › 1. Три разных механизма, которые не смешиваются" } ], "answer": "В найденных фрагментах ответа нет\n\nНашлось:\n* Описание сетевого окружения и ограничений службы `mcpstore` (закрытая сеть, отсутствие публичных портов, лимиты на размер файла и тела запроса) [1] mcpstore/README.md, [2] agent_docs/development-history/2026-09-28-0832-mcpstore-body-limit-deviation.md.\n* Проблемы с проверкой заголовка `X-Forwarded-For` в конфигурации Caddy и их влияние на поадресную защиту и привязку потоков [3] agent_docs/backlog/infra.md.\n* Арифметическое обоснование выбора лимита тела запроса в 256 КБ вместо 64 КБ из-за экранирования JSON [4] agent_docs/development-history/2026-09-28-0832-mcpstore-body-limit-deviation.md.\n* Механизм маршрутизации LLM-провайдеров с разделением на возможность, политику и здоровье [5] agent_docs/adr/2026-09-08-1748-llm-router.md.", "judge_note": "Верный отказ: вопрос общий, в индексе ответа нет, модель не стала сочинять CAP-теорему и перечислила, что нашлось. Форма отказа — та, что требует промпт.", "retrieved": null, "cited": null, "runs": [ { "verdict": "верно", "time_s": 56.253, "done_reason": null }, { "verdict": "верно", "time_s": 45.438, "done_reason": null }, { "verdict": "верно", "time_s": 48.324, "done_reason": null } ] }, "cloud": { "score": 2, "verdict": "верно", "time_s": null, "refused": true, "sources": [], "answer": "В найденных фрагментах ответа нет.\n\nНайденные фрагменты относятся к:\n- конфигурации и развёртыванию сервера MCP (хранилище файлов)\n- потолкам размеров тел запросов к mcpstore\n- маршрутизации LLM-провайдеров\n- проверке заголовков IP-адресов в инфраструктуре\n\nНи один из них не содержит информации о CAP-теореме или её применении к распределённым системам.", "judge_note": "Верный отказ на общем вопросе: ответа в индексе нет, модель его не сочинила и прямо сказала, что ни один фрагмент про CAP-теорему не говорит.", "retrieved": null, "cited": null } }, { "id": "m02", "text": "что такое B-дерево и почему индексы баз данных строят на нём, а не на хеш-таблице", "retrieved_match": null, "local": { "score": 2, "verdict": "верно", "time_s": 67.305, "refused": true, "sources": [ { "path": "agent_docs/adr/2026-09-30-0957-rag-quantized-embedder.md", "section": "[2026-09-30 09:57] Эмбеддер — квантованная `embeddinggemma:300m-qat-q4_0`, сборка индекса остаётся на VPS › Числа, на которых стоит п. 1" }, { "path": "agent_docs/adr/2026-09-30-0957-rag-quantized-embedder.md", "section": "[2026-09-30 09:57] Эмбеддер — квантованная `embeddinggemma:300m-qat-q4_0`, сборка индекса остаётся на VPS › Почему не `q8_0` — развилка, на которой решение реально висело" }, { "path": "agent_docs/adr/2026-09-30-0957-rag-quantized-embedder.md", "section": "[2026-09-30 09:57] Эмбеддер — квантованная `embeddinggemma:300m-qat-q4_0`, сборка индекса остаётся на VPS › Последствия" }, { "path": "agent_docs/adr/2026-09-30-0957-rag-quantized-embedder.md", "section": "[2026-09-30 09:57] Эмбеддер — квантованная `embeddinggemma:300m-qat-q4_0`, сборка индекса остаётся на VPS › Альтернативы рассмотрены" }, { "path": "rag/README.md", "section": "rag — индекс проекта на эмбеддингах › Индекс и инкремент" } ], "answer": "В найденных фрагментах ответа нет.\n\nНашлось:\n* Обсуждение выбора квантованной модели эмбеддинга `embeddinggemma:300m-qat-q4_0` и сравнение её потребления памяти с вариантами `q8_0` и `bf16` [1] agent_docs/adr/2026-09-30-0957-rag-quantized-embedder.md.\n* Обоснование выбора `q4_0` над `q8_0` на основе разницы в памяти и неопределённости коэффициента переноса на Linux [2] agent_docs/adr/2026-09-30-0957-rag-quantized-embedder.md.\n* Последствия решения, включая риски прохода сборки и невозможность сравнения качества с `bf16` [3] agent_docs/adr/2026-09-30-0957-rag-quantized-embedder.md.\n* Рассмотренные альтернативы, включая использование других моделей и изменение параметров батча [4] agent_docs/adr/2026-09-30-0957-rag-quantized-embedder.md.\n* Описание структуры индекса на базе Faiss (`IndexFlatIP`), механизма инкрементального обновления и проверки имени модели в метаданных [5] rag/README.md.", "judge_note": "Верный отказ на общем вопросе: про B-деревья в индексе ничего нет, и модель не подменила их векторным индексом проекта, а назвала его отдельно как то, что нашлось.", "retrieved": null, "cited": null }, "cloud": { "score": 2, "verdict": "верно", "time_s": null, "refused": true, "sources": [], "answer": "В найденных фрагментах ответа нет.\n\nВ корпусе найдены сведения об индексе проекта на эмбеддингах (векторном индексе `IndexFlatIP` для поиска по текстам) [5], но они не содержат информации о B-деревьях, хеш-таблицах или традиционных индексах баз данных.", "judge_note": "Верный отказ; отдельно отмечено, что найденный векторный индекс проекта — не про B-деревья, то есть подмены темы нет.", "retrieved": null, "cited": null } } ] }