AI Digest 2026-07-02

tl;dr

Сегодняшний фокус — нарастающая сложность AI агентов и, как следствие, усложнение методов их оценки и обучения. Исследуются новые подходы к credit assignment (TRIAGE) и композиции навыков для агентов. Одновременно с этим, evaluation-фреймворки выходят за рамки базовой точности, предлагая способы оценки длинных сценариев (QVal), неуверенности моделей (CoMet) и их способности к коллаборации (MECoBench). Несколько работ подчеркивают хрупкость текущих подходов: "моральность" LLM оказывается поверхностной, а самообучение на синтетических данных приводит к скрытым проблемам.

AI infra/agents

• TRIAGE предлагает фреймворк для распределения вознаграждения (credit assignment) действиям агента на основе их семантической роли, а не только конечного результата.

  • Why it matters: Это позволяет точнее обучать агентов, вознаграждая полезные промежуточные шаги даже в неуспешных сценариях и наказывая бесполезные в успешных, что критично для сложных многошаговых задач. Ссылка

• Generative Skill Composition решает проблему выбора нужных "скиллов" для LLM-агента из большой библиотеки, генерируя подмножество релевантных навыков вместо поиска по всей базе.

  • Why it matters: Упрощает и ускоряет планирование для агентов, работающих с постоянно растущими и переиспользуемыми библиотеками инструментов и функций. Ссылка

• AxDafny представляет фреймворк, где агент итеративно генерирует не только код на языке Dafny, но и формальные доказательства его корректности.

  • Why it matters: Это шаг в сторону верифицируемого AI-кодинга, где модель не просто пишет код, а доказывает его надежность, что является ключевым требованием для mission-critical enterprise систем. Ссылка

• Scalable Behaviour Cloning on Browser предлагает обучать браузерных агентов путем дистилляции навыков из огромного массива данных о взаимодействии реальных пользователей с веб-интерфейсами.

  • Why it matters: Вместо ручного создания демонстраций, этот подход позволяет масштабируемо извлекать сложные "сценарии" поведения из уже существующих логов, удешевляя создание компетентных UI-агентов. Ссылка

• Seeing Is Not Sharing показывает, что мультимодальные модели (VLM) в диалоге склонны переоценивать "общность контекста", предполагая, что если они видят объект, то и собеседник его интерпретирует так же.

  • Why it matters: При проектировании мультимодальных ассистентов и систем для совместной работы необходимо явно закладывать механизмы для установления общего понятийного поля (common ground), а не полагаться на "общее видение". Ссылка

RAG/eval

• QVal — это новый дешевый метод для оценки качества "плотной" обратной связи (dense supervision) для LLM-агентов, выполняющих задачи с длинным горизонтом планирования.

  • Why it matters: Упрощает и удешевляет выбор оптимальной стратегии обучения для сложных агентов, избавляя от необходимости полного прогона дорогостоящих циклов тренировки для каждой гипотезы. Ссылка

• Reinforcement Learning with Metacognitive Feedback использует RL с "метакогнитивной" обратной связью, чтобы научить LLM более честно и точно выражать свою неуверенность в ответах.

  • Why it matters: Это прямой путь к созданию более надежных систем (включая RAG), которые могут явно сигнализировать, когда их ответу не стоит доверять, вместо уверенных галлюцинаций. Ссылка

• Self-Study Reconsidered демонстрирует, что популярный метод дообучения моделей на сгенерированных ими же вопросах-ответах (QA) по документу приводит к хрупкости и предвзятости.

  • Why it matters: Системы, использующие синтетические данные для дообучения или дистилляции знаний, могут наследовать и усиливать слепые зоны модели-генератора, что делает их ненадежными для production. Ссылка

• CoMet предлагает фреймворк для оценки неуверенности в мультимодальных LLM, разделяя источники неопределенности (например, в изображении, в тексте, в их связи).

  • Why it matters: Позволяет создавать более надежные MLLM, которые могут идентифицировать причину своей неуверенности, что критично для систем, принимающих решения на основе разнородных данных. Ссылка

• Theory of Mind and Persuasion Beyond Conversation вводит новый тип оценки LLM-агентов: их способность вызывать у других аген