habr.com /1 month ago

Период полураспада бенчмарка ИИ сократился вдвое: 19 месяцев вместо 38

В мае я подал OenoBench, винный бенчмарк для языковых моделей, на NeurIPS. В дискуссии с ревьюерами всплыл вопрос, на который ни у меня, ни у них не было опоры: какой результат на...

Read source
habr.com /1 week ago

[Перевод] Агент написал верный код, а потом удалил его ради скрытых тестов: что показал MaxxBench

Авторы MaxxBench взяли 89 задач кодингового бенчмарка DeepSWE и немного поменяли требования: медианный прирост эталонного патча составил всего 17 строк. Модели с почти одинаковыми...

Read source
habr.com /1 month ago

Как мы довели Postgres Pro до APDEX 0,986 на 30 000 пользователей 1С:ERP. Часть 2/3

Тест упал на пятом часу, на переходе с 16 800 до 21 000 ВРМ. Потом запрос, который выполнялся меньше секунды, вдруг стал занимать десятки секунд. После этого отчёт вместо 5 секунд...

Read source
habr.com /2 weeks ago

Почему нагрузочные тесты дают ложные результаты и как правильно собрать тестовый стенд

Тестовый стенд может показывать отличные результаты, но после релиза приложение всё равно начинает тормозить. Причина часто кроется в различиях между тестовой и продуктивной средой...

Read source
habr.com /1 month ago

WebPageBench: веб-среда для оценки агентов

Веб-агент сообщил «готово» — а сделал ли? На живых сайтах это не проверить: контент меняется, а судить приходится либо по словам самого агента, либо через LLM-судью, который тоже о...

Read source
habr.com /1 month ago

Как мы перераспределили альфу в A/B-тестах и сократили размер выборки

Всем привет! На связи Денис Зорин и Гриша Засько, мы работаем в ASL — лаборатории прикладной статистики Т-Банка. Помогаем командам проводить A/B-тесты на масштабе всей экосистемы:...

Read source
habr.com /1 month ago

Как мы довели Postgres Pro до APDEX 0,986 на 30 000 пользователей 1С:ERP. Часть 1/3

Мы провели больше 100 запусков альтернативного теста 1С:ERP от «ИТ-Экспертизы» и дошли до APDEX = 0,986 на 30 000 виртуальных пользователей. Путь был непростым. На 15 000 ВРМ APDEX...

Read source
habr.com /1 month ago

Одна модель, разные результаты: как инфраструктура меняет бенчмарки ИИ-агентов

В этом году Anthropic опубликовала исследование инфраструктурного шума в бенчмарках для ИИ-агентов, которые пишут и запускают код. На Terminal-Bench 2.0 разница между самой строгой...

Read source
habr.com /1 month ago

RPS одинаковый, но p95 по TTFT хуже в 2,7 раза: что round-robin делает с KV-cache

В замере Red Hat два балансировщика распределяли один и тот же чат-трафик между четырьмя GPU NVIDIA L4. По числу обработанных запросов в секунду результаты почти совпали: 0,52 у об...

Read source

Turn fresh research into a full content calendar

Use SocialBu to discover ideas, generate post drafts, and schedule them across your social channels.