Social Media Ideas for Метрики Качества

Как посчитать качество найма?

Во время работы аналитиком в рекрутменте я часто строил множество метрик, которые отвечали на абсолютно разные вопросы:• сколько дней закрывали вакансию;• сколько стоил найм;• кака...

Как очнуться от мрака метрик и начать решать неочевидные проблемы бизнеса

В корпоративном кредитовании команды часто живут в двух реальностях. С одной стороны — безупречные бэкенд‑метрики, соблюдённые SLA и работающие по логам процессы. С другой — поддер...

Хватит считать токены: почему KPI в эпоху ИИ превратились в фикцию

Каждые несколько лет индустрия придумывает новую единицу продуктивности. Строки кода. Коммиты. Пул-реквесты. Теперь - токены. Схема одна: берём то, что легко посчитать, вешаем на д...

Эволюция пайплайна метрик: как менялась архитектура с ростом нагрузки

Привет, Хабр! Я Руслан Боярский, SRE в Т-Банке, отвечаю за надежность платформы Sage и принимаю активное участие в ее развитии. Sage — это платформа наблюдаемости, где мы собираем...

boilerplate_ratio = 1.73: что считает аудитор готовности страниц к ответам ИИ

Прогон аудитора пригодности страниц к ответам ИИ вернул нули по всем адресам батча. Полез в исходники пакета и нашёл шесть мест, где он считает не то, что обещает: доля шаблонного...

Diverse measures achieving quality

Оценка агентных систем

Всем привет! В этом разборе расскажу, как в оценке агентных систем перейти от ощущений к измеримым показателям: как проверять траекторию вызовов инструментов, как калибровать LLM-с...

Leading with Quality рџ––

Как оценивать качество LLM, RAG и AI‑агентов: метрики, тестирование и LLM‑as‑a‑Judge

В 2024 году исследователи провели простой эксперимент: взяли тесты с вариантами ответа и начали менять варианты местами. Сами вопросы и содержание ответов оставались прежними.Казал...

Как бизнесу сэкономить ресурсы на методологиях, которые не работают «из коробки» • ЦКП и статистики

Разбор того, как построить систему оценки эффективности, которая контролирует себя сама, и почему заимствованную теорию необходимо переосмыслять относительно обстоятельств своего б...

Тестирование LLM‑фичи: можно ли верить своему eval

Eval показывает 96% качества, тесты проходят, а после релиза LLM‑ассистент допускает критическую ошибку. Проблема может скрываться в самой системе оценки, которая пропускает опасны...

Почему одинаковые показатели в разных отчётах не совпадают

Два отчёта показывают один показатель за один период. Название одинаковое, подразделение выбрано одно и то же, но значения различаются. В этот момент обсуждение часто сводится к по...

Мировой кризис качества ПО: все правда так плохо?

Однажды после обновления Windows я решил, что у меня сгорел компьютер: системный блок подавал признаки жизни, но на мониторе — черный экран, клавиатура — ноль реакции. Полез разбир...

Как мы перестали хвататься за гипотезы и начали выбирать точки максимального потенциала

Привет. Меня зовут Шынгыраа Кызын, я продакт-менеджер, в моей зоне ответственности — сценарии, с которыми покупатель сталкивается после оформления заказа: изменение его состава, до...

ML‑датасет для Data Scientist: практический гайд по проверке качества данных перед обучением модели

Даже хороший алгоритм не спасёт модель, если признаки приходят с нарушенной семантикой или содержат информацию из будущего. Одна лишняя колонка может поднять метрику на тестах и по...

Как превратить бизнес‑вопрос в набор показателей

Бизнес-вопрос редко звучит как готовая аналитическая задача. Руководитель может спросить: «Какие подразделения требуют внимания?», «Пользуются ли приложением?» или «Почему результа...

Data-driven или data-hopeful: зачем аналитике становиться системой

В команде может быть сильный аналитик, десятки дашбордов и привычка принимать решения на данных, но это еще не значит, что аналитика в команде зрелая. Мы в Garage Eight решили разо...

Как не потерять связь между требованиями и тестами: матрица трассировки на практике

Есть довольно неприятная проблема с тестовой документацией: тест работает, успешно проходит и при этом уже проверяет не совсем то, что нужно.Например, несколько месяцев назад помен...

APDEX, техжурнал и rphost: что реально видно в мониторинге 1С снаружи — и чего не видно принципиально

«1С тормозит» — это не техническое утверждение, а начало спора. Бизнес говорит «тормозит», подрядчик говорит «у нас всё в норме», и обе стороны правы, потому что меряют разное: пол...

рџ› пёЏ 6 CORE TOOLS OF QUALITY MANAGEMENT

 рџ› пёЏ 6 CORE TOOLS OF QUALITY MANAGEMENTрџ“Љ Essential Tools for Quality & Process Improvement1пёЏвѓЈ SPC – Statistical Process Control рџ“€Monitors process variation usin...

Prediction-Powered Smoothing, как главный метод оценки качества современных нейросетей

С развитием нейросетей неизбежно пришли две вещи: их интеграция во всё, куда можно (например, в телефон, робот-пылесос и холодильник), и связанный с этим вопрос контроля качества.Р...

[Перевод] Недоработка разработки? Или где весь этот рост производительности благодаря ИИ

Казалось бы, волшебную ИИ-таблетку уже изобрели, и пора бы всем разработчикам выдавать в три-четыре раза больше качественного кода. Так почему этого не происходит? Может, померяем,...

−1000% занятости: как я нашёл дыры в собственном опубликованном датасете

Мы выложили открытый датасет по загруженности парковок, а потом увидели в нём процент занятости со значением −1000. Дальше — расследование, в котором каждая следующая гипотеза оказ...

Как мы довели Postgres Pro до APDEX 0,986 на 30 000 пользователей 1С:ERP. Часть 2/3

Тест упал на пятом часу, на переходе с 16 800 до 21 000 ВРМ. Потом запрос, который выполнялся меньше секунды, вдруг стал занимать десятки секунд. После этого отчёт вместо 5 секунд...