Кажется, спустя полтора года после прочтения книги Accelerate наконец удалось кратко и компактно сформулировать в чем проблема с отчетом State Of Devops.

Проблема в том, что в книге и отчете выпячивается та несомненно большая сложная часть работы по статистическим предсказаниям, которая однако по факту никому не нужна, и которая не имеет смысла.

1. DORA статистически показали, что использование CI/CD приводит (“предсказывает”) к сокращению Lead Time, увеличению частоты поставки и снижению количества ошибок при развертывании. На деле же это и есть основная функция CI/CD - он строится как раз для того, чтобы именно это и происходило. Если ваш процесс CI/CD не приводит к ускорению поставки он не выполняет свою основную функцию, и скорее всего вы что-то делаете не так, и это можно сказать без исследований. Ждем горячих заголовков “Доказано научно: передвигаться на велосипеде быстрее чем пешком”.

2. Аналогичная ошибка просматривается относительно выводов “высокая частота релизов приводит к высокой производительности разработки, а та в свою очередь приводит к господствующему положению на рынке”. Здесь тоже зависимость обратная. Если компания постоянно меняется и адаптируется к рынку, постоянно выпускает новые фичи (которые технически могут ломать старые), то без высокопроизводительного IT ей делать нечего. А “быстрый процесс поставки” - это как мы уже заметили, функция внутри IT (также как и сам IT это функция внутри бизнеса). Т.е. и здесь перевернули все с ног на голову.

При этом у них получаются действительно интересные выводы об анализе аудитории, трендах и других полезных вещах, но они тонут в огромном количестве научных рассуждений о статистике и т.д. К моей большой радости, последние год-два к работе подключилось большое количество новых людей и они начали делать то, что у них получается хорошо – кластерный и когортный анализ, и история с выводами через статистику начала идти на спад.