Получается нельзя просто сделать KPI и ждать, что это будет просто работать. То есть есть цель. Для достижения ставим KPI и всем рассказываем. В результате long-term есть большая вероятность, что система будет оптимизироваться на этот KPI, а не на саму цель.

Цитата:

So, in short: incentives can have unintented consequences, as the incentives influence whatever you want to influence with them.

Как же этого избежать? Советуют 3 штуки:

1. Помнить, что компании/системы как правило всегда оптимизируют не на саму “общую” цель, а на ее “прокси” в виде каких-то KPI и это две разные вещи (хоть они и коррелируют). Это позволяет видеть проблемы, когда эти штуки перестают коррелировать.

2. Набор метрик должен быть сбалансирован. Больше одной метрики, “cкрытые” метрики (которые измеряются, но не являются публичной целью) и так далее.

3. Здравый смысл. То есть какой-то человек оценивает и говорит, погодите — это же какая-то херня, так делать нельзя.

Проблема общая-то в том, что сами метрики нужны, чтобы калибровать объективно свои решения и свой здравый смысл. А получается метрики тоже могут вводить в заблуждение, поэтому нужен здравый смысл, чтобы валидировать их. 🤷‍♂️