Интересная презентация про AI и пускание пыли в глаза: How to recognize AI snake oil (английский)

Мы добились очень хорошего прогресса в распознавании образов и паттернов(perception), в каких-то областях AI делает это уже лучше человека.

В области automating judgment (обнаружение спама, оскорблений, рекомендация контента) все далеко от идеала, но улучшается.

А вот в области predicting social outcomes (предсказание террористов, будущего успеха на работе, рецидивов преступлений) все плохо и как раз эта область привлекает много шарлатанов.

Два интересных вывода из его рассказа.

Во-первых, кто сказал, что диктатура машин это обязательно суперкомпьютер с мотивацией доминировать везде? Это же простое очеловечивание. А как насчет кучи алгоритмов-черных ящиков в разных сферах жизни? Никто не знает, как они работают, но им доверяют, потому что так проще. И люди начинают под них подстраиваться.

Например выдержка из интересной статьи Guardian:

One HR employee for a major technology company recommends slipping the words “Oxford” or “Cambridge” into a CV in invisible white text, to pass the automated screening.

Во-вторых, судя по всему для social predictions супер-сложная AI оценка работает не лучше чем обычная линейная регрессия по нескольким параметрам. Как говорит сам автор презентации: “For predicting social outcomes, AI is not substantially better than manual scoring using just a few features”

Там приводится пример, что “умное” предсказание повторного преступления по 137 параметрам работает хуже чем обычная регрессия по двум параметрам: возраст и количество предыдущих преступлений (и обе работают чуть лучше рандома). То есть вполне окей иметь для своих целей простой алгоритм на основе нескольких входных параметров, в сложных социальных решениях он будет скорее всего помогать не хуже.