Эта статья представляет собой вырезку из моей будущей книги, на которую вы можете подписаться здесь: https://www.danrose.ai/book

Важной концепцией для понимания ваших данных является концепция черных лебедей. теория черного лебедя был придуман статистиком и автором книги «Одураченные случайностью» Нассимом Николасом Талебом. Книга, которую я могу только порекомендовать.

В течение многих лет было общеизвестно, что черных лебедей не существует. Поскольку черных лебедей никогда не наблюдали, ни в каких данных они не существовали. Если бы вы тогда сделали ставку на вероятность того, что следующий лебедь, которого вы увидите, будет черным, вы, вероятно, сделали бы ставку против такого события. Оказалось, что черных лебедей было много. Просто их еще не наблюдали. Впервые они стали такими, когда мы открыли Австралию, полную черных лебедей. Другими словами, данные представляли только известный и наблюдаемый мир, а не реальный мир.

Это также отличный момент, чтобы упомянуть, что данные являются только историческими. И, как принято в науке о данных, исторические данные — это довольно плохо, но лучшее, что у нас есть.

Черные лебеди на индивидуальном уровне очень редки. Последняя пандемия Covid является свидетельством редкого события «Черный лебедь».

Можно также упомянуть финансовый кризис 2007 года. Исторически рынок жилья никогда не падал, поэтому ни одна модель, построенная на исторических данных, не могла предсказать такое событие.

Но черные лебеди не редкость на агрегированном уровне. Они более распространены, чем вы могли бы интуитивно подумать. Пандемии, крах рынка жилья или война в Европе кажутся настолько уникальными событиями, что они должны быть необычными. Но менее привлекательные для СМИ первые и редкие события случаются все время.

Таким образом, вы также должны ожидать событий черных лебедей. Что бы ни отображали ваши данные из исторических событий, это всего лишь история. Полагаться на него следует с осознанием того, что будущее может быть совершенно другим. Это также влияет на точность моделей. Поскольку модели ИИ используют части исторических данных обучения для расчета своей точности, они делают это с учетом прошлого. В результате вы всегда должны ожидать, что модели ИИ будут работать как минимум немного хуже, чем они обеспечивают точность.

Также не стоит пытаться предсказать черных лебедей. Они по своей природе непредсказуемы. Вместо этого убедитесь, что процессы. Особенно модели решений и уровни решений учитывают, что черный лебедь может появиться в любую минуту.

Чтобы получить дополнительные советы, подпишитесь на книгу здесь: https://www.danrose.ai/book