از هنگامی که رایانه در تحلیل و ذخیره سازی داده ها بکار رفت، پس از حدود 21 سال حجم داده ها در پایگاه داده ها دو برابر شد. ولی پس از گذشت دو دهه و همزمان با پیشرفت فن آوری اطلاعات هر دو سال یکبار حجم داده ها دو برابر شده و همچنین تعداد پایگاه داده ها با سرعت بیشتری رشد نمود. این در حالی است که تعداد متخصصین تحلیل داده ها با این سرعت رشد نکرد. حتی اگر چنین امری اتفاق می افتاد بسیاری از پایگاه داده ها چنان گسترش یافته اند که شامل چند صدمیلیون یا چند صدمیلیارد رکورد ثبت شده هستند .امکان تحلیل و استخراج اطلاعات با روش های معمول آماری از دل انبوه داده ها مستلزم چند روز کار با رایانه های موجود است.