در حوزه پردازش داده، دو نوع اصلی پردازش داریم
- پردازش بلادرنگ (Real Time)یا همان پردازش جریان (Stream Processing)
- پردازش انبوه (Batch Processing)
که فناوریهای اصلی حوزه کلان داده ، مانند روش توزیع و تجمیع(MapReduce) و جدیدا اسپارک برای پردازش انبوه داده ها طراحی شده اند و برای پردازش بالدرنگ داده ها هم برای سال ها، استفاده از صف های توزیع شده و پروژه های محدودی مانند Storm راه حل اصلی مهندسین داده بود.
در سالهای اخیر ، فناوری های پردازش بلادرنگ و داده های جریانی مانند داده های دریافتی از حسگرها و تصاویر ترافیک و ماهواره، داده های شبکه های اجتماعی و مانند آن که یکسره در حال تولید هستند و جریان آنها به صورت پیوسته درحال تزریق به برنامه های پردازشی است، پیشرفت زیادی کرده اند و فقط در اکوسیستم آپاچی (مجموعه پروژه های بنیاد آپاچی) امروزه بیش از ده پروژه مختلف متن باز مختلف در این حوزه داریم بعضی از آنها، تفاوت بسیار کمی با یکدیگر دارند که این امر، انتخاب درست ابزار و کتابخانه های مورد نیاز برای پردازش جریان را امری زمانبر و تخصصی نموده است.
