دریاچه داده : معماری جدید برای زیرساخت تحلیل و پردازش اطلاعات

در دنیای Big Data ،مدتی است که عبارت دریاچه داده به یک اصطلاح فراگیر در حوزه معماری های پیشنهادی برای پردازش داده ها تبدیل شده است. دریاچه داده از دید مفهومی، یک مکان مشترک برای ذخیره انواع داده های یک سازمان به صورت خام و پردازش نشده است. برخالف انباره های داده که به صورت خاص برای مقاصد تحلیل و گزارش گیری های مدیریتی طراحی می شوند و شکل داده های ورودی را به قالب مورد نیاز خود تبدیل و ذخیره می کنند، دریاچه های داده، اطلاعات و داده ها را به صورت خام ذخیره می کنند تا در آینده، ابزارهای پردازشی و تحلیل گران، خود تصمیم بگیرند که چه تبدیلی و چه پردازشی را روی آنها انجام بدهند. از طرفی، انباره های داده دارای قالب و ساختار از پیش تعیین شده هستند و این موضوع، انواع داده های نوینی که روزانه در سازمان ها تولید می شود را برای ذخیره به منظور مقاصد تحلیلی به چالش دچار می کند چون یکسره نیاز به تیمی برای مدیریت و طراحی ساختار و تبدیل داده ها خواهیم بود. در صورتیکه در دریاچه داده ، داده ها به همان شکلی که هستند (مثلا داده های خام شبکه، حسگرها، متون استخراج شده از شبکه های اجتماعی و …) ذخیره می شوند و نیاز مداوم به پالایش ندارند.