پلتفرم داده و استقرار Data Mesh
امروزه عناوینی همچون Data-First و AI-First در کانون توجهات مدیریت راهبردی و استراتژیک سازمانها قرار گرفته است.سازمانها برای انجام
- فرآیندهای مدیریت نوآوری
- ایجاد ارزش های جدید
- هوشمندسازی و تصمیم سازی های راهبردی
نیازمند سامانه های خودگردانِ رویکردهای تحلیلیِ داده محور (Self-Service Analytics) می باشند.در حوزه حکمرانی داده ها:
- گستره طراحی
- ذخیره سازی
- پردازش و مصرف داده ها
- تجارب و رویکردهای معماری داده ها
غالباً مبتنی بر یکپارچه سازی داده ها در یک انبار داده/دریاچه داده است.طبیعتاً تمرکز دهی به داده ها و پایش مستمر و متمرکزِ بانک های اطلاعاتی از انواع مختلف در یک سامانه Central می باشد. این نوع معماری، با تشکیل:
- تیم‌های مهندسی داده
- ایجاد Pipe Line های پاکسازی
- انتقال و پردازش داده ها
- ارائه رویکردهای تحلیلی(Analytics)
مختلف می باشد.در اینگونه نظام های مدیریت داده ها، همواره معماری ساختار داده ها و حکمرانی داده های سازمانی، یکی از چالش های اصلی بوده و می باشد. جدیداً یکی از معماری های مورد توجه در حوزه حکمرانی داده ها، معماری، «جزایر داده یا Data Mesh» هستند. برای این معماری مطالب و مقالات متعددی در مورد آن ارایه شده است.
Service Mesh و Data Mesh
همانطور که مستحضرید، معماری سرویس‌گرا در دنیای نرم افزار، به یک معماری مورد پذیرش و منطبق با نیازمندیهای جاری این صنعت تبدیل شده است. و اصطلاح Service Mesh سالهاست که در صنعت نرم افزار رایج شده و کاربردهای آن به بلوغ کافی رسیده است.
همراستای همین موضوع و در حوزه مدیریت داده، «جزایر داده یا Data Mesh» هم به یکی از موضوعات مهم در حوزه علوم داده تبدیل شده است.امروزه در حال تبدیل شدن به یک استاندارد معتبر در طراحی سامانه‌های کلان داده و داده محور است.
این بدان معنی است که همراستای تحول در معماری نرم افزارها از سیستم ها و برنامه های یکپارچه (monolithic applications) به معماری مایکروسرویس (microservice)، تحول در معماری داده ها، به سمت ارائه مایکرویس های داده ای در قالب Data Mesh در حال اجرا می باشد. در واقع Data Mesh، نوعی از معماری پلتفرم داده می باشد.در این نوع معماری استقلال دهی به حوزه های مختلف، یک الگوی انعطاف پذیر و قابل توسعه برای حکمرانی داده ها ارایه می نماید.
معماری جزایر داده
معماری «جزایر داده» بر چهار اصل مهم، بنیان گذاری شده است:
- مالکیت و معماری غیرمتمرکز دامنه گرا
- داده به عنوان یک محصول
- زیرساخت داده خودگردان به عنوان یک زیرساخت و حاکمیت محاسباتی دموکراتیک.
در این نوع معماریِ مدرن حکمرانی داده ها، همراستا با معماری سرویس گرا، حرکت به سمت معماری Data Mesh یا مدیریت داده جزیره‌ای و غیرمتمرکز هدفگذاری شده است. در این نوع معماری با تغییر نگاه بنیادین (paradigm shift) به حوزه حکمرانی داده ها، سازمانها از ایجاد یک سامانه متمرکز اطلاعاتی (انبار داده/دریاچه داده) به سمت چندین «جزیره داده توزیع شده و خودگردان» مبادرت می کنند.
این تغییر نگاه بنیادین در معماری، با تجزیه ساختار داده های سازمان به Data Node های جزیره‌ای و خودگردان، مقیاس پذیری و دموکراتیک سازی موضوعات داده ای را هدف گذاری نموده است.
دموکراتیک سازی داده ها
خواستگاه اصلی مقیاس پذیری و دموکراتیک سازی داده ها، در معماری Data Mesh، تعامل سه عنصر:
- منابع داده(Data Sources)
- زیرساخت داده ها(Data Infrastructure)
- فرآیندهای انتقال داده های دامنه گرا (domain-oriented data pipelines)
با یکدیگر می باشد. در این معماری، مالکان موضوعی (دامنه گرای) داده و فرآیندهای انتقال داده ها (Domain-oriented data owners and pipelines) بعنوان ارائه دهندگان محصولات داده ای می باشند.مدیریت ارتباطات داده محور موضوعی (دامنه گرا)، کلیه وظایف:
- یکپارچه سازی
- پاکسازی
- کنترل کیفیت
- انبارش
- پردازش های بلادرنگ و بسته ای
- مدیریت فرآیندهای انتقال داده ها
- کنترل حقوق دسترسی
توسط مالکان موضوعی (دامنه گرای) داده ها در یک زیرساخت مستقل مدیریت می کنند.
اولویت های استقرار راهکارهای داده محور در این معماری
در نهایت، عوامل مهم و کلیدی برای حرکت از استقرار انبار داده/دریاچه داده به پلتفرم داده و Data Mesh عبارتنداز:
- تعداد منابع داده ای سازمان
- تعداد کارشناسان تیم داده سازمان
- تیم متخصصان ذخیره سازی
- پردازش و تحلیل داده ها در سازمان
- تعداد تحلیلگر داده،
- تعداد مهندس داده
- تعداد مدیر محصول داده
- تعداد دامنه های داده ای (موضوعات داده محور)
- تعداد محصولات داده محور سازمان
- وضعیت و تعداد گلوگاه های دسترسی به داده ها برای تولید محصولات داده محور جدید
- وضعیت بلوغ داده محوری و حکمرانی داده ها در سازمان (تعداد و درصد حضور مدیران داده محور)
بدیهی است که سازمانهایی با تعداد محدود:
- منابع داده ای
- تعداد محدود کارشناسان مستقر در تیم داده
- تعداد محدود محصولات داده محور
و طبیعتاً بلوغ ناکافی در استقرار راهکارهای داده محور، در گام نخست باید به تشکیل انبار داده / دریاچه داده، اقدام نمایند.سپس با گسترش امور تصمیم سازی داده محور، به استقرار پلتفرم داده ای سازمان اقدام نمایند.
