در پست قبل درباره نسل های متفاوت معماری پلتفرم های داده آشنا شدیم و دلایل شکست آنها را بررسی کردیم. در این پست قصد دارم درباره نسل جدید معماری پلتفرم داده یعنی دیتا مش صحبت کنم.
دیتا مش یک معماری غیر متمرکز برای داده است. این معماری اولین بار توسط خانم Zhamak Dehghani مطرح و تعریف شد. در دیتا مش، داده ها به صورت متمرکز در یک مکان ذخیره نمی گردند بلکه به محصولات داده ای تقسیم می شوند و توسط تیم هایی که داده ها مرتبط با حوزه کسب وکاری آنها است مدیریت و نگهداری می شوند. در واقع در این معماری داده به عنوان محصول در نظر گرفته می شود.
پ.ن: چیزی شبیه به مفهوم مایکروسرویس اما به جای سرویس های مجزا و اختصاصی برای هر حوزه کاری، در دیتا مش محصولات داده ای مجزا و اختصاصی داریم که توسط تیم های مختلف مدیریت و نگهداری می شوند.
چهار اصل بنیادی دیتا مش
چهار اصل بنیادی دیتا مش که توسط خانم Zhamak Dehghani تعریف شدند:
معماری داده غیرمتمرکز و دامنه محور: در این معماری، داده توسط تیمی که داده به آنها نزدیک است نگهداری و مدیریت می شود.
داده به عنوان یک محصول: محصولات سفارشی (از داده ها) دسترسی به داده ها را برای تیم هایی که به آن نیاز دارند را افزایش می دهد. این ویژگی باعث می شود که تیم های مختلف از بخش های مختلف به هر داده ای که نیاز داشته باشند بدون نیاز به تیم دیگر دسترسی ساده و آسانی داشته باشند.
معماری داده سلف سرویس: دیتا مش به منظور ارائه خدمات سلف سرویس ساخته می شود و ابزارهایی را در اختیار تیم ها قرار می دهد تا بدون نیاز به یک متخصص داده ارزش ها و اطلاعاتی مورد نیاز را از داده ها استخراج کنند.
حاکمیت متحد: حاکمیت بر داده ها و نحوه استفاده از آنها خودکار شده است که باعث می شود دسترسی به داده ها انعطاف لازم را داشته باشند و در عین حال استفاده از داده تحت استانداردهای خاصی امکان پذیر است.
چه مزایایی به همراه دارد؟
تصمیم گیری آگاهانه و سریع
در معماری های که در آن داده ها به صورت متمرکز هستند فاصله و مراحل زیادی بین داده، استفاده از آن و نتایج استفاده از داده ها وجود دارد. در چنین شرایطی داده ها معمولا به صورت کلی جمع آوری و در درسترس تیم ها قرار می گیرند. حتی در چنین شرایطی هم زمان زیادی نیاز است که داده ها تحلیل و تبدیل به بینش برای سازمان شوند و بتوانند در تصمیم گیری ها کمک کننده باشند.
با استفاده از دیتامش بسیاری از این مراحل با استفاده از خودکارسازی حذف می شوند و فاصله بین داده و استفاده از آن کاهش می یابد. تیم های مختلف بر روی داده های خود احاطه کامل دارند و محصولات داده محورشان را خودشان مدیریت می کنند. آنها می دانند که چه داده هایی دارند و برای استفاده از آنها به هر نحوی و در هر زمانی آزاد هستند.
این معماری یک شتاب بزرگ در تصمیم گیری برای سازمان ها ایجاد می کند. با توانا کردن تیم ها در استفاده سریع تر و بهینه تر از داده ها، سازمان ها در بازار رقابت می توانند شرایط بهتری نسبت به رقبا به دست آورند و اطلاعات ارزشمندتری را از داده هایی که جمع آوری کرده و در اختیار دارند استخراج کنند.
ایجاد فرهنگ نوآوری مبتنی بر داده
یکی از مزیت های مهم معماری های غیر متمرکز مثل دیتا مش این است که کاربر نهایی بر روی استفاده از داده کنترل کامل دارد و کاربر نهایی تصمیم می گیرد که از داده چطور استفاده کند.
در معماری دیتا مش کنترل در دست تیم ها است. به این دلیل که کنترل و مالکیت داده ها در اختیار تیم ها است هر طور دوست دارند می توانند با داده ها رفتار کنند. تیم ها می توانند گزارشات متنوع تری را تولید کنند، سناریوهای بیشتری را شیبه سازی کنند و ایده های داده محور بیشتری را مورد بررسی قرار دهند.
با در نظر گرفتن این شرایط هر تیم در داخل سازمان تشویق می شود که محصولات داده محور خود را منسجم تر و بهتر نگهداری کنند به این دلیل که انسجام بیشتر و نگهداری بهتر مستقیما بر روی خروجی ها و قابلیت های تحلیلی تیم تاثیر می گذارد. در نهایت این روند منجر به شکل گیری یک فرهنگ در سازمان می شود که در آن هر فرد بر روی کیفیت داده، تجربه کردن با استفاده از داده ها و خلاقیت با استفاده از داده سرمایه گذاری می کند.
حمایت از هوش مصنوعی و یادگیری ماشین
هوش مصنوعی و یادگیری ماشین خیلی سریع از یک کالای لوکس به یک ضرورت در سازمان های مدرن تبدیل شد. برای اینکه این دو مورد بتوانند ارزش خلق کنند به دو چیز مشترک نیاز دارند؛ مجموعه داده با کیفیت و ذهن های خلاق که بتوانند برای آنها کاربرد تعریف کنند.
وقتی تیم ها کنترل داده ها و محصولات مربتط با آنها را در اختیار دارند، تیم ها به صورت خودکار شروع به ساخت و نگهداری مجموعه داده های با کیفیت می کنند تا بتوانند به عنوان سوخت برای هوش مصنوعی و یادگیری ماشین استفاده کنند.
به علاوه چون تیم ها نگهبانان داده ها هستند موانع کمتری بر سر راه آنها وجود دارد که آنها را از تجربه کردن راهکارهای هوش مصنوعی و یادگیری ماشین منع و دور کند. این معماری سرآغازی برای خلاقیت در حوزه هوش مصنوعی و یادگیری ماشین است.
دیتا مش علاوه بر مزایای گفته شده مزایای دیگری را هم برای سازمان ها به همراه دارد:
- کیفیت و حاکمیت داده ها را بهبود می دهد و حتی بسیاری از روندهای حاکمیت داده و قوانین مربوط به داده ها را خودکار می کند.
- سازمان می تواند به تغییر در روند های قانونی خیلی سریع تر واکنش نشان می دهد و این امر به دلیل بهبود در شفافیت، کیفیت و مدل حاکمیت داده ها رخ می دهد.
- سازمان می تواند بازاری برای داده ها ایجاد کند و یا در بازارهای موجود مشارکت کند و با امنیت کامل داده هایی که در اختیار دارد را با دیگران به اشتراک بگذارد.
- سازمان می تواند فرصت های بیشتری را شناسایی کند و این مورد به این دلیل قابل انجام است که افراد بیشتری به داده ها دسترسی دارند و می توانند چنین فرصت هایی را برای سازمان شناسایی کنند.
دیتا مش: داشتن یا نداشتن؟
این معماری برای هر سازمانی کاربرد ندارد و در تصمیم برای پیاده سازی آن باید محتاط بود. به این دلیل که پیچیدگی ها و پیش نیازهای خاص خود را دارا است. دیتا مش بیشتر سازمان های بزرگ را مورد هدف قرار می دهد که با عدم قطعیت و تغییر در عملکردها و شرایط روبرو هستند. برای اینکه متوجه شوید آیا سازمان شما به این معماری نیاز دارد یا خیر لطفا به سوالات زیر پاسخ دهید.
- سازمان شما چه تعداد منابع داده دارد؟
- اندازه تیم داده سازمان شما چقدر است؟
- چه تعداد محدوده داده ای (بازاریابی، فروش، انبار و غیره) در سازمان دارید؟
- با چه تناوبی تیم داده شما مانع اجرای ایده ها و محصولات داده محور می شود؟ از 1 ال 10 امتیاز دهید. (1: کم – 10: زیاد)
- حاکمیت داده ها چقدر برای سازمان شما اهمیت دارد؟ از 1 ال 10 امتیاز دهید. (1: کم – 10: زیاد)
بعد از پاسخ داده به این سوالات و جمع زدن عددهای به دست آمده می توانید نیاز سازمان تان به این معماری را اینگونه تشخیص دهید:
1-15: با توجه به تک بعدی بودن و اندازه سازمان شما، ممکن است نیاز به دیتا مش نداشته باشید.
15-30: نشان دهنده این موضوع است که سازمان شما در حال رشد است و شاید خیلی نتوانید روی داده های تان تکیه کنید. به همین منظور سعی کنید به آرامی به سمت این معماری جدید حرکت کنید و پیش نیازهای آنرا در سازمان تان ایجاد کنید.
30 و بالاتر: نشان دهنده این موضوع است که داده یک محرک اصلی و مهم در سازمان شما است. بنابراین دیتا مش می تواند تاثیر استفاده از داده در سازمان شما را بیشتر کرده و کارایی استفاده از داده ها را افزایش دهد.
منابع
2. https://www.montecarlodata.com/blog-what-is-a-data-mesh-and-how-not-to-mesh-it-up/
3. https://www.ibm.com/uk-en/topics/data-mesh
4. https://www.starburst.io/learn/data-fundamentals/what-is-data-mesh/
