در زمان حال، اهمیت استفاده از داده و تکنولوژی در حوزه کسب و کار بر هیچ مدیری پوشیده نیست. طی سالهای اخیر روند استفاده از داده افزایش یافته است و بسیاری از کسب و کارها به منظور کشف فرصت های جدید، کاهش هزینه ها، افزایش تعداد مشتریان، بهبود تجربه مشتریان و دیگر موارد به استفاده از داده روی آورده اند. بسیاری از شما شاید عبارت هوش تجاری را شنیده باشید. می توان هوش تجاری را اینگونه تعریف کرد:
هوش تجاری یک فرآیند مبتنی بر فناوری برای تحلیل داده ها و ارائه اطلاعات کاربردی است که به مدیران و کارمندان کمک می کند تا تصمیمات آگاهانه و درست تری بگیرند.
در شرایط کنونی شرکت ها به استفاده از هوش تجاری روی آورده اند و به این منظور بستری یا پلتفرمی را فراهم کرده اند تا بتوانند از داده و اطلاعات به دست آمده از آن بهره ببرند. این بستر دارای معماری است و در این مطلب قصد داریم درباره شرایط کنونی این معماری ها و معایب آنها صحبت کنیم.
نسل های متفاوت معماری پلتفرم داده
معماری پلتفرم داده در اکثر شرکت ها متمرکز، یکپارچه و حاوی تمام داده های مربوط به شرکت است. به این معنی که داده ها از بخش های متفاوت گردآوری شده و در یک جا ذخیره سازی می شوند و در نهایت با استفاده از ابزارهای تحلیل سعی می شود تا اطلاعات مفیدی از آن استخراج شود.
برای معماری پلتفرم داده می توان سه نسل را در نظر گرفت:
نسل اول: در این نسل پلتفرم گران قیمت و خاصی برای داده ها ساخته می شد و در آن داده ها جمع آوری شده و تحلیل های به صورت گروهی و دوره ای بر روی داده ها صورت می گرفت. این رویکرد باعث می شد که نتیجه استفاده از داده بر کسب و کارها زیاد مشخص نباشد. علاوه بر این افراد کمی می توانستند از اطلاعات به دست آمده استفاده کنند. برای نگهداری این پلتفرم به یک تیم متخصص از افراد نیاز است.
نسل دوم: در این نسل استفاده از داده و تاثیر استفاده از داده بر کسب و کار مشخص تر شد و افراد بیشتری از داخل شرکت ها قادر به بهره برداری از داده های جمع آوری شده بودند. اما همچنان پلتفرم داده گران قیمت و پیچیده بودند و نیاز به تیم متخصص همچنان وجود داشت.
نسل سوم (فعلی): در این نسل تمرکز بر روی تحلیل داده ها در زمان واقعی است. به این معنی که به محض ورود داده به پلتفرم امکان پردازش و بهره مندی از آن وجود داشته باشد. علاوه بر این به وجود آمدن زیرساخت های ابری باعث شده است که هزینه ساخت پلتفرم داده کاهش یابد. همین موضوع باعث شده است که اکثر شرکت ها بتوانند به سمت داده محور شدن حرکت کنند.
اما تمام این معماری ها ضعف ها و مشکلاتی دارند که در ادامه با آنها آشنا می شویم.
دلایل شکست معماری های نسل گذشته
متمرکز و یکپارچه بودن معماری
در نسل های گذشته و فعلی معماری پلتفرم داده همه داده ها در یک جا گردآوری شده و تحلیل بر روی آنها صورت می گرفت اما این تمرکز و یکپارچگی معایبی به همراه دارد. هر چقدر که داده های بیشتر و متفاوت تری گردآوری می شود تحلیل آنها توسط یک تیم سخت تر می شود و در نتیجه بهره وری داده برای مصرف کنندگان کاهش می یابد و برطرف کردن نیازمندی ها به کندی و سختی صورت می گیرد. این موضوع باعث می شود که اطلاعات به دست آمده زیاد کاربردی نباشند.
تقسیم بندی معماری در پلتفرم داده
دلیل دوم شکست معماری های قدیمی روش تقسیم بندی معماری است. جمع آوری داده ها، پاکسازی داده ها، تحلیل و ارائه به مصرف کننده بخش های اصلی تشکیل دهنده این معماری ها بودند و هستند. اما چنین ساختاری با اضافه شدن منابع داده جدید و مصرف کنندگان جدید با چالش جدی روبرو می شوند. چرا که این ساختار خطی به سختی می تواند گسترس یابد و تغییرات به وجود آمده را پاسخگو باشد.
ساختار تیم ها در پلتفرم داده
سومین دلیل شکست معماری های قدیمی و فعلی ساختار تیم ها در این معماری ها است. وقتی به ساختار تیم ها در شرکت های داده محور کنونی از نزدیک نگاه می کنیم با یک تیم فوق تخصصی از متخصصین داده روبرو می شویم که تنها بر روی معماری داده متمرکز هستند و هیچ اطلاعاتی از کسب و کار و نیازمندی های آن ندارند. این در حالی است که کسب و کار و فعالیت های آن مرکز اصلی تولید و مصرف داده ها است. در واقع تیم داده هیچ اطلاعاتی از حوزه کسب و کار و چالش های آن ندارند. این جدا افتادن تیم داده از کسب و کار باعث می شود که اطلاعات مفید و کاربردی از داده ها استخراج نگردد و به این ترتیب نمی توان از داده ها با بهره وری بالا استفاده کرد.
در واقع این معماری ها تا حدودی توانسته اند نیازمندی های سازمان ها را برطرف کنند اما به خوبی نمی توانند پاسخگوی تغییرات سریع در نیازمندی ها کسب و کار ها و سازمان ها باشند و از طرف دیگر نمی توانند برای یک سازمان داده محور امروزی ارزش واقعی خلق کنند. به همین دلیل نیاز به یک معماری جدید برای داده ها داریم. در پست بعد با دیتا مش، نسل جدید معماری داده آشنا شوید.
منابع:
1. https://martinfowler.com/articles/data-monolith-to-mesh.html
