חברת הבוטיק שפותרת אתגרי ביג דאטה

Data Mesh, קונספט חדשני לאחסון ושליפה של נתונים, מייעל דרמטית את הטיפול בדאטה ומקפיץ את ה-ROI. חברת BigData Boutique מובילה את הגישה בישראל ומטמיעה בארגונים את אחד הפתרונות המובילים בתחום

גיא רונן
תוכן מקודם
שתפו כתבה במיילשתפו כתבה במייל
חברת הבוטיק שפותרת אתגרי ביג דאטהצילום: Shutterstock
גיא רונן
תוכן מקודם

אתגרי הדאטה - אחסון המידע, עיבודו, שליפתו וניצולו לייעול השירות או המוצר - הם מהאתגרים המשמעותיים ביותר שחברות מכל סדר גודל, מסטארט-אפ מתחיל ועד לאנטרפרייז בינלאומי, נדרשות כיום להתמודד איתם. מתודולוגיה חדשה של ארכיטקטורת מידע הופכת אותה ליעילה יותר, נגישה יותר וגם זולה יותר עבור החברות, בתנאי כמובן שבונים ומיישמים אותה נכון.

"בלא מעט חברות הדאטה הופך למוקד קבלת ההחלטות, למה שמוביל את האסטרטגיה", אומר איתמר סין-הרשקו, CTO ומייסד חברת BigData Boutique. "עם שימוש נכון בדאטה אפשר למשל לגלות שמוצר שהוצאנו פחות מעניין כשלעצמו את הלקוחות או השוק, אבל דווקא ביי-פרודקט שלו עתיר פוטנציאל. עם התובנה הזאת נרצה כנראה לבצע פיבוט". אלא שככל שהדאטה מצטבר והופך לביג דאטה, עולה המורכבות שבאחסון ובטיפול בו: "צריך לדעת לאסוף אותו, לשמור אותו, לשלם עליו מחיר הגיוני ולהבטיח ROI סביר. ב-80% מהדאטה הרי בקושי נשתמש, אבל גם לא נרצה למחוק. אז איפה 'מושיבים' את המידע הישן יותר כך שזה יעלה לנו פחות? איך מוודאים שאנשי הפרודקט, האנליסטים ויתר הצרכנים שבארגון מודעים בכלל לאוצר הזה שעומד לרשותם? ואיך יוצרים היררכיית הרשאות?"

בנקודה זו מזכיר סין-הרשקו את הארכיטקטורה הבסיסית: מחסן נתונים - Data Warehouse - המאופיין בריבוי מערכות לגאסי ובמבנה סכמתי ומהודק של טבלאות SQL. הוא מציין גם את הארכיטקטורה המודרנית והמשוחררת יותר של ה-Data Lake. "רוב המהמורות – ניהול סכמת נתונים ומיגרציה, מורכבות ההרשאות והסקיוריטי, הקושי לגזור תובנות באופן אפקטיבי ובעיקר תהליכי ה-ETL, קרי הסרבול בעת העברת הנתונים מצד לצד והצורך באינטגרציה מלאה - אלו נותרו בעינן גם בגישה העדכנית יותר. הן לא נפתרו".

איתמר סין-הרשקו, CTO ומייסד חברת BigData Boutiqueצילום: ליאת ברכה

"בשתי הגישות, הן ב-Warehouse והן ב-Lake, הדאטה נשמר במלואו במקום מרכזי אחד", ממשיך סין-הרשקו. "צריך להביא אותו לשם, לוודא שהוא תקין ותואם את הסכמה, לקמפרס אותו, לעתים להעשיר אותו בפריטים - כל זה מחייב ניטור, עלויות הרצה, צוות אחזקה ועוד. גם חברות שהקימו פלטפורמת דאטה מושקעת, כזו שנותנת להן יותר מאנליטיקות בסיסיות, נכשלות במקרים רבים בשלב הסקייל - אם בשל העלויות, אם עקב בעיית הרשאות ואם בגלל הקושי לבצע 'דמוקרטיזציה' לדאטה ולהפוך אותו לנגיש עבור התפקידים השונים בארגון. כשיש צורך להעתיק פטה-בייטים של מידע למיקום מרכזי אחד, קשה מאוד לגזור תובנות מבוססות נתונים עדכניים ולייצר ערך מוסף אמיתי לחברה". את רוב הבעיות מצמצם באופן ניכר קונספט ה-Data Mesh. בגישה זו, במקום לרכז את כל הדאטה בסילו גדול אחד, מותירים אותו מפוצל היכן שהוא נמצא ממילא. במקביל מייצרים פלטפורמה מרכזית שדרכה מתבצעות השאילתות, והיא יודעת לגשת לכלל מאגרי הדאטה לשם איסוף וניתוח. "לא צריך יותר להעתיק ולשכפל ולבצע טרנספורמציה למידע. אפשר לתשאל בקבועי זמן אפקטיביים בהרבה ולשלב בתשובות גם דאטה עדכני שחונה מחוץ ל-Warehouse. ברור שבמצב כזה נחסכים העיכובים והעלויות הכרוכים ב-ETL. ברור גם שסוגיית ההרשאות נפתרת, כי עכשיו אפשר להחיל את כל האלמנטים על הפלטפורמה המרכזית ואין צורך לסווג את הדאטה המאוחסן עצמו. בשיטת ה-Mesh, הדאטה (כולל עלויות האחסון) לא רק זול יותר, אלא גם עדכני ונגיש ל-Consumers השונים שאותם הוא נועד לשמש מלכתחילה. לכן ה-ROI משתפר דרמטית".

עולם חדש של שאילתות

בניית ארכיטקטורת מידע כזאת, לא כל שכן מעבר אליה מארכיטקטורה מסורתית קיימת, מחייבים ידע וניסיון ייעודיים. חברת BigData Boutique, שמעניקה לחברות שירותי פרימיום של עזרה בפיתוח, ייעוץ ותמיכה בתחום הביג דאטה, היא חלוצת ומובילת ה-Data Mesh בישראל: "זה כבר כמה שנים שאנחנו מיישמים את הגישה באפקטיביות רבה, במיוחד בקרב חברות אנטרפרייז עתירות דאטה - בנקים, ספקיות שירותי בריאות וגם חברות תוכנה גדולות. ספציפית בדוגמאות האלו, לצד ריבוי הדאטה וניהול משתמשים, יש גם חשיבות עצומה לקומפליינס, הרשאות ואבטחת מידע, שכאמור, גם בהם מסייע הקונספט החדשני", אומר ה-CTO.

אחד המוצרים ש-BigData Boutique מספקת ומטמיעה בקרב חברות וארגונים בארץ, לצד שירותי הייעוץ, הוא טרינו (Trino), לשעבר פרסטו (PrestoSQL). זהו מנוע אחזור מבוסס קוד פתוח, המייעל את תהליכי השאילתה במערכת ה-BI הארגונית ומשתלב עם תפיסת ה-Data Mesh. כשותפה של Starburst Data, הוונדור הבינלאומי של המוצר, BigData Boutique מספקת אותו לחברות ישראליות במסגרת של Resell ושירותי אינטגרציה.

במבט קדימה, וחרף הביקוש הגובר, סין-הרשקו מבטיח להישאר פירמת בוטיק שמעניקה שירותים ייחודיים. את זה הוא עושה בעזרת צוות של מקצוענים מולטי דיסציפלינריים, כולם עם ידע עשיר בתכנות ובארכיטקטורת מידע, שמסוגלים ללוות חברה בשלבים שונים בהתפתחות הטכנולוגית שלה ואף לכתוב קוד ולפתח בעצמם מוצרים חדשים בהתאם לצרכים העכשוויים.

"האתגרים של הלקוחות שלנו נעים במנעד רחב - פעם הדגש הוא בעלויות ו-ROI ופעם בזמני שיהוי או בסוגיות של קומפליינס. אנחנו יודעים לחבר את הצרכים לתמונה קוהרנטית אחת ולהתאים פתרונות בהתאם. בסוף, גם אם 'ביג דאטה' זה מושג מעורפל מעט, החזון שלנו ברור: לייעל את התהליכים הכרוכים בדאטה, להבטיח 'דמוקרטיזציה' של המידע ולהנגיש אותו באופן שיאפשר לממש את היעדים שלשמם השקענו - והשקענו לא מעט - בלצבור אותו".

מעבר לאתר>>