data quality assurance in a fast changing world hms

מצוינות שהפכה למסורת

(HMS)הלפרין יועצים

Data Quality Assurance in a fast changing world

QA & Development in Agile – 24/05/2012

2

אגנדה

Data quality assurance

מערכת/ ניהול איכות המידע לאורך מחזור חיי המוצר

Data quality assurance in an agile world

Case Study

3

HMS ( יועציםהלפרין)

המספקת הפיננסיות המידע מערכות בתחום בישראל המובילה הקבוצה

פיננסיות ויחידות ההון שוק חברות ,ביטוח חברות ,לבנקים שירותים מגוון

.גדולים בגופים

.פעילותהשנות ניסיון מוכח בתחומי 20

.רחבמומחים מקצועיים במגוון מקצועות 200-של כנבחרת

המספק ( (Data Quality נתונים איכות בנושא התמחות מרכז HMS-ל

בין המנצח השילוב בזכות וזאת ואיכותי רחב שירותים סל ללקוחותיה

,בנקאות :כגון התמחויות במגוון מובחר אדם וכוח מובילה טכנולוגיה

.ועוד BI ,ההון שוק ,ביטוח

HMS -מבט ל

Best Experts

כוח אדם מובחר

Best Practices

מתודולוגיות ושיטות יישום

מוכחות

Best of Breed

Solutions פתרונות

תוכנה מובילים

State of the Art

Technology's

שילוב טכנולוגיות מתקדמות

4

Data Quality Assurance

quality Data

Data are of high quality "if they are fit for their intended uses in operations, decision making and

planning".

Alternatively, the data are deemed of high quality if they correctly represent the real-world construct to

which they refer.

Data Quality

המידע אמין

המידע עדכני

המידע עקבי

המידע שלם

משקף את

הביזנס

מוגדר ומובן

Wikipedia: מקור

שינויי תוכנה

תכופים

הסבת מערכות

הכנסת רכיבים

חדשים

יישום דרישות

רגולציה חדשות

מידע ישן

גידול מואץ

.בהיקף המידע

טעויות אנוש

קלט בעייתי

5

בעיות שכיחות בתחום איכות נתונים

מחדלשימוש בערכי ברירת

חסריםערכים

שונותנתון למשמעויות עסקיות / שימוש באותו שדה

מבנהי "עפ/ מידע המוזן באופן ידני ולא באמצעות בחירה מרשימה

הקייםסתירות לוגיות במידע

בארגוןתאימות המידע לתהליכים ולחוקים העסקיים -אי

מעודכןמידע לא

ערכיים-חדלא / חסרים / מפתחות כפולים

The cost of poor data quality

6

Increase cost - at least 10% (and probably as much as 20%) of revenue.

Anger customers.

Increase the difficulty of decision making.

Make it more difficult to implement new technologies.

Put company image at risk.

אתגרים בניהול איכות נתונים

7

פיה צריכים להתנהל הנתונים-של הארגון שעלהלוגיקה העסקית תיעוד וניהול.

י משתמשים שאינם בעלי מיומנויות פיתוח"גם ע, הגדרת בקרות בצורה קלה וגמישה.

ביצועData Profiling על מסת נתונים לצורך איתור מידע החשוד כשגוי.

ובלא צורך במעורבות " ללא עלות"של הבקרות באופן אוטומטי הרצה חוזרת יכולת

.גורמי הפיתוח

מעמיק ללא צורך בכתיבת קוד תוכנה תחקור.

אוטומטיים באמצעות מערכת ממוכנת-אוטומטיים וחציתהליכי טיוב ניהול.

התראות האירועים ניהול(Action Items )כחלק מתהליך הטיוב ושימור איכות המידע.

8

אגנדה

Data quality assurance

מערכת/ ניהול איכות המידע לאורך מחזור חיי המוצר

Data quality assurance in an agile world

Case Study

מערכת/ ניהול איכות המידע לאורך מחזור חיי המוצר

9

Requirements

Design

Implementation Quality

Assurance

Installation

Maintenance

תלויי אינם החיים מחזור שלבי

לכל משותפים – פיתוח מתודולוגיית

.והארגונים המערכות

המעורבים הגורמים כל של שיתוף:

ולקוחות QA ,פיתוח ,מערכות מנתחי

.המערכת

תוכן עולמות" ניהול"

אחד כל עבור ומותאמים מקבילים

.המעורבים מהגורמים

העיבוד שלבי כל של מלא מיכון,

במשאבים חסכון – והתחקור הבקרה

.רבים

הבקרה תהלכי בעדכון מלאה גמישות

.פיתוח במשאבי צורך בלא

מרכיבי מערך בקרת איכות נתונים

10

Data Quality

Managment

ניהול חוקה עסקית

בקרות עסקיות

Data Profiling

תפעול בקרות וכלי

תחקור

ניהול התראות ואירועים

בקרה וטיוב נתונים

דמוגרפיים

ניהול טבלאות מרכזיות

אבטחת מידע ורכיבי

מידור

11

בארגון Data Qualityשלבי יישום

פיתוח מודעות ארגונית

ניתוח מצב קיים

גיבוש תוכנית עבודה ויישומה

פעולות שימור

12

פיתוח מודעות ארגונית –' שלב א

Team Work …

הכרה זו . בארגון Data Qualityנדרשת הכרה ארגונית בחשיבות ובתועלות הנובעות מיישום

:בין השאר באמצעות, מתקבלת

לכל הגורמים בארגון ואינה נחלת ההאחריות לטיב הנתונים משותפת הבנה כי-IT /

.ביזנס בלבד

הבא לידי ביטוי בשורה הרווח התחתונה של לאיכות מידע ירודה ( יקר)יש מחיר הבנה כי

(.1:10:100חוק )הארגון

מורכבות עסקית וכדומה, בגרותו, גודלו –המותאמת לארגון מתודולוגיית עבודה אימוץ.

המגדירים את מדיניות ניהול איכות הנתונים הארגוניתיעדים כמותיים ואיכותיים קביעת.

הגדרת בעלי תפקיד רלוונטיים( כדוגמתData Owners ו-Data steward).

של בתוכנית העבודה השנתית שילוב נושא איכות הנתונים

.לרבות הקצאת המשאבים הנדרשים, הארגון

13

בארגון Data Qualityשלבי יישום

פיתוח מודעות ארגונית

ניתוח מצב קיים

גיבוש תוכנית עבודה ויישומה

פעולות שימור

14

ניתוח מצב קיים–' שלב ב

איסוף וריכוז המידע הקיים בארגון בנושא איכות מידע

מיפוי מקורות המידע

מיפוי ישויות ושדות

(בהתאם למיקוד עסקי)

ניתוח הנתונים ואיתור כשלים

(קשרים בין ישויות שונות/ שדה / יישות )

15

בארגון Data Qualityשלבי יישום

פיתוח מודעות ארגונית

ניתוח מצב קיים

גיבוש תוכנית עבודה ויישומה

פעולות שימור

16

תהליך הקמת מערך בקרת איכות הנתונים

הגדרת בקרות וחוקה עסקית

תפעול הבקרות

תחקור החריגים

ניהול התראות ואירועים

ומנועי החוקה עסקית מודולי הבקרה

ממשק תחקור וממשק דוחות

מודול התראות ואירועים

ממשק תפעול

הגדרת אוכלוסיית המדגם –ממשק הגדרת הבקרות

17

החריגיםהגדרת אוכלוסיית –ממשק הגדרת הבקרות

18

19

דוח תיעוד אפיון הבקרות –הגדרת בקרות עסקיות

20

Data Profilingדוגמא ליישום בקרות בעקבות הפעלת

21

באמצעות ממשק משתמש –תפעול הבקרות

22

(ניהולי)דוח תוצאות הבקרה –תפעול הבקרות

23

מוניטור ריצות בקרה -תחקור חריגים

24

פרוט הבקרות שהופעלו –תחקור החריגים

מידע השוואתי מול ריצה

קודמת וממוצע ריצות קודמות

25

פרוט הרשומות החריגות –תחקור החריגים

מבנה גמיש בהתאם לצרכי

מטייב/המתחקר

26

ממשק תחקור סטטיסטי –תחקור החריגים

27

RASמערכת

מערכת לניהול ובקרת איכות המידע המבוססת חוקה עסקית

י"ע פותחה HMS ומורכבים גדולים וטיוב הסבה פרוייקטי במסגרת.

איכות ושימור תחקור תהליך ותפעול לניהול "לקצה מקצה" פתרון מספקת

.הטיוב תהליך אחר בפיקוח וכן הנתונים

מורכבת עסקית בינה של מהיר יישום המאפשרים עסקית חוקה מנועי בעלת

.הבקרה בתהליכי

(.ודומיו 357תקן )מותאמת לדרישות הרגולציה הישראלית בנושא אבטחת מידע

ניהול אירועים והפצת ממצאי הבקרה, בעלת מנגנוני התראה.

28

ארכיטקטורה כללית של מערך איכות הנתונים

מקורות

המידע

RAS

System

RAS Application DB

Staging

area DB

ניהול טבלאות

מרכזיות

אבטחת מידע

ורכיבי מידור

מחולל דוחות

ושאילתות

מחולל חוקים

עסקיים

מנגנון התראות

ואירועים

בקרה וטיוב

ם דמוגרפיםנתוני

בקרות עסקיות

Data Profiler

תפעול תהלכי

עיבוד ובקרה

RAS

Output

IB &

Olap

דוחות בקרה

והשוואה

כלי תחקור וניתוח

MetaData

דוחות/קבצי

אוטומטיים טיוב

טיפול בהתראות

ואירועים

דוחות מבוקרים

SOX -ותמיכה ב

תיקי אפיון ותיעוד

דינאמיים

29

אגנדה

Data quality assurance

מערכת/ ניהול איכות המידע לאורך מחזור חיי המוצר

Data quality assurance in an agile world

Case Study

Data quality assurance in an agile world

30

תמיכה בריבוי סביבות וניהול גרסאות.

יכולת פיתוח תהליכי בקרה מורכבים באופן מודולרי ומהיר.

גמישות ביכולת עדכון לוגיקת הבקרות -תכופיםתמיכה בשינוים.

בודקים / י מומחי תוכן עסקיים "הבקרות עתפעול -הפיתוח הורדת העומס מגורמי.

שקיפות לגבי לוגיקת הבקרה ותוצאותיה –שיתוף הלקוח העסקי.

תמיכה בסבבי פיתוח קצרים.

ביצוע בדיקות רגרסיה מלאות בסיום גרסא.

לחיצת כפתור"הפקת אפיוני ודוחות הבקרה ב –תיעוד ומעקב."

31

אגנדה

Data quality assurance

מערכת/ ניהול איכות המידע לאורך מחזור חיי המוצר

Data quality assurance in an agile world

Case Study

Case study – בקרת איכות נתונים בפרויקט הסבה

32

:פרטים כלליים

.קבוצה בנקאית גדולה: הלקוח

.בנקים למערכות הקבוצה 3ניהול כלל מבדקי הקבלה להסבת : נושא

:המטרה

הקמת מערך בקרת איכות נתונים האחראי לוודא כי כלל תהליכי ההסבה בוצעו כהלכה

.לרבות בקרת ההמשכיות העסקית במערכות החדשות –מבחינה עסקית וטכנולוגית

: אתגרים

מאות טבלאות ועשרות מיליוני רשומות, עשרות מוצרים, מערכות שונות 40-כ –היקף המידע.

הפרויקט כלל את כל המידע הבנקאי החל מפרטי לקוחות ועד למוצרים הבנקאיים –מורכבות

.עצמם

לזה שהספק המסב ביצע לצורך אימות לוגיקת ההסבהאפיון מקביל ביצוע.

ושמירה על היכולת לבצע עדכונים מיידייםלוגיקה עסקית מורכבת ניהול.

וביצוע תחקור מעמיק של התוצאותתפעול הבקרות.

שעות להשלמת תהליך ההסבה במקביל והבקרות 4.5חלון זמן של – מהירות.

33

אמין ועדכני מסייע לפעילות התפעולית של הארגון , מידע שלם – בעלויות התפעוליותחיסכון

.שגוי/חסרוחוסך עליות רבות הנובעות ממידע

הינו תנאי בסיסי לביצוע ( מקודד)מאגר לקוחות עדכני ומנורמל –שיפור היכולות השיווקיות

.מיטבי( ROI)תועלת / שיווקיים ממוקדים בעלי יחס עלות" קמפיינים"

עמידה בדרישות רגולציה

איתור כשלים במידע והצפת החריגים באופן שוטף – והשבחת תהלכי עבודה בארגוןייעול

.לצד נקיטת פעולות מניעה יסייעו לארגון בייעול והשבחת תהליכי העבודה

מהלכי הבקרה האוטומטיים המופעלים בתדירות קבועה מאפשרים – חיסכון בזמן ובעלויות

.בטרם נגרמו נזקים ממשיים לארגון, איתור מוקדם של אירועים חריגים וטיפול מיידי בהם

End-To-End - מערכת ה-RAS המאפשר יישום מערך בקרה " מקצה לקצה"מספקת מענה

.שלם תוך פרק זמן קצר יחסית

בהקמת מערך ניהול ובקרת איכות נתוניםסיכום התועלות

34

הזמנה

לקבלת פרטים נוספים והדגמה HMSהינכם מוזמנים לביתן

,תודה רבה והמשך כנס מהנה

מנהל תחום איכות נתונים והסבות, ערן משיח

050-8430086 /eranm@hms.co.il

35

תודה על ההקשבה

ערן משיח

מנהל תחום איכות נתונים והסבות

eranm@hms.co.il| 050-8430086: נייד

:ליצור קשר עםניתן , למידע נוסף