p énzügyi rendszerek alprojekt levendovszky jános (bme)

52
Pénzügyi Rendszerek alprojekt Levendovszky János (BME) Az infokommunikációs technológiák társadalmi hatásai 2014. április 10. Szeged

Upload: rehan

Post on 23-Jan-2016

20 views

Category:

Documents


0 download

DESCRIPTION

P énzügyi Rendszerek alprojekt Levendovszky János (BME). Az infokommunikációs technológiák társadalmi hatásai 2014. á prilis 10 . Szeged. Projekt információ k Beágyazottság Kutatási irányok Eredmények Alkalmazások Indikátorok. Főbb pontok. Konzorciumi partnerek. FUTURICT. - PowerPoint PPT Presentation

TRANSCRIPT

Page 1: P énzügyi Rendszerek alprojekt Levendovszky János (BME)

Pénzügyi Rendszerek alprojektLevendovszky János (BME)

Az infokommunikációs technológiák társadalmi hatásai

2014. április 10.Szeged

Page 2: P énzügyi Rendszerek alprojekt Levendovszky János (BME)

Főbb pontok

• Projekt információk• Beágyazottság• Kutatási irányok• Eredmények• Alkalmazások• Indikátorok

Page 3: P énzügyi Rendszerek alprojekt Levendovszky János (BME)

Konzorciumi partnerek

FUTURICT

Viking Zrt

Page 4: P énzügyi Rendszerek alprojekt Levendovszky János (BME)

Mutató neve Mérték-egység

elért eredmény a jelentéstételi időszakban

A projekt eredményeként benyújtott (magyarországi vagy nemzetközi) szabadalmi kérelmek (szabadalom, oltalom) száma (eljárás elindítása)

db

A projektben közreműködő fiatal kutatók száma

fő 11

A projektben közreműködő magyar kiváló kutatók/ oktatók száma (MTA doktora, illetve ezzel egyenértékű hátérrel bíró)

fő 3

A projekt során elért potenciális FP7/ FP8 partnerek száma db -

A projekt támogatásával hazai és nemzetközi szakfolyóiratokban megjelent publikációk, illetve önálló monográfiák száma

db 11

A projekt keretében megvalósuló K+F projektek száma db 6

A projektben közreműködő vállalkozások száma db -

Adminisztratív mutatók

Page 5: P énzügyi Rendszerek alprojekt Levendovszky János (BME)

Alprojekt kutatási célja

Pénzügyi rendszerek

Page 6: P énzügyi Rendszerek alprojekt Levendovszky János (BME)

Célok és kihívások

Hogyan lehet napjaink pénzügyi folyamatait kiszámíthatóbbá és biztonságosabbá tenni !!!

Instabilitás, csőd

Rögtöni globális hatások

Hálózati kihívások: dominóeffektusok, fertőződések és lavinahatások vizsgálata

Algoritmikus kihívások: kiegyenlítő hatások, kockázat-analízis, algoritmikus kereskedés

FuturICT Pénzügyi Rendszerek Alprojekt

Page 7: P énzügyi Rendszerek alprojekt Levendovszky János (BME)

Bank Bank Company Company

Company

Asset

Asset

Asset

Asset

• Miért fontosak a kaszkádejelenségek ?• Bankok és vállalatok egymáshoz kapcsoltak .• Kapcsolt hálózatok sokkal „sérülékenyebbek”, ami nagyobb

rendszerkockázatot okoz .

Kaszkádjelenségek

Page 8: P énzügyi Rendszerek alprojekt Levendovszky János (BME)

Letörési jelenségekCélok és eredmények: Monte –Carlo szimulációval, hasonló állítások komplexebben összekapcsolt gráfokra

Page 9: P énzügyi Rendszerek alprojekt Levendovszky János (BME)

Elért eredmények• A csatolt hálózatokat leíró

(összeomlási lavinákat mutató) modellben bevezettünk egy időben dinamikus, a támadás alatt álló hálózat lokális gyógyulását (javítási lehetőségeit) figyelembe vevő folyamatot.

• Monte Carlo szimulációval különböző hálózati topológiákra meghatároztuk, mennyivel késleltethető (Δpc) a hálózat összeomlása adott w gyógyulási valószínűség esetén

• Δpc = h wγ,négyzetrács: h=0.703, γ=1.034

Page 10: P énzügyi Rendszerek alprojekt Levendovszky János (BME)

Elért eredmények• A lavinák és az alkalmazott

gyógyulás átformálják a kezdetben szabályos hálózati topológiát.

Az ábrán látható hálózatok:• a) gyógyulás nélkül (w=0.0),• b) kritikus gyógyulás alatt (w=0.2, az

átlagos fokszám csökken),• c) kevéssel a kritikus gyógyulás felett

(w=0.4, fokszám≈áll.),ugyanannyi megtámadott ponttal.

• d) kevéssel a kritikus gyógyulás felett (w=0.4) sok megtámadott pont esetén a hálózatot a gyógyulás egyre sűrűbbé teszi.

Page 11: P énzügyi Rendszerek alprojekt Levendovszky János (BME)

Alkalmazások

• Modellünk alkalmazható bankok és cégek egymástól való kölcsönös függésének leírására.

• A Monte Carlo szimulációkkal végzett mérésekben meghatároztuk a csatolt hálózatok ellenállóképességét véletlen támadások, csődök esetére.

• A mérések lehetővé teszik a hálózatok gyógyítására fordított erőfeszítések megtérülésének (hálózat meddig marad működőképes) számszerű becslését, ezáltal a beavatkozások tervezését.

Page 12: P énzügyi Rendszerek alprojekt Levendovszky János (BME)

Publikációk, indikátorok

• Az eredményeinkről írt cikk elérhető a http://arxiv.org/abs/1312.1993 címen.

• A cikk publikálás alatt áll.

Page 13: P énzügyi Rendszerek alprojekt Levendovszky János (BME)

A fertőzések terjedése gazdasági hálózatokban

Gráf modellezés : hatalmas adatmennyiség bankokban, cégkönyvekben, …etc

Cél: gráf „bányászat” - csődelőrejelzés, üzleti függőségek felfedezése, tulajdonosi struktúrák analízis,

Page 14: P énzügyi Rendszerek alprojekt Levendovszky János (BME)

Kutatási célok

• Complex adatbázis gráffá alakítása • A fertőzési módszertan teljes kidolgozása• A statikus változók és fertőzés vizsgálata egy

konkrét projektben (OTP adatbázis)

TÁMOP-4.2.2/B10-1/2010-0009

Page 15: P énzügyi Rendszerek alprojekt Levendovszky János (BME)

Független Kaszkád Modell

• DR Algorithm*:– 0: (originally) Infected dataset =

Active dataset– 1: Infecting by the edges where

one of the vertices are „active”. – Influence ~ multiplying the

probability of the infection of the edges.

– 2: Infected in the previous period = Active dataset

– 3: If there is no new infection then STOP.

Page 16: P énzügyi Rendszerek alprojekt Levendovszky János (BME)

Eredmények

• Complex gráf statisztikák– Felügyelő bizottság: 38457 pont, 1014737 él– Bt: 227114 pont, 5990252 él– Kft-k: 441656 pont, 26934120 él

• A kaszkád módszer elemei:• Fertőzés kiszámolásának felgyorsítása• Él attribútumok beárazása (inverz fertőzés)• Esettanulmány (OTP kredit default)

TÁMOP-4.2.2/B10-1/2010-0009

Page 17: P énzügyi Rendszerek alprojekt Levendovszky János (BME)

Az adatbázis1719000 magyar vállalat

TÁMOP-4.2.2/B10-1/2010-0009

148 tables in text format

20 tables in SQL database

3 types of graph edges

12 GB 5 GB 2-3MB

Page 18: P énzügyi Rendszerek alprojekt Levendovszky János (BME)

Valódi hálózat fertőződése

Page 19: P énzügyi Rendszerek alprojekt Levendovszky János (BME)

Publikációk

• Bartalos István és Pluhár András, Közösségek és szerepük a kisvilág gráfokban. Alkalmazott Matematikai Lapok 29 (2012) 55--68.

• A. Bóta, M. Krész and A. Pluhár, Approximations of the Generalized Cascade Model. Acta Cybernetica 21 (2013) 37--51.

• M. Krész and A. Pluhár, Economic Network Analysis. In Encyclopedia of Social Network Analysis and Mining , Springer 2013.

• A. Bóta, A. Csernenszky, L. Győrffy, Gy. Kovács, M. Krész and A. Pluhár, , Applications of the Inverse Infection Problem on banking data. PROCEEDINGS OF THE EURO MINI-CONFERENCE GRAZ-2013 ON COLLABORATIVE DECISION SYSTEMS IN ECONOMICS, COMPLEX SOCIETAL & ENVIRONMENTAL APPLICATIONS U. Leopold et al. Graz, Austria, October 17-19, 2013.

• A. Bóta, M. Krész and A. Pluhár, Az inverz kaszkád probléma alkalmazása a magyar cégkapcsolati hálózatra. XXX. Magyar Operációkutatási Konferencia, 2013 június 10-13. Balatonöszöd

Page 20: P énzügyi Rendszerek alprojekt Levendovszky János (BME)

Algoritmikus kereskedés

Mean reversion

Individuális részvényárfolyamok nehezen jósolhatók, korrelált részvények jól jósolhatók és lineáris kombinációjuk visszatér a mean-hez

Predikció alapú

Analízis

Jósolt érték

Jósolt érték

Page 21: P énzügyi Rendszerek alprojekt Levendovszky János (BME)

Intuitív feladatmegfogalmazásÁrfolyamok – sokdimenziós idősorok

1x

2x

3x

optimális lineáris kombináció, amely mean reverting tulajdonságot mutat card. kényszerrel

Keresk. mean reverting portfólióval

buy

sell

profit

sell

profit

Cél:Új módszerek mean reverting portfoliók identifikálására és kereskedésére

Page 22: P énzügyi Rendszerek alprojekt Levendovszky János (BME)

A modell

( ) ( )dp t p t dt dW t

Mean reversion: p(t) Ornstein – Uhlenbeck folyamat

0

( ) 0 1t

t st tp t p e e e dW s

Kulcs paraméter:

gyors visszatérés a mean-hez

legkisebb bizonytalanság stacionér állapotban

( ), 1,...,is t i n az i részvény ára a t-ik időpillantban

, 1,...,ix i n az i-ik részvényből birtokolt darabszám

1

( ) ( ) a portfolió értéken

j jj

p t x s t

1,..., portfolió vektornx xx

FELADAT: : m a xo p t x

x

2

lim ( ) ,2t

p t N

[ ( )] 0 1t tE p t p e e

Page 23: P énzügyi Rendszerek alprojekt Levendovszky János (BME)

A diszkrét modell - AR(1)

1t t t s As w Tt tEG s s ,t Nw 0 Kwhere

1T T Tt t t s x s Ax w x

1 1:

T T T T Tt t

TT Tt t

E

E

x A s s Ax x A GAxx

x Gxx s s x

1 1: max max max

T T T T Tt t

opt TT Tt t

E

E

x x x

x A s s Ax x A GAxx x

x Gxx s s x

Page 24: P énzügyi Rendszerek alprojekt Levendovszky János (BME)
Page 25: P énzügyi Rendszerek alprojekt Levendovszky János (BME)

HMM based trading

Page 26: P énzügyi Rendszerek alprojekt Levendovszky János (BME)

Dimension reduction

Prediciton in the reducted dimensional subspace Speed-up due to decreased comp. complexity enables

us to involve a larger number of assets

(memory and CPU limit) do higher frequency trading

Controllable degree of freedom(e.g. to avoid overfitting)

Probabilistic PCA (PPCA) Clustering algorithms

2,~ N W x + μ It | x

Page 27: P énzügyi Rendszerek alprojekt Levendovszky János (BME)

AR-HMM

Trading with mean reverting portfolios Estimation of the long term mean (μ) Decision whether the process is MR

→ Generalizaton and more flexible modelingwith AR-HMMs

Maximizing the prediction based profit:

211 , , , 1 1 ,

2

tt t e

P p t p t N p t e p t e

1 , , 1 ,t j j jP p t p t q j N p t p t

0

Ψ  m a x   0t

E p t p

x

( ) ( )d p t p t d t d W t

Page 28: P énzügyi Rendszerek alprojekt Levendovszky János (BME)

Numerikus eredmények

144% yearly profit on FOREX with bid-ask spread

Nagyságrendekkel jobb OU paraméter becslés

Page 29: P énzügyi Rendszerek alprojekt Levendovszky János (BME)

Publicációk

Journal papersSIPOS, I. Róbert; LEVENDOVSZKY, János. Optimizing sparse

mean reverting portfolios. Algorithmic Finance, 2013, 2.2: 127-139.

SIPOS, I. Róbert; LEVENDOVSZKY, János. Optimizing sparse mean reverting portfolios with AR-HMMs in the presence of secondary effects. Accepted in Periodica Polytechnica.

J. LEVENDOVSZKY, G. JENEY, F. KIA: Minimizing the loss probability of trading with OU processes

ConferencesSIPOS, I. Róbert; LEVENDOVSZKY, János. Trading with Hidden

Markov Models. In: Proceedings, 15th Applied Stochastic Models and Data Analysis (ASMDA2013), Barcelona, 2013.

Page 30: P énzügyi Rendszerek alprojekt Levendovszky János (BME)

Hangulatbányászat Nagy Gábor, BME, Kazi Sándor, Dr. Búza Krisztián (Uniwersytet Warszawski)

Page 31: P énzügyi Rendszerek alprojekt Levendovszky János (BME)

Kutatási célok

Hangulatok identifikációjaszövegbányászattal a szociális médiában, illetve ezeknek a pénzpiacokra gyakorolt hatásának a mérése

TÁMOP-4.2.2/B10-1/2010-0009

NewsTwitter

Page 32: P énzügyi Rendszerek alprojekt Levendovszky János (BME)

Kihívások

• Nagysebességű és hatalmas méretű adatforrások analízise

• Megfelelő szövegbányászati módszerek hiányában

TÁMOP-4.2.2/B10-1/2010-0009

Megoldás• Elosztott szöveg- és

adatbányászati platform kidolgozása

Page 33: P énzügyi Rendszerek alprojekt Levendovszky János (BME)

Releváns tartalom felismerése

Page 34: P énzügyi Rendszerek alprojekt Levendovszky János (BME)

Releváns tartalom kinyerése

article = {'title': 'EU's top court rules Germany can keep

VW veto law','author': 'Michele Sinner','timestamp':'Tue Oct 22, 2013 5:16am EDT','location': 'LUXEMBOURG/FRANKFURT','summary': 'Germany won the right to...''content': 'The ruling means Germany avoids fines

worth tens of millions of euros...'}

Page 35: P énzügyi Rendszerek alprojekt Levendovszky János (BME)

Releváns tartalom tárolása

article = {'title': 'EU's top court rules Germany can keep

VW veto law','author': 'Michele Sinner','timestamp':'Tue Oct 22, 2013 5:16am EDT','location': 'LUXEMBOURG/FRANKFURT','summary': 'Germany won the right to...''content': 'The ruling means Germany avoids fines

worth tens of millions of euros...'}

Page 36: P énzügyi Rendszerek alprojekt Levendovszky János (BME)

Tartalom elemzésSentiment Analysis

article = {'title': 'EU's top court rules Germany can keep

VW veto law','author': 'Michele Sinner','timestamp':'Tue Oct 22, 2013 5:16am EDT','location': 'LUXEMBOURG/FRANKFURT','summary': 'Germany won the right to...''content': 'The ruling means Germany avoids fines

worth tens of millions of euros...'}

Tulajdonnév felismerés (Named Entity Recognition)Sentiment Analysis

The ruling means Germany avoids fines worth tens of millions of euros and leaves the regional state of Lower Saxony, where Volkswagen is headquartered, with the power to block takeovers and other key decisions such as factory closures.

The Luxembourg-based EU Court of Justice (ECJ) said in a ruling on Tuesday that Germany had complied with a 2007 court ruling ordering it to water down a 1960 law that gave Lower Saxony a de facto golden share in Europe's biggest carmaker.

fines (0.5) block (0.4) closures (0.8)… → negatív sentiment

complied (0.2) water down (0.3) golden share (0.5) biggest (0.8)…→ pozitív sentiment

Sentiment_example = Sum(positive) - Sum(negative) → Cikk Pozitív

Page 37: P énzügyi Rendszerek alprojekt Levendovszky János (BME)

Tartalom elemzésÁr reakció

Hír

Page 38: P énzügyi Rendszerek alprojekt Levendovszky János (BME)

SW platform• Distributed data access to:

– Twitter Streaming API: configurable search terms

– RSS feeds • 250 news feeds – US• 100 news feed – HU

• Distributed preprocessing – available tasks:

– HTML Normalization (tag stripping, encoding correction, etc. )

– Relevant content extraction– Tag extractor– Regexp Extractor– Entity resolution

• Process execution loggingTÁMOP-4.2.2/B10-1/2010-0009

Implementation in Python, MongoDB

Page 39: P énzügyi Rendszerek alprojekt Levendovszky János (BME)

TÁMOP-4.2.2/B10-1/2010-0009

Results

HTML Normalization: 250k documents / hour on 8 nodes

Content extraction800k documents / hour on 8 nodes

Page 40: P énzügyi Rendszerek alprojekt Levendovszky János (BME)

Projekt publikációk

2 conference papers (deliverable in the 2nd year)Fulfilled (1): Gábor I. Nagy, Sándor Kazi: Distributed News Analytics Framework for Text Mining, COGINFOCOM 2013,

Workshop on Future Internet Science and Engineering

2 journal articles (deliverable in the 2nd year)Fulfilled (0): In progress 2, deliverable in 2 months.

1 MsC diploma Thesis (fulfilled)

FUTURICT, TÁMOP-4.2.2.C-11/1/KONV, „Pénzügyi Rendszerek” Alprojekt, Szeged, 2013. május 25

Page 41: P énzügyi Rendszerek alprojekt Levendovszky János (BME)

Kockázatfelosztás vizsgálata nem likvid piacokon és rendszerkockázat esetén (Csóka Péter, Havran Dániel,

Corvinus Egyetem)

• 1) El lehet-e osztani a kockázatot igazságosan– i) nem likvid piacokon (Q3, Q4)– ii) rendszerkockázat esetén (Q5).

• 2) A rendszerkockázat elemzése– i) tőkeallokációs módszerekkel (Q5)– ii) szerződéselmélettel, külső vállalatfinanszírozás

esetén (Q1, Q2)

Page 42: P énzügyi Rendszerek alprojekt Levendovszky János (BME)

Szerződéskötési modellek

TÁMOP-4.2.2/B10-1/2010-0009

Page 43: P énzügyi Rendszerek alprojekt Levendovszky János (BME)

Q1, Q2: A sajáttőke hányszorosát tudja felvenni a vállalat, ha nincs vevője (k_0), ha a bankkal szimmetrikusan (k_s) vagy aszimmetrikusan informált (k_a)

TÁMOP-4.1.2-08/2/A/KMR-2009-0028

Csóka, P., Havran, D., Szűcs, N. (2013) : Corporate financing under moral hazard and the default risk of buyers. Central European Journal of Operations Research,

Page 44: P énzügyi Rendszerek alprojekt Levendovszky János (BME)

Q3-Q4: Szimulációval beláttuk, hogy a kockázatfelosztás során nem likvid piacokon három igazságossági követelmény (a stabilitás, az egyenlően kezelés és az ösztönzés) egyszerre többnyire nem teljesíthető

TÁMOP-4.1.2-08/2/A/KMR-2009-0028

A fenti táblázatok azt mutatják, hogy milyen gyakran teljesül mindhárom követelmény 3 illetve 4 divízió esetén, a likviditási szükséglet (a) és az expected shortfall szignifikanciaszint (k) függvényében.

Page 45: P énzügyi Rendszerek alprojekt Levendovszky János (BME)

Q5: Tőkeallokáció rendszerkockázat esetén: előkészület, irodalomgyűjtés.

• Áttekintettük a rendszerkockázat irodalmát kooperatív játékelméleti szempontból.

• A rendszerszinten fontos intézmények azonosításához a tőkekövetelmények teljes és externális hatását is figyelembe fogjuk venni.

TÁMOP-4.1.2-08/2/A/KMR-2009-0028

Page 46: P énzügyi Rendszerek alprojekt Levendovszky János (BME)

Indikátorok eddig• A hazai és nemzetközi meghatározó szakmai folyóiratokban

megjelenésre elfogadott publikációk száma, melyek a projekt alapkutatási eredményeinek felhasználásával, egyértelmű beazonosíthatósággal készülnek: 1

Csóka, P., Havran, D., Szűcs, N. (2013) : Corporate financing under moral hazard and the default risk of buyers. Central European Journal of Operations Research,

• Hazai és nemzetközi konferenciákon való megjelenés : 2• A projekt alapkutatási területére speciálisan meghirdetett

TDK vagy PhD kutatási tématerület száma: 1• Az Ön projektbeli kutatásában közreműködő fiatal kutatók

száma, beleértve Önt is, amennyiben fiatal kutatóként vesz részt a kutatásban: 3

TÁMOP-4.1.2-08/2/A/KMR-2009-0028

Page 47: P énzügyi Rendszerek alprojekt Levendovszky János (BME)

Társadalmi hasznosulást bemutató kutatási célok, eredmények

ALPROJEKTELEMEK• Fertőződések és csődök

vizsgálata• Algoritmikus kereskedés• Hangulatbányászat,

szemantikus analízis• Szerződések

játékelméleti vizsgálata• Kaszkád- és letörési

jelenségek vizsgálata

TÁRSADALMI HASZNOSULÁS• Biztonságosabb hitelpolitika• Kiegyenlítő hatások,

biztonságos tőzsdei viselkedés • Hangulati elemek

kvantifikálása, pánikok megelőzése

• Igazságosabb szerződések• Robusztus „kapcsolatok”

(gráfok)

Page 48: P énzügyi Rendszerek alprojekt Levendovszky János (BME)

Alprojektek közötti együttműködések bemutatása

SAJÁT ALPROJEKT ELEM

• Hangulati és szemantikai adatbányászat

• Kaszkád- és letörési jelenségek vizsgálata

• Csődök és fertőződések vizsgálata

MÁS ALPROJEKT

• Twitter adatfolyam előfeldolgozása, nyilvános adat archívumok alprojekt

• Természetesnyelv-feldolgozás alprojekt

• Hálózatok szerkezete és dinamikája alprojekt

Page 49: P énzügyi Rendszerek alprojekt Levendovszky János (BME)

Mutató neve Mérték-egység

elért eredmény a jelentéstételi időszakban

A projekt eredményeként benyújtott (magyarországi vagy nemzetközi) szabadalmi kérelmek (szabadalom, oltalom) száma (eljárás elindítása)

db

A projektben közreműködő fiatal kutatók száma

fő 11

A projektben közreműködő magyar kiváló kutatók/ oktatók száma (MTA doktora, illetve ezzel egyenértékű hátérrel bíró)

fő 3

A projekt során elért potenciális FP7/ FP8 partnerek száma db -

A projekt támogatásával hazai és nemzetközi szakfolyóiratokban megjelent publikációk, illetve önálló monográfiák száma

db 11

A projekt keretében megvalósuló K+F projektek száma db 6

A projektben közreműködő vállalkozások száma db -

Adminisztratív mutatók

Page 50: P énzügyi Rendszerek alprojekt Levendovszky János (BME)

Köszönöm a figyelmet !

Page 51: P énzügyi Rendszerek alprojekt Levendovszky János (BME)

Eddig elért eredmények

IndikátorMérték-egység

Elért eredmény

(2013. október 31.)

4.1. Az Önhöz tartozó alprojektben a kutatás eredményeként benyújtott (magyarországi vagy nemzetközi) szabadalmi kérelmek (szabadalom, oltalom) száma (eljárás elindítása)

db

4.2. Az Önhöz tartozó alprojektben közreműködő fiatal kutatók száma, beleértve Önt is, amennyiben fiatal kutatóként vesz részt a kutatásban fő

4.3. Az Önhöz tartozó alprojektben a kutatás során elért potenciális FP7/FP8 partnerek száma db

4.4. Az Önhöz tartozó alprojektben folyó kutatással kapcsolatban hazai és nemzetközi szakfolyóiratokban megjelent publikációk, illetve önálló monográfiák száma

db

4.5. Az Önhöz tartozó alprojekt által indukált új K+F projektek számadb

4.6. Az Önhöz tartozó alprojekt keretében folyó kutatásában közreműködő vállalkozások száma db

Page 52: P énzügyi Rendszerek alprojekt Levendovszky János (BME)

Eredmények

Constant weights NBH ES CS

TOP 1% 0,79 7,77 7,82 8,09TOP 3% 2,17 8,51 8,77 8,46TOP 5% 2,89 7,97 7,97 7,74TOP 10% 3,16 4,97 4,99 4,92Other measurements AUC 65,39% 72,40% 72,49% 71,6%AUC (lower bound) 62,97% 69,90% 69,99% 69,2%AUC (upper bound) 67,81% 74,90% 74,98% 74,1%GINI 7,69% 11,20% 11,24% 10,8%