taller 1 ia4ai inteligencia artificial para auditoría

Semana Internacional del Compliance 2021 (SIC)

Inteligencia Artificial para Auditoría Interna (IA4AI)

Taller 1 – IA4AI

15 de Noviembre 2021

Índice

Inteligencia Artificial para Auditoría Interna (IA4AI)

▪ Sobre FTI Consulting

▪ Inteligencia Artificial: tecnologías, machine learning, paradoja de Moravec y el futuro de la IA

▪ Auditor Interno: Misión, Funciones y tareas referentes a riesgos

▪ Caso 1: Detección de anomalías en un proceso de compras sin licitación con IA

▪ Caso 2: Detección de anomalías en gastos de empleados con IA

▪ Caso 3: Detección de operativa sospechosa de blanqueo de capitales

▪ Caso 4: Detección de llamadas personales con el móvil profesional

▪ Caso 5: Análisis reputacional usando IA y contenido público de redes

2

Semana Internacional del Compliance 2021

Taller 1: Inteligencia Artificial para Auditoría Interna | FTI Consulting


Taller 1: Inteligencia Artificial para Auditoría Interna | FTI Consulting 3

FTI Consulting es una firma independiente de asesoramiento global que cotizaen la Bolsa de NY, y que presta servicios agrupados en 5 segmentos, entre losque se encuentra Forensic and Litigation (FLC). Contamos con más de 6.400profesionales en 29 países.En España, nuestros equipos de FLC y Tecnología realizan investigaciones defraude, revisiones de compliance, apoyo a equipos de auditoría interna, duediligence reputacionales, e informes periciales, entre otros.

Corporate Financey Reestructuración

Forensic and Litigation Consulting

Consultoría económica

Comunicación estratégica

Tecnología

Plan de negocio y gestión

de caja

M&A

Asesoría en transacciones

Due diligence (técnica,

comercial, regulatoria y

financiera)

Transacciones E&P (farm-

ins/farm-outs)

Asesoría en impuestos

Turnaround y

reestructuración

Interim Management

Evaluaciones y servicios de

asesoría financiera

Investigación de fraude,

corrupción y regulatoria.

Auditoría forense

Prevención y detección de

fraude

Auditoría de Joint Ventures y

de participadas

Asesoramiento en disputas

Experto pericial en litigios

Arbitraje Internacional

Inteligencia corporativa

Background checks y Due

Diligences Reputacionales

Soluciones para la

Construcción

Compliance, Monitorización &

Administración Judicial

Mercados Regulados

Valoración de Negocios

Arbitraje Internacional

Políticas Públicas

Litigios con valores y Risk

Management

Antimonopolio y

Competencia

Propiedad Intelectual

Trabajo & Empleo

Asuntos públicos

Comunicación corporativa

Comunicación financiera

Consultoría estratégica e

investigaciones

Data Science & Analytics

Informática Forense e

Investigaciones

Discovery Consulting

Software de

E-Discovery

Ciberseguridad

Sobre FTI Consulting

Inteligencia Artificial

Definición: es la habilidad de una máquina de presentar las mismas capacidades que los seres humanos

4Taller 1: Inteligencia Artificial para Auditoría Interna | FTI Consulting

Machine Learning (ML) / Aprendizaje máquina


Natural Language Processing (NLP) / Lenguaje Natural

Robotics

Supervisado

No supervisado

Extracción de contenido o contexto

Responder preguntas (chatbot)

Generación o limpieza de texto

Automatización de procesos

Mantenimiento periódico de la calidad del datoVisión Reconocimiento de imágenes

Speech / Habla Text to speech

Speech to text

Identificación por voz



Si los defraudadores usan Inteligencia Artificial, los sistemas de prevención deben usar Inteligencia Artificial


Fuente: computer hoy




Técnicas Expert Driven

Técnicas Data Driven

Reglas o alertas basadas en la experiencia de un experto

Expert Driven vs Data Driven (Machine Learning)

Visión humano

Visión máquina

Un algoritmo extrae el conocimiento directamente del dato y genera un modelo

• Modelos predictivos (supervisados)• Segmentación o detección de anomalías (no supervisado)• Análisis de grafos para observar comportamientos colaborativos• Text Analytics.

• Ejemplo 1. Un control antifraude de Auditoría Interna: duplicado.“Factura que tiene todos sus campos iguales”

• Ejemplo 2. Un escenario de detección de operativa sospechosa: patrón puente. “Ingreso en efectivo y transferencia inmediata al exterior del 90% o más de lo ingresado.”

Objetivo: combinar ambas técnicas para detectar más, minimizar errores y ser más ágiles que el defraudador o blanqueador




Paradoja de Moravec. Lo que es fácil para una máquina es difícil para un humano y viceversa. Necesidad de combinar ambas capacidades

Variables a considerar

Rangos para números

Pregunta a responder

Método para medir precisión

Validar

Encontrar correlaciones entre las variables

Autoaprender automáticamente del dato

Agilidad

Inferir: responder con incertidumbre

Creatividad

Alta computación




¿Tiene futuro la IA? En el año 2016, Gartner anticipó una adopción del Machine Learning en 5 años máximo




¿Qué dice Gartner en el año 2021? 7 tecnologías relacionadas con la Inteligencia Artificial

• AI Augmented Software Engineering

• Generative AI. Generación de textos, imágenes,videos, voz artificiales mediante AI

• Physics-Informed AI

• Quantum ML

• AI Augmented Design

• AI-Driven Innovation

• Machine-Readable Legislation


¿Preguntas?

Auditor Interno

“La misión de la Auditoría Interna es mejorar y proteger el valor de las organizaciones proporcionando aseguramiento objetivo, asesoría y conocimiento basado en riesgos”Marco Internacional para la práctica profesional de la Auditoría Interna


Asesorar

Prevenir

Detectar

Monitorización Continua

En relación a identificar el fraude, corrupción, actividades ilícitas y operativa sospechosa de blanqueo de capitales. Esto debiera incluir los últimos avances tecnológicos en Inteligencia Artificial.

Anticiparse y disuadir a potenciales defraudadores por miedo a ser descubiertos. Descubrimiento de nuevos patrones de fraude a partir del dato (Machine Learning).

Debe tener unos conocimientos suficientes para identificar los indicios de fraude, pero no tantos como un experto del departamento antifraude de la compañía. Conocimiento básico de los modelos analíticos (Supervisados y No supervisados) que puedan ayudar a la detección de fraude

Estar siempre alerta a las posibles debilidades de los controles de la compañía para evitar fraudes actuales y futuros. Apoyarse en una máquina que monitorice continuamente y de forma desatendida los controles (Robotics).


Auditor Interno

Funciones: Control de riesgos, Políticas y procedimientos, Información contable y Cumplimiento


1. Control de riesgos

• Garantizar su existencia• Comprobar que la gestión de riesgos es

adecuada

4. Cumplimiento

• Asegurar la legalidad

• Anticorrupción

• Antiblanqueo de Capitales…

2. Políticas y procedimientos de la Organización

• Revisar

• Verificar su eficacia

• Identificar y evaluar riesgos a los que se enfrenta la Compañía

3. Información contable

• Velar por su integridad

• Asegurar su correcta gestión


Auditor Interno

Tareas referentes a Riesgo de fraude


Mapas de Riesgos

Prevenir

Segregación de funciones

Planes de auditoría

Confección periódica de mapas de riesgos

Fomentar la existencia medidas preventivas

Supervisar la correcta segregación de funciones

Elaboración de planes de auditoría

Canal de denuncias

Investigación

Planes de acción

Garantizar su correcto funcionamiento

Participar en la investigación

Realizar seguimiento de los planes de acción


¿Preguntas?

NUESTRO ROL: NUESTRO IMPACTO:

SITUACIÓN INICIAL:

Caso 1: Optimizar el proceso de compras para el departamento de Auditoría

Diseñar, desarrollar y ejecutar una plataforma para detectar anomalías en el proceso de compras usando machine learning (predicción, detección de anomalías, análisis de grafos y textanalytics)

1 empresa cotizada del IBEX35 necesitaban conocer si podían mejorar su proceso de compras (materiales) para ahorrar costes. Nunca habían utilizado modelos analíticos y querían conocer sus beneficios.

▪ ¿Cuáles son los proveedores que acumulan un mayor número de pedidos anómalos?

▪ ¿Cuáles son los compradores/aprobadores con mayor número de pedidos anómalos?

▪ ¿Por qué un pedido es anómalo?

▪ Encontrar nuevos patrones de irregularidad con modelos

Después de una investigación puede ocurrir: (i) Error en el dato, (ii) Un comprador podría obtenerlo más barato o (iii) fraude.

En todas ellas (i, ii, iii) hay reducción de costes

▪ Instalar y desarrollar un entorno basado en reglas combinados con modelos de Machine Learning

▪ Identificar pedidos anómalos y agruparlos por comprador y proveedor

▪ Construir un cuadro de mando para ayudar a las investigaciones visualizando, en todo momento, el coste a optimizar

▪ El departamento de Auditoría Interna participaría en la investigación.

Millones de euros optimizados agrupados por proveedores y compradores

Evaluación y mejora de su actual proceso de compras

Uso de modelos de inteligencia artificial en Auditoría Interna desde 0

Ejecución eficiente

Privado & Confidencial 15



Dato básico solicitado. Pedidos.



Pedidos ejecutados en el proceso de compras sin licitación en un año (2020/01/01 hasta 2020/12/31).

▪ Número total de pedidos: 33.000▪ Número total de artículos: 55.500▪ Acumulado total: 96.000.000 €▪ Número de Proveedores: 3.378▪ Número de Compradores de la compañía: 435

Variables por pedido:

Variables entregadas (9)

Identificador de pedido Tipo de Compra Fecha pedido

Comprador Proveedor Tipo de Material

Artículos en el pedido Descripción articulos Cantidad en €

Encontrar nuevos patrones de irregularidad y puntos a optimizar en el proceso de compras utilizando Inteligencia Artificial


17




Control de auditoría existente (irregularidad conocida): fraccionamiento.



Proceso de compras sin licitación“Si un pedido no supera los 10.000€, no requiere pasar por una licitación o concurso con otros proveedores. La compra se realiza directamente para agilizar el proceso”

Control (fraccionamiento)“Si hay dos pedidos (o más) cuya cantidad acumulada supera los 10.000€ en un periodo de 5 días de un mismo proveedor, con un mismo comprador y mismos artículos → Investigar pedidos”

Ventajas de los controles / reglas:Replican nuestro protocolo o política de compras

Desventajas de los controles / reglas:Los controles sólo detectan casos conocidos (dependen de la experiencia actualizada del experto), son dependientes de umbrales estáticos y no aprender del resultado de las investigaciones → producen muchos falsos positivos

La idea es combinar las reglas con modelos analíticos para cumplir con el protocolo y ser eficientes


Tipos de modelos construidos I



■ Modelos predictivos o de clasificación. Encuentran casos similares a otros identificados como irregulares junto a una probabilidad de irregularidad

■ Modelos de detección de anomalías. Encuentran casos muy anómalos al resto y pueden ser dignos de investigar

Jurídicas – Ingresos elevados

Ventajas

Encuentran casos que casi han cumplido nuestros controles

Auto-aprenden de los fallos y aciertos de las investigaciones

No hay que fijar umbrales, los determina la máquina

Ventajas

Encuentran casos totalmente nuevos

No es necesario disponer de casos irregulares para que el sistema aprenda inicialmente

Red bayesianaÁrbol de decisión


Tipos de modelos construidos II




Ventajas

Soporte a las investigaciones imposibles de realizar de forma ordenada

Se pueden detectar redes complejas

Permiten realizar investigaciones completas

Ventajas

Ejemplo de red anómala

+




Modelo predictivo

Rojo: Detectado por el control y por el modeloVerde: Nuevo caso detectado solo por el modelo

Ordenamos por probabilidad (descendente)

Ejecutamos los pedidos sobre el modelo construido y éste le asigna una probabilidad de irregularidad




Modelo de detección de anomalías – Agrupa proveedores por comportamiento similar - Tipos de proveedores

Los clusters con menos elementos son los más anómalos

4 proveedores acumulan mucho dinero y no me indican el material

7 proveedores no me indican el material, aporte acumulado medio y múltiplos de 100




Análisis de grafos. Analizar la red de compradores-proveedores. Cuando hay un pedido entre ambos se pinta una flecha.

Rojo = Caso detectado anteriormente por la Compañía

Estos modelos son los únicos que pueden encontrar fraude colaborativo. En este caso un proveedor recibe múltiples pedidos de compradores que a su vez están implicados en fraccionamiento con otros proveedores. Este proveedor en verde escapaba a las reglas




Cuadro de mando

Dashboard con Datos ficticios




Canal de denuncias. Podemos sincronizar el canal de denuncias con modelos predictivos para encontrar comportamientos similares a denunciados como irregulares entre nuestros empleados o proveedores

Retroalimentar



SITUACIÓN INICIAL:

Caso 2. Detección de irregularidades en gastos de empleados

26

Construir modelos analíticos para detectar importes anómalos y duplicados en gastos de empleados. Añadir inteligencia a la transformación de las facturas de papel a digital y optimizar costes.

3 meses de gastos de los empleados para los 28 conceptos más importantes (65.490 facturas). Acumulado: 16 millones euros.

Sistema de detección de irregularidades basado en reglas:

• Duplicados: 2 facturas distintas con todos sus campos iguales

• Importes anómalos: Desviación de x veces respecto de la media para un concepto

■ Generar modelos predictivos y de detección de anomalías y duplicados a partir del dato

■ Combinar varios tipos de modelos Se detectaron nuevas formas de defraudar

Se encontraron nuevos predictores del fraude

48 facturas duplicadas y 158 facturas de importe anómalo con un acumulado total de 1 millón de euros





Caso 2: Detección de irregularidades en gastos de empleados

Predicción del importe base en función de otras variables para detectar importes anómalos




Inferir un precio con aquellas variables que se conocen. Decidir bajo incertidumbre.




Comidas de representación cuyo valor excede


¿Preguntas?


SITUACIÓN INICIAL:

31

Diseño, desarrollo y ejecución de una plataforma de evaluación y mejora del Sistema anti-blanqueo para cumplir con el supervisor financiero (SEPBLAC, CSSF, CNBV…)

1 banco top necesitaba probar a un Regulador o Supervisor Financiero que habían cumplido con la ley sobre blanqueo de capitales en el ultimo año.

Además, este banco necesitaba un informe de experto independiente usando el dato de operativa, KYC (conocimiento de cliente) y el histórico de comunicaciones al Regulador (F19s, SARS…).

■ Revisión de la calidad del dato del KYC para demostrar que cumplía la ley: identificación con documento oficial de los clientes, completitud total de determinadas variables (residencia, fecha nacimiento…) y operativa (transferencias a países de riesgo, efectivo,…)

■ Validar y actualizar las listas de jurisdicciones y países de riesgo (GAFI, Paraísos Fiscales…)

■ Validar y actualizar el riesgo de actividades y ocupaciones…

■ Instalar nuestro software en estos clientes para evaluar el Sistema actual de AML

■ Definir e implementar los escenarios optimizados y modelos analíticos para mejorar el Sistema de PBCyFT

■ Nuestro equipo de investigadores ayudan al banco a investigar y reportar al regulador toda la actividad sospechosa detectada

■ Experto Independiente basado en DA de los resultados

Investigaciones más eficientes y completas

Evaluar y mejorar el Sistema actual de AML (Siron, Actimize, SIOPEIA, Desarrollo propio…)

Reducir el número de alertas entre el 30-40%.



Caso 3. Evaluación y mejora del Sistema actual de AML

Por muy buenos que sean tus controles de PBCyFT, con una mala calidad del dato, el sistema fallará. No solo hay que preocuparse del dato del on-boarding de los clientes sino de su actualización con la periodicidad necesaria

■ ¿Cuál es el dato básico del KYC que siempre debemos tener actualizado para que nuestro sistema de PBCyFT funcione correctamente?

32

AML MonitoringDatabase

Información del cliente/KYC

Datos transaccionales

Información de cuentas

Operativa sospechosa analizada

Relaciones persona a persona

Fiabilidad (controles estadísticos)

Integridad

Completitud de los datos

País residenciaPaís de constitución

CNO CNAE

PEP PEP

Ingresos anuales declarados

Ingresos anuales declarados

Fecha de nacimiento

£

Físicas Jurídicas

Fecha de constitución

Dato básico del KYC

Mantenimiento periódico de la calidad del dato

Validación (¿semestral?¿anual?)

+




Si tenemos un escenario que dependa directamente de uno de éstos campos y no está relleno o no actualizado producirá falsos positivos en nuestras investigaciones o personas (físicas o jurídicas) escaparán a nuestro control

■ Ejemplo 1. No tener rellena la fecha de nacimiento de todas las personas físicas

■ Ejemplo 2. No actualizar los ingresos declarados de forma periódica. Si no se dispone de este campo, caso ejemplo 1.

33

Físicas – Operaciones efectivo


Menores con altos ingresos en efectivo

Jubilados con altos ingresos en efectivo

Ingresos reales 4 veces más elevados que los declarados

Si no hay fecha de nacimiento rellena, no se dispone de edad y por lo tanto, no se podría verificar este control (error por mala cantidad del dato KYC)

Si no se actualiza periódicamente, se producen muchos falsos positivos porque los ingresos de las personas jurídicas pueden variar fácilmente




Podemos calcular un scoring único (reglas+modelos) y priorizar las investigaciones por él

34

Id Cliente Regla1 Regla2 … Regla n Modelo 1 Modelo2 …Modelo

NScoring

1 19 7 … 8 168

2 28 23 5 … 122

3 9 50 … 115

…. …

m 2 … 2

Scoring global = 0.5 (Riesgo escenarios) + 0.5 (Riesgo modelos)




Si usamos modelos deben de estar documentados como los escenarios de PBCyFT para su posible revisión

35

Físicas – Operaciones efectivo

Escenarios

Rulebook Modelbook

Modelos

Escenario 1• Descripción• Fecha de creación / fecha de actualización• Umbrales por segmento a partir del que se investiga• Variables implicadas• Ejemplo

Escenario n

Modelo 1

Modelo n• Descripción• Fecha de creación / fecha de actualización• Umbrales por segmento• Variables implicadas• Ejemplo

• Descripción / Tipo de modelo• Fecha de creación / fecha de actualización• Probabilidad o índice a partir del cual se investiga• Variables implicadas• Ejemplo

• Descripción / Tipo de modelo• Fecha de creación / fecha de actualización• Probabilidad o índice por el cual se investiga• Variables implicadas• Ejemplo

… …




+


Si se utilizan modelos analíticos explicativos ayudarán a su investigación y reporte al regulador



Ejemplo de red transferencias internacionales emitidas a cuentas de países de riesgo

: Cliente de la Entidad Bancaria: Cuenta bancaria en país de riesgo


Pueden detectar estructuras societarias sospechosas o red de transferencias y ayudar a la investigación de la red completa para ser reportada



¿Preguntas?

Caso 4: Detección de llamadas personales desde el móvil profesional


Teléfonos totales implicados

Teléfono profesional llamado por 3 empleados distintos

39

Si dos empleados llaman a un mismo teléfono se asume que es un cliente. Red llamadas de 8 empleados durante un año


Caso 5: Análisis reputacional con IA e información pública de redes


Sergio Ramos en UK (Twitter) Salah en España (Twitter)

VS

40

Ejemplo de análisis reputacional usando información pública de Twitter. Miércoles 31 de Marzo 2021.



Taller 1: Inteligencia Artificial para Auditoría Interna | FTI ConsultingFuente: Libertad digital y The New York Times 41

Para que no nos ocurra como al AC Milan



¿Se podría haber evitado?


Extracción masiva de tweets que

contengan “Yonghong Li”

Volumen de tweets

analizados superior a 1000

Más de 18idiomas

procesados

Español – Inglés Árabe – Italiano

Indonesio – Turco

Rango temporal de procesamiento de datos

6 años

Usuarios analizados446

Text Analytics a partir de diccionarios propios

Fraude – ML

Análisis de redes colaborativas

Conversaciones Cruzadas

Conclusión: Entusiasmo y dudas


¿Preguntas?

Manuel Marín es Managing Director y Head of Data Science &

Analytics en FTI Consulting (España). Durante los últimos 20

años, ha participado activamente en proyectos de Data

Science & Analytics y Desarrollo de Software de soluciones

basadas en Machine Learning, Robotics y Sistemas de

localización de dispositivos móviles.

Manuel es un reconocido experto en Desarrollo de Software, Machine

Learning y Big Data aplicado a antifraude, antiblanqueo, optimización de

reglas de negocio, optimización de campañas de marketing, predicción de

la producción / demanda y predicción de impago. En 2005, Manuel

desarrolló la primera plataforma comercial de Data Mining española para

predecir patrones de comportamiento de clientes y pacientes. Esta

plataforma es referenciada por Gartner en más de 10 Informes (HypeCycle

of Big Data 2012, Insurance Market Guide 2016,…). Como investigador,

Manuel es autor de 5 publicaciones sobre Machine Learning, Redes

bayesianas, Salud y Análisis Predictivo. Link a una publicación.

Manuel tiene una amplia experiencia liderando proyectos de Data Science

& Analytics en Forensic y Financial Crime. Manuel creó una metodología de

antiblanqueo y antifraude, basada en Machine Learning y CRISP-DM, que

aplicó con éxito en 4 entidades financieras top en España, 2 internacionales

y tres compañías cotizadas del IBEX35. También, Manuel tiene una gran

experiencia en Seguros (Hogar, Vehículos y Salud), Telecomunicaciones,

Administración Pública, Retail y Energía e Industria. Manuel fundó una

compañía de robótica (2008-2017).

Antes de unirse a FTI, Manuel era el Head of Forensic Data Analytics y

Financial Crime en PwC España.

Manuel MarínManaging Director

[email protected]

+34 677 757 732

LocalizaciónMadrid, España

FormaciónLicenciado en CC Matemáticas e Informática, Universidad Complutense de Madrid y Universidad de Liverpool (UK)

Profesor de Master en Big Data & Analytics de la Escuela de Negocios - BCSM

Certificaciones Neo4j Certified ProfessionalCisco DV (Advisor & Architect)

Experiencia Relevante

Revisión de créditos con Inteligencia Artificial (2021) – España - Luxemburgo

Plataforma Global – Prevención y detección de Fraude con Inteligencia

Artificial en los procesos de compra (2019-2020) – Empresa IBEX35 España

Plataforma de antiblanqueo de capitales (escenarios combinados con

modelos analíticos) - Prevención y detección (2019) – Banco top en México

Plataforma Global para evaluar y comparar modelos analíticos en 14 países

LATAM (2013-2015) – Compañía Telco. Internacional - (España – Brasil)

Prevención y detección de Fraude (Interno / Externo) / Blanqueo de

capitales / impago con Modelos Analíticos (2006-2020): (i) 4 bancos top

españoles y 2 bancos top internacionales, (ii) 5 Compañías aseguradoras,

(iii) 2 Operadoras de telefonía, (iv) 2 Empresas de Energía e Industria

(IBEX35), (v) 1 Administración pública y (vi) 1 empresa de Retail (IBEX35)

Optimización de las campañas de Marketing con modelos analíticos

(captación, upselling, cross-selling y retención) (2006-2016): (i) 2 bancos, y

(ii) 5 Operadoras de Telefonía.

IoT y Smart Cities – Predicción de la Producción y la Demanda (2006-2016):

(i) Una compañía de red, y (ii) 3 operadoras de telefonía.

Optimización de la inversión publicitaria (2009) para una agencia de

comunicación top

Salud – Análisis Predictivo (respuesta al tratamiento, efectos secundarios...)

(2005-2009): (i) 3 Hospitales top en España y (ii) una clínica top española de

infertilidad

44



http://onlinelibrary.wiley.com/doi/10.1111/j.1365-2036.2008.03767.x/abstract

Experts with Impact™

Manuel MarínManaging Director – Data Science & Analytics+34 677 757 [email protected]

mailto:[email protected]

taller 1 ia4ai inteligencia artificial para auditoría

Documents