taller 1 de inteligencia

TALLER No 1

INTELIGENCIA COMPUTACIONAL II

DARIO LEONARDO CAMARGO TINJACA

20072005013

Universidad Distrital Francisco José de Caldas

Ingeniería Electrónica

Bogotá

Objetivos

Comprender que es el error de entrenamiento y el error entre funciones

Obtener funciones polinomiales que logren acercase a la función original dada.

1. Resolver problema propuesto 1.5 en el libro bishop

Como diferenciador de la función de la suma de los cuadrados del error (1,3),

usando la forma del el polinomio dado en (1.2), muestran que los valores de los

coeficientes del polinomio que minimizan el error se dan por la solución del

siguiente conjunto simultáneo ecuaciones lineales.

∑ 𝐴𝑗𝑗′𝑤𝑗

𝑀

𝑗=𝑖

= 𝑇𝑗′ (1.52)

𝐴𝑗𝑗′ = ∑(𝑥𝑛)𝑗+𝑗′

𝑛

𝑇𝑗′ = ∑ 𝑡𝑛(𝑥𝑛)𝑗′

𝑛

(1.53)

𝑦(𝑥) = 𝑤0 + 𝑤1𝑥 + ⋯ + 𝑤𝑀𝑥𝑀 = ∑ 𝑤𝑗𝑥𝑗

𝑀

𝑗=0

(1.2)

𝐸 =1

2∑{𝑦(𝑥𝑛; 𝑤) − 𝑡𝑛}2 (1.3)

𝑁

𝑛=1

𝐸 =1

2∑{𝑢(𝑥𝑛; 𝑤) − 𝑡𝑛}2

𝑁

𝑛=1

𝐸 =1

2∑ [∑(𝑤𝑗𝑥𝑛𝑗) − 𝑡𝑛

𝑀

𝑗=0

]

2𝑁

𝑛=1

Derivando con respecto a W

∑ [∑(𝑤𝑗𝑥𝑛)𝑗+𝑗

𝑀

𝑗=0

]

𝑁

𝑛=1

= ∑ [∑ 𝑡𝑛(𝑥𝑛)𝑗′

𝑀

𝑗=0

]

𝑁

𝑛=1

2. El conjunto de datos poly1 fue generado usando la siguiente función polinomial para

un código impar:

𝑦(𝑥) = 6𝑥5 − 3𝑥3 − 1.5𝑥 − 1 (1)

X1 Y1

0.9421 -0.4695

0.9561 -0.2619

0.5752 -2.0559

0.0598 -1.0903

0.2348 -1.3867

0.3532 -1.6289

0.8212 -1.6524

0.0154 -1.0231

0.1430 -1.2230

0.1690 -1.2671

0.8991 -1.0037

0.7317 -2.0143

0.6477 -2.1028

0.4509 -1.8396

0.5470 -2.0177 Tabla1. Conjunto de datos poly1 generado a partir de la función polinomial (1)

Orden del polinomio

Polinomio encontrado Error de

entrenamiento Error entre funciones

1 y = 0.20x − 1.50 5.5182 4.5345

2 𝑦 = 6.18𝑥2 − 5.93𝑥 − 0.61 1.4762 0.8894

3 𝑦 = 12.56𝑥3 − 12.59𝑥2 + 1.37𝑥 − 1.13 0.2937 0.0666

4 𝑦 = 14.59𝑥4 − 15.51𝑥3 + 4.44𝑥2 − 2.07𝑥 − 0.98 0.01888 5.596e-04

5 𝑦 = 6𝑥5 − 3𝑥3 − 1.5𝑥 − 1 2.115e-14 2.905e-29

6 𝑦 = 6𝑥5 − 3𝑥3 − 1.5𝑥 − 1 1.170e-14 7.950e-30

7 𝑦 = 6𝑥5 − 3𝑥3 − 1.5𝑥 − 1 1.018e-14 7.950e-30

8 𝑦 = 6𝑥5 − 3𝑥3 − 1.5𝑥 − 1 5.371e-15 3.167e-30

9 𝑦 = 6𝑥5 − 3𝑥3 − 1.5𝑥 − 1 1.908e-14 2.080e-29

10 𝑦 = 6𝑥5 − 3𝑥3 − 1.5𝑥 − 1 8.943e-16 4.018e-30

11 𝑦 = 6𝑥5 − 3𝑥3 − 1.5𝑥 − 1 4.017e-15 1.639e-30

12 𝑦 = 6𝑥5 − 3𝑥3 − 1.5𝑥 − 1 3.016e-15 1.204e-29

13 𝑦 = 6𝑥5 − 3𝑥3 − 1.5𝑥 − 1 1.594e-15 5.029e-30

14 𝑦 = 6𝑥5 − 3𝑥3 − 1.5𝑥 − 1 1.396e-14 1.316e-29

15 𝑦 = 6𝑥5 − 3𝑥3 − 1.5𝑥 − 1 3.417e-14 6.051e-29 Tabla2. Polinomio encontrado y errores aplicando regresión lineal a poly1

Graficas de los polinomios generados de grado n

n=1.

Fig1. Gráfica del polinomio de grado 1 y = 0.20x − 1.50 que se obtuvieron de poly1

n=2.

Fig2. Gráfica del polinomio de grado 2 𝑦 = 6.18𝑥2 − 5.93𝑥 − 0.61 que se obtuvo de los datos del poly1

n=3.

Fig3. Gráfica del polinomio de grado 3 𝑦 = 12.56𝑥3 − 12.59𝑥2 + 1.37𝑥 − 1.13 que se obtuvo de los datos del

poly1

n=4.

Fig4. Gráfica del polinomio de grado 4 𝑦 = 14.59𝑥4 − 15.51𝑥3 + 4.44𝑥2 − 2.07𝑥 − 0.98 que se obtuvo de los datos

del poly1

n=5

Fig5. Gráfica del polinomio de grado 5 𝑦 = 6𝑥5 − 3𝑥3 − 1.5𝑥 − 1 que se obtuvo de los datos del poly1

Los polinomios de grado igual o mayor 5 son los mismos que corresponden a la función

5 𝑦 = 6𝑥5 − 3𝑥3 − 1.5𝑥 − 1, por lo cual al no existir ningún cambio notable en la

representación gráfica se omite la puesta de la misma, ya q no da ningún tipo de

información de la ya existente.

3. El conjunto de datos poly2 fue generado usando la misma función polinomial del

numeral 2, salvo porque los datos fueron contaminados con ruido blanco con δ = 0.05.

Repita el procedimiento del numeral 2 para el conjunto de datos poly2.

X1 X2

0.9421 -0.4508

0.9561 -0.2604

0.5752 -1.9451

0.0598 -1.1654

0.2348 -1.3021

0.3532 -1.5396

0.8212 -1.5436

0.0154 -0.9674

0.1430 -1.2072

0.1690 -1.2193

0.8991 -1.0887

0.7317 -1.9862

0.6477 -1.9702

0.4509 -1.9886

0.5470 -2.2113 Tabla3. Conjunto de datos poly2 generado a partir de la función polinomial [1] y ruido blanco

Orden del polinomio

Polinomio encontrado Error de

entrenamiento

Error entre funciones

1 𝑦 = 0.199𝑥 − 1.490 5.5867 4.5677

2 𝑦 = 6.19𝑥2 − 5.93𝑥 − 0.59 1.4965 0.9195

3 𝑦 = 12.19𝑥3 − 12.04𝑥2 + 1.15 𝑥 − 1.09 0.3299 0.1435

4 𝑦 = 8.45𝑥4 − 4.05𝑥3 − 2.18𝑥2 − 0.84𝑥 − 1.01 0.1703 0.1214

5 𝑦 = 3.54𝑥5 − 0.16𝑥4 + 3.32𝑥3 − 4.80𝑥2 − 0.50𝑥 − 1.02 0.1592 0.1212

6 𝑦 = 252.99𝑥6 − 736.69𝑥5 + 818.76𝑥4 − 420.31𝑥3 + 97.04𝑥2

− 10.04𝑥 − 0.83 0.0114 0.0689

7 𝑦 = 1𝑒3(0.11𝑥7 + 0.65𝑥6 − 1.23𝑥5 + 1.15𝑥4 − 0.54𝑥3 +0.12𝑥2 − 0.011𝑥 − 0.0008)

6.091e-05 0.0683

8 𝑦 = 1𝑒3(−1.14𝑥8 + 4.29𝑥7 − 6.32𝑥6 + 4.48𝑥5 − 1.48𝑥4 +0.13𝑥3 + 0.032𝑥2 − 0.0069𝑥 − 0.0008)

0.0227 0.0647

9 𝑦 = 1𝑒4(0.30𝑥9 − 1.45𝑥8 + 2.88𝑥7 − 3.06𝑥6 + 1.87𝑥5 −0.64𝑥4 + 0.11𝑥3 − 0.069𝑥2 − 0.0002𝑥 − 0.0001)

0.0125 0.0634

10 𝑦 = 1𝑒5(0.52𝑥10 − 2.51𝑥9 + 5.13𝑥8 − 5.82𝑥7 + 3.99𝑥6 −1.71𝑥5 − 0.45𝑥4 − 0.072𝑥3 + 0.0065𝑥2 − 0.0003𝑥 − 0.0000)

0.0186 0.0478

11 𝑦 = 1𝑒6(−0.19𝑥11 + 1.06𝑥10 − 2.63𝑥9 + 3.71𝑥8 − 3.26𝑥7 +1.87𝑥6 − 0.69𝑥5 + 0.16𝑥4 − 0.024𝑥3 + 0.0019𝑥2 − 0.0001𝑥 −

0.0000)

0.0043 0.0392

12 𝑦 = 1𝑒7(−0.13𝑥12 + 0.80𝑥11 − 2.09𝑥10 + 3.14𝑥9 − 3.01𝑥8 −1.92𝑥7 − 0.83𝑥6 + 0.24𝑥5 − 0.046𝑥4 + 0.054𝑥3 − 0.0003𝑥2 −

0.0000𝑥 − 0.0000)

0.0041 0.0215

13 𝑦 = 1𝑒8(−0.13𝑥13 + 0.77𝑥12 − 1.85𝑥11 + 2.48𝑥10 − 2.01𝑥9 −0.96𝑥8 − 0.22𝑥7 − 0.021𝑥6 + 0.029𝑥5 − 0.0084𝑥4 + 0.0012𝑥3 −

0.0001𝑥2 + 0.0000𝑥 − 0.0000)

0.0052 0.0205

14 𝑦 = 1𝑒9(0.12𝑥14 − 0.83𝑥13 + 2.62𝑥12 − 4.87𝑥11 + 5.97𝑥10 −5.08𝑥9 + 3.07𝑥8 − 1.33𝑥7 + 0.41𝑥6 − 0.089𝑥5 + 0.013𝑥4 −

0.0013𝑥3 + 0.0001𝑥2 − 0.0000𝑥 + 0.0000)

1.264e-05 1.1339e-11

15 𝑦 = 1𝑒9(0.085𝑥15 − 0.52𝑥14 + 1.36𝑥13 − 1.88𝑥12 + 1.29𝑥11 +0 − 0.88𝑥9 + 0.91𝑥8 − 0.51𝑥7 + 0.18𝑥6 − 0.044𝑥5 + 0.0071𝑥4 −

0.0007𝑥3 + 0.0000𝑥2 − 0.0000𝑥 + 0.0000)

1.467e-06 3.0898e-13

Tabla4. Polinomio encontrado y errores aplicando regresión lineal a poly2

Graficas de los polinomios generados

de grado n

n=1.

Fig6. Gráfica del polinomio de grado 1 𝑦 = 0.199𝑥 −

1.490 que se obtuvo de los datos del poly2

n=2.

Fig7. Gráfica del polinomio de grado 2 𝑦 = 6.19𝑥2 −

5.93𝑥 − 0.59 que se obtuvo de los datos del poly2

n=3


12.04𝑥2 + 1.15 𝑥 − 1.09 que se obtuvo de los datos

del poly2

n=4


4.05𝑥3 − 2.18𝑥2 − 0.84𝑥 − 1.01que se obtuvo de los

datos del poly2

n=5

Fig10. Gráfica del polinomio de grado 5 𝑦 =

3.54𝑥5 − 0.16𝑥4 + 3.32𝑥3 − 4.80𝑥2 − 0.50𝑥 −

1.02 que se obtuvo de los datos del poly2

n=6


252.99𝑥6 − 736.69𝑥5 + 818.76𝑥4 − 420.31𝑥3 +

97.04𝑥2 − 10.04𝑥 − 0.83 que se obtuvo de los datos

del poly2

n=7


1𝑒3(0.11𝑥7 + 0.65𝑥6 − 1.23𝑥5 + 1.15𝑥4 − 0.54𝑥3 +

0.12𝑥2 − 0.011𝑥 − 0.0008) que se obtuvo de los

datos del poly2

n=8


1𝑒3(−1.14𝑥8 + 4.29𝑥7 − 6.32𝑥6 + 4.48𝑥5 −

1.48𝑥4 + 0.13𝑥3 + 0.032𝑥2 − 0.0069𝑥 − 0.0008)

que se obtuvo de los datos del poly2

n=9


1𝑒4(0.30𝑥9 − 1.45𝑥8 + 2.88𝑥7 − 3.06𝑥6 + 1.87𝑥5 −

0.64𝑥4 + 0.11𝑥3 − 0.069𝑥2 − 0.0002𝑥 − 0.0001)

que se obtuvo de los datos del poly2

n=10


1𝑒5(0.52𝑥10 − 2.51𝑥9 + 5.13𝑥8 − 5.82𝑥7 +

3.99𝑥6 − 1.71𝑥5 − 0.45𝑥4 − 0.072𝑥3 + 0.0065𝑥2 −

0.0003𝑥 − 0.0000) que se obtuvo de los datos del

poly2

n=11


1𝑒6(−0.19𝑥11 + 1.06𝑥10 − 2.63𝑥9 + 3.71𝑥8 −

3.26𝑥7 + 1.87𝑥6 − 0.69𝑥5 + 0.16𝑥4 − 0.024𝑥3 +

0.0019𝑥2 − 0.0001𝑥 − 0.0000) que se obtuvo de los

datos del poly2

n=12


1𝑒7(−0.13𝑥12 + 0.80𝑥11 − 2.09𝑥10 + 3.14𝑥9 −

3.01𝑥8 − 1.92𝑥7 − 0.83𝑥6 + 0.24𝑥5 − 0.046𝑥4 +

0.054𝑥3 − 0.0003𝑥2 − 0.0000𝑥 − 0.0000) que se

obtuvo de los datos del poly2

n=13

Fig18. Gráfica del polinomio de grado 13 𝑦 = 1𝑒8(−0.13𝑥13 + 0.77𝑥12 − 1.85𝑥11 + 2.48𝑥10 − 2.01𝑥9 − 0.96𝑥8 −

0.22𝑥7 − 0.021𝑥6 + 0.029𝑥5 − 0.0084𝑥4 + 0.0012𝑥3 − 0.0001𝑥2 + 0.0000𝑥 − 0.0000) que se obtuvo de los datos

del poly2

n=14

Fig19. Gráfica del polinomio de grado 14 𝑦 = 1𝑒9(0.12𝑥14 − 0.83𝑥13 + 2.62𝑥12 − 4.87𝑥11 + 5.97𝑥10 − 5.08𝑥9 +

3.07𝑥8 − 1.33𝑥7 + 0.41𝑥6 − 0.089𝑥5 + 0.013𝑥4 − 0.0013𝑥3 + 0.0001𝑥2 − 0.0000𝑥 + 0.0000) que se obtuvo de los

datos del poly2

n=15

Fig20. Gráfica del polinomio de grado 15 𝑦 = 1𝑒9(0.085𝑥15 − 0.52𝑥14 + 1.36𝑥13 − 1.88𝑥12 + 1.29𝑥11 + 0 −

0.88𝑥9 + 0.91𝑥8 − 0.51𝑥7 + 0.18𝑥6 − 0.044𝑥5 + 0.0071𝑥4 − 0.0007𝑥3 + 0.0000𝑥2 − 0.0000𝑥 + 0.0000) que se

obtuvo de los datos del poly2

4. Análisis de Resultados:

Grafica error con respecto al grado del polinomio:

Fig21. Grafica del error vs el grado del polinomio de la tabla numero 2

-1

0

1

2

3

4

5

0 2 4 6 8 10 12 14 16

Error vs grado del polinimo

Fig22. Grafica del error vs el grado del polinomio de la tabla numero 4

5. Conclusiones

Se evidencia al observar las figuras 21 y 22 que al aumentar el orden del polinomio el error disminuye inversamente proporcional al orden del mismo, esto se debe a que la función se va igualando cada vez más al polinomio deseado por lo tanto el error va disminuyendo.

Al observar los polinomio con ruido blanco vemos como en todos los grados se presenta un polinomio diferente, una posible causa podría ser que a la existencia de ruido blanco incluye datos en los cuales no se presenta ni la más mínima linealidad.

Cuando se observa la tabla 2 vemos como solo es necesario el grado 5 para representar el polinomio en su totalidad, se podría explicar ya que haber linealidad en algunos intervalos, esta misma hace que el grado necesario para representarlo sea menor.

-1

0

1

2

3

4

5

0 2 4 6 8 10 12 14 16

Error vs grado del polinomio

taller 1 de inteligencia

Documents