inteligencja obliczeniowa wstęp

21
Inteligencja Inteligencja Obliczeniowa Obliczeniowa Wstęp Wstęp Wykład 1 Włodzisław Duch Katedra Informatyki Stosowanej, Uniwersytet Mikołaja Kopernika Google: W. Duch

Upload: alcina

Post on 06-Jan-2016

59 views

Category:

Documents


0 download

DESCRIPTION

Inteligencja Obliczeniowa Wstęp. Wykład 1 Włodzisław Duch Katedra Informatyki Stosowanej, Uniwersytet Mikołaja Kopernika Google: W. Duch. Informatyka: definicja Association for Computing Machinery. Co to jest ?. - PowerPoint PPT Presentation

TRANSCRIPT

Page 1: Inteligencja Obliczeniowa Wstęp

Inteligencja ObliczeniowaInteligencja ObliczeniowaWstępWstęp

Wykład 1

Włodzisław DuchKatedra Informatyki Stosowanej, Uniwersytet Mikołaja Kopernika

Google: W. Duch

Page 2: Inteligencja Obliczeniowa Wstęp

Co to jest ?Co to jest ?

Informatyka: definicja Association for Computing Machinery

The systematic study of algorithmic processes that describe and transform information: their theory, analysis, design, efficiency, implementation, and application … Denning, et al. 1988

Co z zagadnieniami, dla których nie ma efektywnych algorytmów? Lub żadnych algorytmów?

Page 3: Inteligencja Obliczeniowa Wstęp

Inteligencja obliczeniowa

Computational Intelligence (CI)Zajmuje się rozwiązywaniem problemów, które nie są efektywnie algorytmizowalne.

Nie ma efektywnego algorytmu? • Drobna zmiana może wymagać całkiem innego programu! • Nie można przewidzieć wszystkich zmian.

Rozwiązanie wymaga inteligencji; jeśli szukamy rozwiązania za pomocą obliczeń to jest to „inteligencja obliczeniowa”.

Page 4: Inteligencja Obliczeniowa Wstęp

Problemy efektywnie niealgorytmizowalne

Teoria złożoności obliczeniowej, problemy NP-trudne

Liczba kroków algorytmu dla złożonych sytuacji rośnie w sposób szybszy niż jakikolwiek wielomian liczby elementów (złożoności specyfikacji problemu).

Przykład: problem komiwojażera.

Dla 100 miejsc mamy 100!=10158 możliwości.

Problemy praktyczne: gry planszowe, układanie planu, upakowanie towarów.

Page 5: Inteligencja Obliczeniowa Wstęp

Problemy niealgorytmizowalneProblemy niealgorytmizowalne

Przykłady: • rozumienie sensu zdań, • rozpoznawanie twarzy i obrazów, • rozpoznawanie mowy i sygnałów, percepcja, • rozpoznawanie pisma ręcznego, • sterowanie robotem, nieliniowymi układami, • diagnostyka medyczna, planowanie terapii,• rozwiązywanie nietypowych problemów, • działania twórcze.

Wiele problemów nie ma natury dyskretnej.

Page 6: Inteligencja Obliczeniowa Wstęp

CI i sztuczna inteligencjaCI i sztuczna inteligencja

Kognitywistyka:

CI: percepcja i sterowanie: zachowania sensomotoryczne;

AI: wyższe czynności poznawcze: logika, język, rozumowanie, rozwiązywanie problemów.

AI to część CI posługująca się symboliczną reprezentacją wiedzy, zajmuje się rozumowaniem, tworzeniem systemów ekspertowych.

CI: automatyzacja procesów akwizycji wiedzy.

CI-AI: niewielkie nakrywanie, trochę systemów hybrydowych.

iOmniscient: Neural Networks and Heuristic Algorithms

Page 7: Inteligencja Obliczeniowa Wstęp

CI: problemy 1CI: problemy 1

Kilka problemów do rozwiązania których potrzebne są metody inteligencji obliczeniowej:

• Klasyfikacja struktur: rozpoznawanie obrazów, mowy, pisma, struktur chemicznych, zachowań człowieka lub maszyny, stanu zdrowia, sensu wyrazów i zdań …

• Odkrywanie wiedzy w bazach danych, zrozumienie struktury danych, konstrukcja wyjaśniających teorii.

• Selekcja cech - na co warto zwrócić uwagę, co jest niepotrzebne; redukcja wymiarowości problemu.

• Inteligentne szukanie z uwzględnieniem semantyki pytania – szukarki, Information Retrieval (IR).

Page 8: Inteligencja Obliczeniowa Wstęp

CI: problemy 2CI: problemy 2

• Inteligentne wspomaganie decyzji: diagnozy medyczne, decyzje menedżerskie.

• Gry strategiczne: uczenie się na własnych i cudzych błędach.

• Kontrola: jakości produktów, ostrości obrazu kamery, dostrojenia aparatury.

• Sterowanie: samochodu, urządzeń technicznych, fabryk, społeczeństwa ...

• Planowanie: budowa autostrad, wieżowców, optymalizacja działań i organizacji, planów działania.

• Optymalne spełnianie ograniczeń, optymalizacja wielokryterialna, dopełnianie brakującej wiedzy.

Page 9: Inteligencja Obliczeniowa Wstęp

CI: problemy 3CI: problemy 3

• Detekcja regularności, analiza interesujących skupień, samoorganizacja, uczenie spontaniczne, geny, białka.

• Separacja sygnałów z wielu źródeł: oczyszczanie obrazów z szumów, oddzielanie artefaktów, separacja sygnałów akustycznych, sygnałów.

• Prognozowanie: wskaźników ekonomicznych, pogody, plam na Słońcu, decyzji zakupu, intencji człowieka.

• Askrypcja danych: łączenie informacji z kilku źródeł. • Wizualizacja informacji ukrytej w bazach danych.• Zrozumienie umysłu: doświadczeń psychologicznych,

sposobu rozumowania i kategoryzacji, poruszania się i planowania, procesów uczenia.

Page 10: Inteligencja Obliczeniowa Wstęp

CI: inspiracje 1CI: inspiracje 1• CI czerpie inspiracje z różnych źródeł, w tym z:

• Neurobiologii: jak robią to mózgi?

Sieci neuronowe – duża dziedzina, sieci wszelkich rodzajów, modele hierarchiczne, samoorganizujące.

Część bliska neurobiologii – computational cognitive neurosciences, szczegółowe modele neuronów.

Część bliska statystyki i rozpoznawania wzorców (pattern recognition).

Część pośrednia: CMAC (Cerebellar Model Arithmetic Computer); SDM (Sparse Distributed Memory) ...

Page 11: Inteligencja Obliczeniowa Wstęp

CI: inspiracje 2CI: inspiracje 2• Psychologii: jak robią to umysły?

Modele koneksjonistyczne: sieci i rozproszone przetwarzanie równoległe, ale węzły nie działają jak neurony – sieci Bayesowskie, modele graficzne, uczenie się przez porcjowanie, mechanizmy uwagi.

• Biologii: algorytmy ewolucyjne, genetyczne, rojowe, mrówkowe.

• Medycyny: działanie układu immunologicznego.• Logiki: uwzględnianie informacji niepewnej, logika rozmyta

(fuzzy), przybliżona (rough), teoria wiarygodności Dempstera-Shafera (posybilistyczna), logika wielowartościowa.

Page 12: Inteligencja Obliczeniowa Wstęp

CI: inspiracje 3CI: inspiracje 3• Z uczenia maszynowego: szukanie reguł symbolicznych,

automatyczna akwizycja wiedzy.

Metody oparte na ocenie podobieństwa do sąsiadów, np. NNC (Nearest Neighbor Classifiers), k-NN

Metody oparte na śladach pamięci (memory-based methods, memory-based reasoning), szukania interesujących prototypów.

• Statystyki: statystyka wielowymiarowa, klasyfikatory Bayesowskie, sieci probabilistyczne, klasteryzacja, kwantyzacja wektorowa.

• Teorii wnioskowania: podejmowanie decyzji, metody probabilistyczne, ocena ryzyka, drzewa decyzji.

Page 13: Inteligencja Obliczeniowa Wstęp

CI: inspiracje 4CI: inspiracje 4• Teorii informacji: maksymalizacji entropii, wartości

oczekiwanych, informacji wzajemnej ...

• Matematyki stosowanej: teoria optymalizacji, estymacji, badań operacyjnych, taksonomia numeryczna, teoria aproksymacji, regresji wielu zmiennych, falek ...

• Metod wizualizacji wielowymiarowych danych.• Informatyki: współbieżne systemy programowania. • Fizyki: fizyka statystyczna, metody Monte Carlo, stopniowe

studzenie, funkcje potencjalne, układy dynamiczne, teoria chaosu, synergetyka.

• Nauk technicznych: teorii sterowania, automatyki, robotyki.

Page 14: Inteligencja Obliczeniowa Wstęp

Inteligencja ObliczeniowaInteligencja ObliczeniowaInteligencja ObliczeniowaInteligencja Obliczeniowa

Computational IntelligenceData + Knowledge

Artificial Intelligence

AI, ES

Logikarozmyta

PatternRecognition

Uczenie maszynowe

Metody probabilistyki

Statystykawielowymiarowa

Wizuali-zacja

Algorytmy ewolucyjne

Sieci neuronowe

Page 15: Inteligencja Obliczeniowa Wstęp

Cel dalekosiężnyCel dalekosiężny

• AI: test Turinga, maszyna nieodróżnialna od człowieka przy zdalnej konwersacji.

Wymaga nie tylko zdolności lingwistycznych, ale i budowania modeli umysłowych, szerokiej wiedzy o świecie, zrozumienia stanów emocjonalnych ...

• CI: sztuczny szczur?

Przetrwanie autonomicznego organizmu we wrogim środowisku, wymaga percepcji, kontroli, pamięci skojarzeniowej, planowania, antycypacji …

Page 16: Inteligencja Obliczeniowa Wstęp

AdaptacjaAdaptacja

• Cecha wielu systemów CI: rozwiązywanie zadań na podstawie przykładów.

• Systemy adaptujące: zmieniają wewnętrzną strukturę dostosowując się do sytuacji (np. mózgi, społeczeństwa). Adaptacja to cecha inteligencji.

• Systemy adaptujące się są zwykle nieliniowe, często rozproszone, składające się z wielu elementów oddziaływujących w trudny do przewidzenia sposób.

• 3 podstawowe rodzaje takich układów:

uczące się pod nadzorem, z krytykiem i samodzielnie, bez nadzoru.

Page 17: Inteligencja Obliczeniowa Wstęp

Uczenie bez nadzoruUczenie bez nadzoru

Znajdź interesujące struktury w danych.Uczenie spontaniczne, odkrywanie ciekawych struktur w przestrzeni danych, korelacja zachowań systemu ze zmianą tych struktur – dominuje w okresie niemowlęcym (również budowa teorii).

Unsupervised learning

Page 18: Inteligencja Obliczeniowa Wstęp

Uczenie z nadzoremUczenie z nadzoremUczenie z nadzoremUczenie z nadzorem

Zadaj pytanie – pokaż opis obiektu (wektor własności), porównaj odpowiedź z pożądaną. Uczenie nadzorowane przez nauczyciela – szkolne. Zmiana parametrów wewnętrznych – adaptacja, w przyszłości trzeba robić jak najmniej błędów. Celem nie jest uczenie „na pamięć”, lecz generalizacja.

Supervised Supervised learninglearning..

Page 19: Inteligencja Obliczeniowa Wstęp

Uczenie z krytykiemUczenie z krytykiemUczenie z krytykiemUczenie z krytykiem

Optymalizacja zysków na dłuższą metę. Np. gry z przeciwnikiem, krytyką jest przegrana lub wygrana na końcu partii. Uczenie z krytykiem lub z „wzmocnieniem” pożądanych zachowań po dłuższym okresie. Uczenie dojrzałe (nabieranie „mądrości”).

Reinforcement learning.

Page 20: Inteligencja Obliczeniowa Wstęp

Co dalej?

Sieci bez wag

Inne proste modele binarne

Sieci Hopfielda

Sieci Hebbowskie i modele mózgu

Perceptrony proste

Perceptrony wielowarstwowe

Page 21: Inteligencja Obliczeniowa Wstęp

Koniec wykładu 1

Dobranoc ?