Introduzione all’Intelligenza Artificiale

A.A. 2012/13 (Secondo Semestre)

Titolare del Corso –  Maria Simi

II modulo. Introduzione all’apprendimento automatico

ResponsabiliDavide BacciuAlessio Micheli

Argomenti– Introduzione ai principi dell’apprendimento automatico: apprendimento in Intelligenza Artificiale, tassonomia dei modelli di apprendimento, valutazione e selezione delle ipotesi. Apprendimento induttivo di concetti. Alberi di decisione. Analisi esplorativa: riduzione della dimensionalita’, feature selection, clustering.  Apprendimento con Rinforzo. Introduzione ai principi dell’apprendimento probabilistico: ipotesi maximum likelihood, MAP e Bayesiana.  Classificatore Naive Bayes. Rappresentazione delle relazioni di (in)dipendenza tra variabili aleatorie: reti Bayesiane. Applicazioni e modelli avanzati dell’apprendimento automatico: trattamento di documenti, robotica e analisi di dati biomedici. Elementi di teoria statistica dell’apprendimento.

Orario Ricevimento – Lun. 14.30-16 / Ven 14.30/16 (Prendere appuntamento per mail)

Libri di Riferimento

[AIMA]    Russell, S. and Norvig, N. Artificial Intelligence: A Modern Approach, 3rd Edition, Pearson Education, 2010.
Capitolo 18 “Learning from Examples”
Capitolo 20 “Learning Probabilistic Models”
Capitolo 21 “Reinforcement Learning”

[MML]    Mitchell, T . Machine Learning, McGraw Hill.1997.
Capitolo 2 “Concept Learning and General-to-Specific Ordering”
Capitolo 3 “Decision Tree Learning”
Capitolo 5 “Evaluating Hypotheses”
Capitolo 6 “Bayesian Learning”
Capitolo 13 “Reinforcement Learning”

Nils J. Nilsson (Stanford University) mette a disposizione delle note di introduzione all’apprendimento automatico che possono essere usate per l’approfondimento dei contenuti del modulo.

Nils J. Nilsson, Introduction to Machine Learning, 1998-2010.

Per il corso sono di particolare interesse i Capitoli 1, 6, 8, 9 e 11.

Un altro buon libro, disponibile online, che puo’ essere usato come riferimento per gli aspetti di apprendimento Bayesiano e’

David Barber, Bayesian Reasoning and Machine Learning, Cambridge University Press, 2011 (IN PRESS).

Per il corso sono di particolare interesse i Capitoli da 1, 2, 8, 9, 10, 15 e 16.

Nel dettaglio delle lezioni vengono proposte alcune letture consigliate in aggiunta ai libri di riferimento.
I lucidi saranno pubblicati online a seguito della lezione.

Calendario

Data Argomento Libro Approfondimenti e Materiale Aggiuntivo
1 02/05/2013
14-16  Aula C1
Introduzione all’Apprendimento Automatico (pdf) [AIMA] Sect. 18.1, 18.2, 18.4

[MML] Chapter 1

Approfondimenti
[1] Cap. 1
2 03/05/2013
11-13  Aula A1
Apprendimento induttivo di concetti (Simi) [MML] Chapter 2
3 07/05/2013
14-16  Aula A1
Apprendimento di alberi di decisione  + Esercitazione (Simi) [AIMA] Sect. 18.3

[MML] Chapter 3

Approfondimenti
[1] Cap. 6
4 09/05/2013
14-16  Aula C1
Analisi Esplorativa I: Feature Extraction (pdf) [2] 15.1, 15.2, 15.3, 16.1 Approfondimenti
[2] 15.1, 15.2, 15.3 (Linear feature extraction e PCA)
16.1 (Cenni di supervised feature extraction)I libri di riferimento non coprono i contenuti di questa lezione. Per l’esame sono sufficienti i contenuti dei lucidi e le sopraindicate sezioni di [2].Software
[2] Viene distribuito gratuitamente con software Matlab/Octave che permette di sperimentare routine per la feature extraction: per informazioni fare riferimento ai capitoli 15 e 16.[Eigenfaces] Un tutorial molto semplice che mostra come ottenere delle eigenfaces in Matlab
5 10/05/2013
11-13  Aula A1
Analisi Esplorativa II: Feature Selection e Clustering (pdf) [1] Cap. 9 Approfondimenti
[1] Cap. 9I libri di riferimento non coprono i contenuti di questa lezione. Per l’esame sono sufficienti i contenuti dei lucidi e il sopraindicato capitolo di [1][3] Un interessante articolo di review per approfondire la feature selection.Software
[gmmClustering] Un modello (semplice) per il clustering probabilistico con visualizzazione dinamica dei cluster
6 14/05/2013
14-16  Aula A1
Apprendimento Bayesiano (pdf) [AIMA] Sect. 20.1, 20.2

[MML] Sect. 6.1-6.3, Sect. 6.5-6.9

Approfondimenti
[2] Cap. – 1,2,8,9Software
[demoCoin] Demo sulla stima di probabilita’ nel classico problema del lancio della monetina[demoNB] Demo di classificatore Naive Bayes applicato al 20 Newsgroup dataset
7 16/05/2013
14-16 Aula C1
Modelli Avanzati e Teoria dell’Apprendimento (Micheli)
8 17/05/2013
11-13  Aula A1
Apprendimento con Rinforzo (pdf) [AIMA] Sect. 21.1, 20.3

[MML] Sect. 13.1-13.3,
Sect. 13.6, 13.8

Approfondimenti
[1] Cap. 11Software
[GridWorld] Demo Java dell’apprendimento Q-learning nell’esempio Grid-World.  Permette di controllare vari parametri dell’algoritmo, inclusi quelli che regolano l’esplorazione.
9 21/05/2013
14-16  Aula A1
Esercitazione su domande di esame (Simi)
10 23/05/2013
14-16  Aula C1
Esercitazione su domande di esame
11 24/05/2013
11-13  Aula A1
Applicazioni dell’Apprendimento Automatico all’Analisi Documentale Approfondimenti
[2] Cap. – 10

Bibliografia

[1]  Nils J. Nilsson, Introduction to Machine Learning, 1998-2010.

[2]  David Barber, Bayesian Reasoning and Machine Learning, Cambridge University Press, 2011 (IN PRESS).

[3] I. Guyon and A. Elisseeff. 2003. An introduction to variable and feature selection. J. Mach. Learn. Res. 3 (March 2003), 1157-1182.