A.A. 2012/13 (Secondo Semestre)
Titolare del Corso – Maria Simi
II modulo. Introduzione all’apprendimento automatico
Responsabili – Davide Bacciu – Alessio Micheli
Argomenti– Introduzione ai principi dell’apprendimento automatico: apprendimento in Intelligenza Artificiale, tassonomia dei modelli di apprendimento, valutazione e selezione delle ipotesi. Apprendimento induttivo di concetti. Alberi di decisione. Analisi esplorativa: riduzione della dimensionalita’, feature selection, clustering. Apprendimento con Rinforzo. Introduzione ai principi dell’apprendimento probabilistico: ipotesi maximum likelihood, MAP e Bayesiana. Classificatore Naive Bayes. Rappresentazione delle relazioni di (in)dipendenza tra variabili aleatorie: reti Bayesiane. Applicazioni e modelli avanzati dell’apprendimento automatico: trattamento di documenti, robotica e analisi di dati biomedici. Elementi di teoria statistica dell’apprendimento.
Orario Ricevimento – Lun. 14.30-16 / Ven 14.30/16 (Prendere appuntamento per mail)
Libri di Riferimento
[AIMA] Russell, S. and Norvig, N. Artificial Intelligence: A Modern Approach, 3rd Edition, Pearson Education, 2010.
Capitolo 18 “Learning from Examples”
Capitolo 20 “Learning Probabilistic Models”
Capitolo 21 “Reinforcement Learning”
[MML] Mitchell, T . Machine Learning, McGraw Hill.1997.
Capitolo 2 “Concept Learning and General-to-Specific Ordering”
Capitolo 3 “Decision Tree Learning”
Capitolo 5 “Evaluating Hypotheses”
Capitolo 6 “Bayesian Learning”
Capitolo 13 “Reinforcement Learning”
Nils J. Nilsson (Stanford University) mette a disposizione delle note di introduzione all’apprendimento automatico che possono essere usate per l’approfondimento dei contenuti del modulo.
Nils J. Nilsson, Introduction to Machine Learning, 1998-2010.
Per il corso sono di particolare interesse i Capitoli 1, 6, 8, 9 e 11.
Un altro buon libro, disponibile online, che puo’ essere usato come riferimento per gli aspetti di apprendimento Bayesiano e’
David Barber, Bayesian Reasoning and Machine Learning, Cambridge University Press, 2011 (IN PRESS).
Per il corso sono di particolare interesse i Capitoli da 1, 2, 8, 9, 10, 15 e 16.
Nel dettaglio delle lezioni vengono proposte alcune letture consigliate in aggiunta ai libri di riferimento.
I lucidi saranno pubblicati online a seguito della lezione.
Calendario
Data | Argomento | Libro | Approfondimenti e Materiale Aggiuntivo | |
1 | 02/05/2013 14-16 Aula C1 |
Introduzione all’Apprendimento Automatico (pdf) | [AIMA] Sect. 18.1, 18.2, 18.4
[MML] Chapter 1 |
Approfondimenti [1] Cap. 1 |
2 | 03/05/2013 11-13 Aula A1 |
Apprendimento induttivo di concetti (Simi) | [MML] Chapter 2 | |
3 | 07/05/2013 14-16 Aula A1 |
Apprendimento di alberi di decisione + Esercitazione (Simi) | [AIMA] Sect. 18.3
[MML] Chapter 3 |
Approfondimenti [1] Cap. 6 |
4 | 09/05/2013 14-16 Aula C1 |
Analisi Esplorativa I: Feature Extraction (pdf) | [2] 15.1, 15.2, 15.3, 16.1 | Approfondimenti [2] 15.1, 15.2, 15.3 (Linear feature extraction e PCA) 16.1 (Cenni di supervised feature extraction)I libri di riferimento non coprono i contenuti di questa lezione. Per l’esame sono sufficienti i contenuti dei lucidi e le sopraindicate sezioni di [2].Software [2] Viene distribuito gratuitamente con software Matlab/Octave che permette di sperimentare routine per la feature extraction: per informazioni fare riferimento ai capitoli 15 e 16.[Eigenfaces] Un tutorial molto semplice che mostra come ottenere delle eigenfaces in Matlab |
5 | 10/05/2013 11-13 Aula A1 |
Analisi Esplorativa II: Feature Selection e Clustering (pdf) | [1] Cap. 9 | Approfondimenti [1] Cap. 9I libri di riferimento non coprono i contenuti di questa lezione. Per l’esame sono sufficienti i contenuti dei lucidi e il sopraindicato capitolo di [1][3] Un interessante articolo di review per approfondire la feature selection.Software [gmmClustering] Un modello (semplice) per il clustering probabilistico con visualizzazione dinamica dei cluster |
6 | 14/05/2013 14-16 Aula A1 |
Apprendimento Bayesiano (pdf) | [AIMA] Sect. 20.1, 20.2
[MML] Sect. 6.1-6.3, Sect. 6.5-6.9 |
Approfondimenti [2] Cap. – 1,2,8,9Software [demoCoin] Demo sulla stima di probabilita’ nel classico problema del lancio della monetina[demoNB] Demo di classificatore Naive Bayes applicato al 20 Newsgroup dataset |
7 | 16/05/2013 14-16 Aula C1 |
Modelli Avanzati e Teoria dell’Apprendimento (Micheli) | ||
8 | 17/05/2013 11-13 Aula A1 |
Apprendimento con Rinforzo (pdf) | [AIMA] Sect. 21.1, 20.3
[MML] Sect. 13.1-13.3, |
Approfondimenti [1] Cap. 11Software [GridWorld] Demo Java dell’apprendimento Q-learning nell’esempio Grid-World. Permette di controllare vari parametri dell’algoritmo, inclusi quelli che regolano l’esplorazione. |
9 | 21/05/2013 14-16 Aula A1 |
Esercitazione su domande di esame (Simi) | ||
10 | 23/05/2013 14-16 Aula C1 |
Esercitazione su domande di esame | ||
11 | 24/05/2013 11-13 Aula A1 |
Applicazioni dell’Apprendimento Automatico all’Analisi Documentale | Approfondimenti [2] Cap. – 10 |
Bibliografia
[1] Nils J. Nilsson, Introduction to Machine Learning, 1998-2010.
[2] David Barber, Bayesian Reasoning and Machine Learning, Cambridge University Press, 2011 (IN PRESS).
[3] I. Guyon and A. Elisseeff. 2003. An introduction to variable and feature selection. J. Mach. Learn. Res. 3 (March 2003), 1157-1182.