Reti Neurali I

A.A. 2010/11 (Primo Semestre)

Titolare del Corso –  Alessio Micheli

SEMINARIO su Apprendimento e Modelli Bayesiani 

ResponsabileDavide Bacciu

Obiettivi – Introduzione ai principi dell’apprendimento probabilistico: ipotesi maximum likelihood, MAP e Bayesiana. Rappresentazione delle relazioni di (in)dipendenza tra variabili aleatorie: reti Bayesiane e plate notation. Apprendimento dei parametri in reti Bayesiane: ML ed Expectation Maximization (EM). Apprendimento della struttura delle reti Bayesiane: approcci search-and-score e constraint-based.

Orario Ricevimento – Lun. 14.30-16 / Ven 14.30/16 (Prendere appuntamento per mail)

Libri di Riferimento

[AIMA]    Russell, S. and Norvig, N. Artificial Intelligence: A Modern Approach. Prentice Hall Series in Artificial Intelligence, 2003.
Capitolo 20 “Statistical Learning Methods”  – Disponibile online qui

N.B. L’edizione di riferimento e’ la seconda, per la quale e’ disponibile online il capitolo sull’apprendimento Bayesiano. Gli  studenti in possesso della terza edizione possono contattarmi per valutare insieme a quali sezioni del nuovo capitolo 20       (Learning Probabilistic Models) fare riferimento.

[MML]    Mitchell, T . Machine Learning, McGraw Hill.1997.
Capitolo 6 “Bayesian Learning”

Un ottimo libro disponibile online che puo’ essere usato sia come riferimento che e per l’approfondimento dei contenuti del modulo e’

David Barber, Bayesian Reasoning and Machine Learning, Cambridge University Press, 2011 (IN PRESS).

Per il corso sono di particolare interesse i Capitoli da 1 a 5 ed i Capitoli da 8 a 12.

Nel dettaglio delle lezioni vengono proposte alcune letture consigliate in aggiunta ai libri di riferimento.
I lucidi saranno pubblicati online a seguito della lezione.

Software

Il libro di David Barber viene distribuito con codice Matlab (BRML toolbox) che mostra diversi esempi di modelli di apprendimento Bayesiano. Uno zip della distribuzione piu’ recente puo’ essere scaricato qui. Dovrebbe girare senza problemi anche su Octave, un porting open-source dell’ambiente Matlab.

Un eccellente package Matlab che consente di costruire rapidamente modelli e reti Bayesiane, anche complesse, e’ il Bayes Net Toolbox (BNT) di Kevin Murpy.

Ulteriori demo Matlab verranno pubblicate online a seguito della lezione.

Calendario

Data Argomento Libro Approfondimenti e Materiale Aggiuntivo
1 11/01/2011 16-18 Aula C1 Introduction to Bayesian Learning [AIMA] Sect. 20.1
[MML] Sect. 6.1-6.3, Sect. 6.5-6.9
Further readings
[5] Chapt- 1-3Software
[BRML toolbox] Functions demoBurglar.m and demoChestClinic.m  show demos of probabilistic inference on Bayesian networks (cf. examples 3.1 and Fig. 3.15 in [5])
2 13/01/2011 14-16 Aula C1 Parameters Learning in Bayesian Network:
Learning with Complete Data
[AIMA] Sect. 20.2-20.3
[MML] Sect. 6.4, Sect. 6.5, 6.10, 6.12
Further readings
[1] Generative Vs Discriminative
[2] Tutorial on maximum likelihood estimation with Matlab code
[5] Sect. 8.8, 9.1-9.3. Chapt 10Software
[demoCoin] A quick demo comparing maximum likelihood and MAP estimation of the classical coin toss scenario.[demoNB] A demo showing Naive Bayes learning on the 20 Newsgroup dataset.[BRML toolbox] Function GMMem.m fits a mixture of Gaussian to the data using EM.
Function demoEMchestclinic.m shows a demo of EM applied to learning the conditional probability tables of a Bayesian Network with known structure.
3 18/01/2011 16-18 Aula C1 Parameters Learning in Bayesian Network: the EM Algorithm

Learning Bayesian Networks Structure
Applications of Bayesian Learning

[MML] Sect. 6.11 Further readings
[3] EM algorithm
[5] Chapt 11
[4] Comparative analysis of structure learning algorithms
[5] Sect. 3.3 – Conditional independence and d-separation
[5] Sect. 9.5 – Structure learning and the PC algorithmSoftware
[demoEM] A graphical demo showing EM on a Mixture of Gaussians[demoInsurance] A demo showing structure learning, parameter estimation and inference on a real-world example. It uses the Bayes Net Toolbox and the Causal Explorer package: see the README file in the archive.[BRML toolbox] Functions demoPCdata.m and demoBDscore.m respectively show demos of constraint-based and search-and-score algorithms for structure learning in BN.[Causal Explorer] Package implementing most of the state of the art algorithms for structure identification. Only obfuscated Matlab code is available (no source).[BoW Demo] Tutorial code with bag-of-words application to images using Naive Bayes and Probabilistic Latent Semantic Analysis (PLSA).

Bibliografia

[1]    Pernkopf, F. and Bilmes, J., Discriminative versus generative parameter and structure learning of Bayesian network classifiers.  Proceedings of the 22nd international conference on Machine learning. ACM. 2005.

[2]    I. J. Myung, Tutorial on maximum likelihood estimation, Journal of Mathematical Psychology, Vol. 47, No. 1. (2003), pp. 90-100.

[3]   Bilmes, J.A., A gentle tutorial of the EM algorithm and its application to parameter estimation for Gaussian mixture and hidden Markov models, Technical Report, 1998.

[4]   Ioannis Tsamardinos, Laura E. Brown, Constantin F. Aliferis: The max-min hill-climbing Bayesian network structure learning algorithm. Machine Learning 65(1): 31-78, 2006.

[5]  David Barber, Bayesian Reasoning and Machine Learning, Cambridge University Press, 2011 (IN PRESS).