Tänne päivitetään luentojen jälkeen muutamalla virkkeellä että mitä saatiin aikaiseksi.
Käytännön asioita. Johdattelua informaation käsitteeseen sekä joitain matemaattisia peruskäsitteitä. Muutama sana todennäköisyyslaskennasta.
Käytännön asiat sekä muutamia alustavia esimerkkejä. Määriteltiin tapahtuman informaatiosisältö sekä jakauman entropia.
Coxin lauseen periaatteet sekä muutama Monty Hall -henkinen ongelma. Hyvää oheislukemistoa on D. Sivian Data Analysis -kirjan sivut 1-10 ja E.T. Jaynesin Probability Theory the Logic of Science sivut 1-x, missä x on jaksamisen määrä. Sivian kirja on näppärä perusteos joka kannattaa lukea jos vaan ikinä on aikaa, jälkimmäinen kirja on järkälemäinen eepos, mutta hyvää kamaa kaikki mitä tässä elämässä ehtii siitä lukea.
Bayesiläisen päättelyn hengessä tämä blogiteksti siitä, mikseivät 0 ja 1 ole todennäköisyyksiä voi olla mielenkiintoista luettavaa.
Lisää entropian perusominaisuuksia sekä yhteisinformaatio
Entropian (karakterisoivia) ominaisuuksia sekä yhteisinformaatio. Taikatemppu.
Entropian karakterisoivia ominaisuuksis. (Shannonin 1946 -paperin Appendix 2.) Tämän lisäksi tutkittiin, miten entropian maksimointi on hyvä idea kun haluaa määritellä epävarmuuttaan kuvaavan jakauman tilanteessa, jossa jakaumalle on jotain laskennallisia reunaehtoja. (Sivian kirjan kappale 5.2.1 The Monkey Argument, s. 113->.)
Oheinen teksti kuvailee Kullback-Leiblerin ideaa avaruusmatojen avulla.
Kolmogorov-kompleksisuus
Kolmogorov-kompleksisuuden määrittelyä heuristisella tasolla. Joitain perusominaisuuksia.
Käsittelymme aiheesta oli enemmän kuvaileva kuin täsmällinen, täsmällisemmästä käsittelystä voi lukea esimerkiksi täältä.
Hyvää lisälukemistoa L-systeemeistä (kannattaa katsoa myös englanninkielinen sivu).
Puhuttiin pysähtymisongelmasta sekä siitä, että miksei Kolmogorov-kompleksisuus ole laskettava funktio. Sivuttiin hieman Gödelin epätäydellisyyslausetta ja erilaisia Turing-täydellisiä asioita.
Koodausteoriaa
Shannonin lähdekoodauslause, blokkikoodit ja Huffmanin koodit.
Shannonin lähdekoodauslauseen todistus.
Kohinaista koodausteoriaa
Kohinaisen kanavan rakenne ja kapasiteetti, Shannonin kanavakoodauslause, Hammingin koodi.
Shannonin kanavakoodauslauseen todistuksen idea. Luentomonisteen päivitys hieman viivästyy, sisältönä luennolla oli oleellisesti MacKay:n kirjan luvut 9-10.
Repaleisia aiheita jotka kertauttavat aiheemme
Satunnaisuuden määrittely (Martin-Löf), alkulukujen äärettömyystodistus informaatioteorian avulla ja hieman kryptografiasta (kts. esim. Unicity distance).