defter*
defter / katalog / EEE 634
EEE 634

Information Theory

Information theory is the mathematical framework that pins down what "information" actually means as a measurable quantity, and how much of it you can squeeze through a noisy channel or compress out of a source before something breaks. You'll work through seven problem sets and two midterms proving things from Cover & Thomas, manipulating entropy and mutual information, deriving Shannon's source and channel coding theorems, computing capacities of Gaussian and multi-user channels, and reasoning about rate-distortion tradeoffs. As a graduate course it sits upstream of nearly everything in communications, coding, and statistical learning, giving you the asymptotic tools (AEP, large deviations, Fano) that later show up whenever you need a fundamental limit rather than a clever scheme.

Kredi3ECTS5FakülteFaculty of EngineeringBölümElectrical and Electronics EngineeringKoordinatörRecep Can Yavaş

Haftalık müfredat 14 hafta

Hafta 114–20 Eyl
Probability tekrarı: entropy ve mutual information
Introduction. Probability theory recap. Entropy, mutual information, and KL divergence.
probability theoryentropymutual informationKL divergence
Hafta 221–27 Eyl
Mutual Information, KL Divergence ve Eşitsizlikler
Entropy, mutual information, and KL divergence cont’d. Jensen’s inequality. Data processing inequality. Fano’s inequality.
KL divergenceJensen's inequalitydata processing inequalityFano's inequality
Hafta 328 Eyl – 4 Eki
Asymptotic equipartition property
Hafta 45–11 Eki
Veri Sıkıştırma ve Shannon Kaynak Kodlama Teoremi
Data compression. Shannon’s source coding theorem.
data compressionShannon’s source coding theorem
Hafta 512–18 Eki
Değişken uzunluklu source coding ve Huffman codes
Variable-length source coding. Kraft’s inequality. Huffman codes.
variable-length source codingKraft's inequalityHuffman codes
Hafta 619–25 Eki
Durağan kaynaklar ve genel AEP
Stationary sources, general AEP.
stationary sourceAEP
Hafta 726 Eki – 1 Kas
Discrete memoryless channel kapasitesi
Capacity of discrete memoryless channels.
channel capacitydiscrete memoryless channel
Hafta 82–8 Kas
Differential entropy ve Gaussian kanal kapasitesi
Differential entropy and capacity of the additive Gaussian noise channel.
differential entropychannel capacityadditive Gaussian noise channel
Hafta 99–15 Kas
Paralel Gaussian kanallar ve waterfilling
Parallel Gaussian channels, waterfilling.
parallel Gaussian channelwaterfilling
Hafta 1016–22 Kas
İkili Hipotez Testi ve Asimptotikleri
Binary hypothesis testing and its asymptotics.
binary hypothesis testingasymptotics
Hafta 1123–29 Kas
Large deviations teorisi ve Sanov teoremi
Large deviations theory. Sanov’s theorem.
large deviationsSanov's theorem
Hafta 1230 Kas – 6 Ara
Rate distortion ve network information theory
Rate distortion theory, Introduction to network information theory.
rate distortion theorynetwork information theory
Hafta 137–13 Ara
Distributed source coding ve Slepian-Wolf teoremi
Distributed source coding. Slepian-Wolf theorem.
distributed source codingSlepian-Wolf theorem
Hafta 1414–20 Ara
Multiple access ve broadcast channel
Multiple access channels. Broadcast channels.
multiple access channelsbroadcast channels

Değerlendirme 100% · 3 adım

15%
50%
35%
Homework Homework 15%
Midterm:Essay/written Midterm 50%
Final:Essay/written Final 35%
en büyük tek kalem %50 · sınav ağırlığı %85 · 9 dönem ortalaması 3.48 (137 öğrenci) nasıl hesaplanıyor

Önerilen kaynaklar 1 kitap

📕
Zorunlu
Elements of Information Theory
Thomas M. Cover and Joy A. Thomas
second edition · 2006

Bu dersi alınca · 5 öğrenme çıktısı

Bilkent'in resmî syllabus'ünden. Sağdaki etiket o çıktının hangi değerlendirmeyle ölçüldüğünü söylüyor.

🤖 GenAI politikası

The use of generative AI tools is permitted. However, students are fully responsible for all parts of any homework solution they submit. In particular, students must be the owner of their submissions: upon request, they should be able to explain the key ideas and critical steps in their solutions. At the beginning of each homework submission, students must state whether they used generative AI tools, and if so, where and how they used them (e.g., which step, and for what purpose).

Ders notları · henüz yok

EEE 634 için defter ekibi henüz not yazmadı.

İlk dosyayı sen atarsan: not, slayt, geçmiş sınav, çözüm, cheat-sheet, ne varsa. defter ekibi öğrenci paylaşımlarından bu dersin notlarını yazar. Drive linki / PDF / ZIP, hepsi olur.

← katalog

Geçmiş GPA dağılımı 9 dönem · ort. 3.48

DönemCourse CPA
2024-2025 Fall 3.31 1 sec · 28 öğr
2022-2023 Fall 3.45 1 sec · 13 öğr
2020-2021 Fall 3.82 1 sec · 14 öğr
2017-2018 Spring 3.33 1 sec · 15 öğr
2015-2016 Spring 3.54 1 sec · 18 öğr
2013-2014 Spring 3.55 1 sec · 13 öğr
2011-2012 Spring 3.23 1 sec · 6 öğr
2009-2010 Fall 3.53 1 sec · 16 öğr
2007-2008 Spring 3.56 1 sec · 14 öğr

Aggregate course GPA · Bilkent STARS'tan public data. Hoca-bazlı per-section detayı için STARS evaluation report →. Öğrenci anket cevapları KVKK kapsamında defter'de tutulmaz. Tüm derslerin ortalamaları →

2026-2027 Güz için şubesi henüz görünmüyor. Kayıt sistemi bu dersi bu dönem listelemiyor, ama şube girişi sürüyor: ders kaydı 15 Eylül, bölümler o güne kadar şube ekleyebiliyor. Son 4 güz döneminin 2 tanesinde açılmış; her yıl açılan bir ders değil. Ön kayıt müfredat üzerinden yapılıyor, açılan şube listesi üzerinden değil; o yüzden ön kayıtta seçebildiğin bir dersin şubesi burada henüz görünmeyebilir. Kesin sonuç ders kaydında belli oluyor. kayıt tarihleri → · açık dersler

⚠️ FZ engelleyen şartlar

None

Hocalar 0 bu dönem · 3 geçmiş

Geçmişte ders veren (3 kişi)
Tolga Mete Duman, Erdal Arıkan, Defne Aktaş