6学期講義/情報理論

新着情報

10/6開講.
講義中のPCの使用を禁じる。

科目区分

物工:限定選択
計数数理:限定選択B
計数システム:限定選択C

教員

山本 博資

場所

工63号講義室

教科書・参考書

教科書:教官自作の資料(配布した分は次の週までは持ってきて下さるとのこと)
参考書:Elements of Information Theory 2nd Edition (Wiley Series in Telecommunications and Signal Processing) : by T. Cover, J. Thomas

成績評価

テストを行う(3時間試験)
試験は2月15日(月)の13~16時。他学部の試験等により受けることができない人は計数教務室の相原さんまで報告すること。

過去問


シケプリ


シラバス

情報理論の基礎を講義する. 情報理論は,「データ圧縮」「誤り訂正」「暗号」などの符号化を取り扱う理論であり,その研究対象は,大きく次の2つに分かれる.  (1) 高性能な符号の具体的な構成方法  (2) 符号化効率の理論的限界の導出 (2)は,(1)で作られた符号の絶対的な性能評価を行うために必要不可欠となる.例えば,50%まで圧縮できる符号を構成したとき,圧縮限界が49%なら非常に高性能な符号と言えるが,圧縮限界が30%なら性能の悪い符号となる. 本講義では,情報が生起する確率分布に基づき,エントロピーや相互情報量などの各種情報量を定義し,それらを用いて,圧縮符号化や誤り訂正符号化などの符号化効率の限界を明らかにする.また,それらの限界を達成する具体的な符号構成法を示すと共に,現在最先端で研究されている符号などについても紹介を行う.

1 情報量
  確率,大数の法則,ダイバージェンス,エントロピー,相互情報量,微分エントロピー,エントロピーレート,定常エルゴード情報源,マルコフ情報源
2 情報源符号化
  符号の種類,情報源符号化定理,ハフマン符号,タンストール符号,算術符号,ユニバーサル符号
3 レート・ひずみ理論
  レート・ひずみ関数,有ひずみ情報源符号化定理,量子化,サンプリング定理
4 通信路符号化
  通信路モデル,最尤復号法,通信路符号化定理,通信路容量,ハミング符号,巡回符号
5 暗号
  共通鍵暗号,公開鍵暗号

関連サイト


講義まとめ

今年度の試験は出題傾向を大幅に変えるとの予告あり。

  • 最終更新:2009-12-11 19:54:29

このWIKIを編集するにはパスワード入力が必要です

認証パスワード