情報理論

First bookWhere to start

Fields this one connects toConnected fields

• 計算機科学Often studied togetherデータ圧縮や通信の限界を定める情報理論は、計算機科学と道具を共有する。
• 確率論Easier if learned first情報量（エントロピー）は確率分布の関数として定義される。
• AIUses its methods機械学習の損失関数や表現学習は、情報理論の概念（エントロピー・相互情報量）を使う。