目次
第1章 導入
1.1 多変量データと線形表現
1.2 暗中信号源分離
1.3 独立成分分析
1.4 ICAの歴史
第Ⅰ部 数学的準備
第2章 確率変数と独立性
2.1 確率分布と密度
2.2 期待値とモーメント
2.3 無相関性と独立性
2.4 条件つき密度とベイズの法則
2.5 多変量ガウス分布
2.6 変換の分布
2.7 高次の統計量
2.8 確率過程
2.9 結語と参考文献
第3章 勾配を用いた最適化法
3.1 ベクトル型と行列型の勾配
3.2 制約条件なし最適化のための学習則
3.3 制約条件つき最適化の学習則
3.4 結語と参考文献
第4章 推定理論
4.1 基本的な概念
4.2 推定の性質
4.3 モーメント法
4.4 最小2乗推定
4.5 最尤推定
4.6 ベイズ推定法
4.7 結語と参考文献
第5章 情報理論
5.1 エントロピー
5.2 相互情報量
5.3 最大エントロピー
5.4 ネゲントロピー
5.5 キュムラントによるエントロピーの近似
5.6 非多項式によるエントロピーの近似
5.7 結語と参考文献
第6章 主成分分析と白色化
6.1 主成分
6.2 オンライン学習によるPCA
6.3 因子分析
6.4 白色化
6.5 直交化
6.6 結語と参考文献
第Ⅱ部 基本的な独立成分分析
第7章 独立成分分析とは何か
7.1 動機
7.2 独立成分分析の定義
7.3 ICAの図解
7.4 白色化より強力なICA
7.5 ガウス的変数には使えない理由
7.6 結語と参考文献
第8章 非ガウス性の最大化によるICA
8.1 「非ガウス性は独立性」
8.2 尖度によって非ガウス性を測る
8.3 ネゲントロピーによって非ガウス性を測る
8.4 複数の独立成分の推定
8.5 ICAと射影追跡
8.6 結語と参考文献
第9章 最尤推定によるICA
9.1 ICAモデルにおける尤度
9.2 最尤推定のアルゴリズム
9.3 インフォマックスの原理
9.4 最尤推定の適用例
9.5 結語と参考文献
第10章 相互情報量最小化によるICA
10.1 相互情報量によるICAの定義
10.2 相互情報量と非ガウス性
10.3 相互情報量と尤度
10.4 相互情報量の最小化のアルゴリズム
10.5 相互情報量最小化の適用例
10.6 結語と参考文献
第11章 テンソルを用いたICA
11.1 キュムラントテンソルの定義
11.2 テンソルの固有値から独立成分を得る
11.3 べき乗法によるテンソル分解
11.4 固有行列の近似的同時対角化
11.5 荷重相関行列法
11.6 結語と参考文献
第12章 非線形無相関化によるICAと非線形PCA
12.1 非線形相関と独立性
12.2 エロー＝ジュタンのアルゴリズム
12.3 チコツキ＝ウンベハウエンのアルゴリズム
12.4 推定関数法
12.5 独立性による等分散適応的分離
12.6 非線形主成分分析
12.7 非線形PCA規準とICA
12.8 非線形PCA規準の学習則
12.9 結語と参考文献
第13章 実際上の諸問題
13.1 時間フィルタによる前処理
13.2 PCAによる前処理
13.3 推定すべき成分の数は？
13.4 アルゴリズムの選択
13.5 結語と参考文献
第14章 基本的なICAの諸方法の概観と比較
14.1 「目的関数」対「アルゴリズム」
14.2 ICA推定原理の間の関係
14.3 統計的に最適な非線形関数
14.4 実験によるICAアルゴリズムの比較
14.5 参考文献
14.6 基本ICAの要約
第Ⅲ部 ICAの拡張および関連する手法
第15章 雑音のあるICA
15.1 定義
15.2 センサ雑音と信号源雑音
15.3 雑音源の数が少ない場合
15.4 混合行列の推定
15.5 独立成分からの雑音の除去
15.6 スパース符号の縮小による雑音除去
15.7 結語
第16章 過完備基底のICA
16.1 独立成分の推定
16.2 混合行列の推定
16.3 結語
第17章 非線形ICA
17.1 非線形ICAとBSS
17.2 非線形活性化関数型混合の分離
17.3 自己組織写像を用いた非線形BSS
17.4 生成的トポグラフィック写像による非線形BSS解法
17.5 アンサンブル学習による非線形BSSの解法
17.6 他の方法
17.7 結語
第18章 時間的構造を利用する方法
18.1 自己共分散による分離
18.2 分散の非定常性による分離
18.3 統一的な分離の原理
18.4 結語
第19章 畳み込み混合と暗中逆畳み込み
19.1 暗中逆畳み込み
19.2 畳み込み混合の暗中分離
19.3 結語
第20章 その他の拡張の例
20.1 混合行列に関する事前情報
20.2 独立性の仮定の緩和
20.3 複素数値データ
20.4 結語
第Ⅳ部 ICAの応用
第21章 ICAによる特徴抽出
21.1 線形表現
21.2 ICAとスパース符号化
21.3 画像からICAの基底を推定する
21.4 スパース符号縮小による画像の雑音除去
21.5 独立部分空間とトポグラフィックICA
21.6 神経生理学との関連
21.7 結語
第22章 脳機能の可視化への応用
22.1 脳波と脳磁図
22.2 脳波と脳磁図中のアーチファクトの特定
22.3 誘発脳磁界の解析
22.4 他の測定法へのICAの応用
22.5 結語
第23章 通信技術への応用
23.1 多ユーザ検出とCDMA通信
23.2 CDMA信号のモデルとICA
23.3 伝送路のフェージングの推定
23.4 畳み込みCDMA混合の暗中分離
23.5 複素数値ICAを用いた多ユーザ検出の改善
23.6 結語と参考文献
第24章 その他の応用
24.1 金融への応用
24.2 音声信号の分離
24.3 他の応用例
前書きなど
独立成分分析（ICA）は確率変数，測定値または信号などの下に隠されている要因を明らかにするための，統計学的な，かつ計算方法に関する手法である．大きな標本のデータベースとして与えられることが多い多変量データに対して，ICAは生成的なモデルを提供する．そのモデルでは，データの変数は，何らかの未知で隠れている変数の線形，または非線形混合であると仮定されるが，その混合過程も未知とされる．それら未知の変数は非ガウス的（正規分布に従わない）で相互に独立であると仮定され，観測データの独立成分と呼ばれる．これらの独立成分はまた信号源とも因子とも呼ばれ，ICAによって見出されるのである．
ICAは主成分分析や因子分析の拡張とみなすことができる．しかしながら，ICAはずっと強力な手法であり，これらの古典的な方法がまったく歯が立たないような場合でも，隠れている因子や信号源を見出すことができる．
ICAの応用が可能な範囲は多くの異なる分野に及んでいて，ディジタル画像，ドキュメントのデータベースから経済指標とか計量心理学的測定値などまで含まれる．多くの場合，測定値は並列的に得られる複数の信号や時系列である．そのとき，この問題は暗中信号源分離（blind source separation）という言葉によって記述される．典型的な例としては，同時に話す複数の話者の声を複数のマイクロフォンで拾った，声が入り交じった信号や，脳波を複数の電極で記録したもの，携帯電話に入り込む複数の干渉電波，生産工程から並列的に発生する時系列などがある．
ICAは比較的新しく開発された手法である．最初に用いられたのは1980年代の初期で，ニューラルネットワークモデルに関連したものであった．1990年代の中頃，複数の研究グループによって紹介されたアルゴリズムは成功を収めたもので，カクテルパーティ効果のような問題に対して驚くほど効果があることを示した．カクテルパーティの問題とは，複数の話者の声の波形を分離する問題である．ICAは刺激的な新しいトピックとなった．ニューラルネットワークの分野では特に「教師なし学習」において，またもっと一般的に，統計の先端分野や信号処理の分野で話題となった．そして，ICAの現実問題への応用が現れ始めた．医用生体工学関連信号処理，聴覚信号の分離，通信，故障診断，特徴抽出，金融関係の時系列解析，さらにデータマイニングなどへの応用である．
ここ20年間にICAに関する多くの論文が多くの雑誌や会議録に掲載された．分野で見ると，信号処理，人工ニューラルネットワーク，統計学，情報理論，その他多くの応用分野である．ICAに関する特別セッションやワークショップが最近行われ，ICAや暗中信号源分離や関連する主題に関する，いくつかの論文集やモノグラフが出版されている．それらはその読者として意図された人達にとっては大変有益であるが，それぞれがICAの方法の特定の部分のみについて集中して書かれている．簡潔な記述を旨とする科学技術論文では，数学や統計に関する初歩的事項は含めないのが普通であるから，より広い読者層にとって，このかなり高度な主題を十分理解するのは難しい状況である．
数学的な背景や原理，解法のアルゴリズムとともに現在のICAの先端的な応用までも含めた，包括的で詳細にわたる教科書は現在までなかった．本書はそのギャップを埋めるために書かれたもので，ICAに対する基礎的な入門書となるべきものである．
読者としては広い分野の人々を想定している．すなわち，統計学，信号処理，ニューラルネットワーク，応用数学，神経および認知科学，情報理論，人工知能および工学分野の人々である．研究者も学生も実務家も本書を使うことができるであろう．この一冊で事足りるようにできるだけ努力したつもりであるから，大学1，2年程度の微積分，行列演算，確率論，統計学の知識があれば，本書を読むことができる．また，ICAの教科書として大学院で用いるのにも適している．その際，多くの章末に用意された演習問題やコンピュータ課題が役立つであろう．
本書の範囲と内容
本書は統計および計算の手法としてのICAの全般的な入門書である．基本的な数学的原理と基礎的なアルゴリズムに主眼を置いた．内容の多くは，我々自身の研究グループ内で行われた独自の研究に基づいているので，トピック間の軽重の関係には当然それが反映している．特に取り上げたのは，大規模な問題，すなわち多くの観測変数やデータ点をもつような問題にまで適用可能なアルゴリズムである．最近までは，ICAの適用というと小規模問題とか，試験的な研究が主であったが，近い将来，ICAが実社会の現実問題に広く用いられるようになれば，これらのアルゴリズムがますます重要になるであろう．そのような理由で，畳み込み混合，遅延，さらにICA以外の暗中信号源分離の方法を含むような，より特化した信号処理の方法については，どちらかというと扱いが軽くなっている．
ICAは急速に進歩している分野であるから，教科書の中に新しい展開をすべて取り込むのは不可能である．我々は他の研究者の貢献による主要な結果を，その意図を誤らずに取り入れるよう努力し，また参照できるよう広範な文献リストを用意したつもりである．それでも見過ごしたかもしれない重要な貢献に対しては，お詫びを申し上げる．
読みやすくするため，本書は4部に分かれている．
●第Ⅰ部は数学の基礎的事項である．ここでは本書で必要となる一般的な数学の概念を導入する．第2章は，確率論に関する突貫コースである．読者はこの章に書かれた内容について勉強したことがあることを想定しているが，そのほかに，どちらかというとICAに特有ないくつかの概念も導入する．たとえば高次キュムラントや多変量確率論である．次に第3章では，ICAのアルゴリズムを展開するのに必要とされる，最適化の理論や勾配法に関する理論上の枠組みの補足は，第5章の情報理論で与えられる．第Ⅰ部を締めくくるのは第6章で，主成分分析，因子分析，無相関化に関する方法について論じる．読者に自信があれば，第Ⅰ部のある部分，あるいは全体を飛ばして第Ⅱ部のICAの原理から直接読み始めてもよいであろう。
●第Ⅱ部では，基本ICAモデルを取り上げ解法を示す．これは雑音のない線形瞬時混合モデルで，ICAでは古典的で，その理論の核となるものである．第7章でこのモデルを導入し混合行列の同定可能性を扱う．後続の各章では，モデルの推定法を扱う．中心的な原理は非ガウス性であり，そのICAとの関係を第8章で調べる．次に最尤性の原理（第9章）と最小相互情報量（第10章）を概観し，次にこれら三つの基本的原理の間の関係を示す．入門的な講義には向いていないかもしれないが，第11章では高次キュムラントテンソルを用いた代数学的アプローチを，第12章では初期の成果である非線形無相関化に基づくICAと非線形主成分分析について述べる．これらの各原理によって独立成分や混合行列を求め，実用的なアルゴリズムを示す．次に第13章では，いくつかの実際的な問題，特に前処理と次元の低減について述べる．ICAを現実問題に適用するときの実務家に対するヒントも含まれる．第14章は第Ⅱ部のまとめとして，ICAの各種の方法を概括し比較する．
●第Ⅲ部では，基本ICAモデルのいろいろな拡張について述べる．これらの拡張の大部分は最近提案されたもので，多くの未解決問題が残っているので，第Ⅲ部はその性格上，第Ⅱ部より不確定要素を多く含んでいる．ICAの入門の授業ならば，いくつか章を選んで用いればよい．まず第15章では，ICAにおいて観測可能な雑音を導入する問題を扱う．第16章では，観測される混合信号よりも多くの独立成分がある場合について述べる．第17章ではモデルは一挙に一般化され，混合過程が広く一般的に非線形である場合を扱う．第18章は，ICAモデルと似た線形モデルを推定する問題であるが，仮定がかなり異なっている．ここでは，各成分の非ガウス性は仮定せず，その代わり何らかの時間依存性を仮定する．第19章は，混合過程が畳み込みを含んでいる場合である．第20章はその他の拡張，特に各成分が厳密に独立性を満足していない場合を扱う．
●第Ⅳ部ではICAのいくつかの応用例を扱う．特徴抽出は（第21章）画像処理と視覚研究のどちらにも関係している．脳イメージング（第22章）では，ヒトの脳活動の電気的および磁気的計測によるものについてのみ扱う．通信技術における応用は第23章で扱う．第24章では計量経済学や音声信号処理や，他の多くの応用の可能性について述べる．
全体を通じて，入門的な授業の場合には飛ばしてもよい節に星印をつけた．
本書で紹介したいくつかのアルゴリズムは，著者らの，あるいは他の研究者のホームページで，ウェブ上のソフトウェアとして公開され自由に使える．そこには現実のデータのデータベースも載せてあるので，各方法を試すこともできる．本書のためにとくにホームページを作成した．そこには必要なリンクも示されている．アドレスは，
www.cis.hut.fi/projects/ica/book
である．詳しくはこのページを参照されたい．
本書は3人の著者の共同作業によるものである．A.hyvarinenは5,7,8,9,10,11,13,14,15,16,18,20,21,22の各章を，J.Karhunenが2,4,17,19,23,章を，E.Ojaは3,6,12章を担当した．第1章と第24章は共同執筆した．
