●●●●●●●●●●●●●●●●●●●●●●●●●●●●●● ニューラルネットの逆回しはできないのかね？
●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●
河野崇さんによるリファレンス 神経細胞の性質と数理モデル
神経興奮の現象と実体(上), 松本元著, 丸善] 理工学系からの脳科学入門, 合原一幸・神崎亮平編, 東京大学出版会] 神経システムの非線形現象, 林初男著, 現代非線形科学シリーズ4, コロナ社] ニューラルシステムにおけるカオス, 合原一幸編著, 東京電機大学出版局] J. Rinzel and B. Ermentrout, “Analysis of Neural Excitability and Oscillations,” in “Methods in Neural Modeling”, ed. C. Koch and I. Segev, pp. 251–291, MIT Press, 1998. ] E. M. Izhikevich, “Neural Excitability, Spiking, and Bursting,” International Journal of Bifurcation and Chaos, Vol. 10, pp. 1171–1266, 2000. ] C. Morris and H. Lecar, “Voltage oscillations in the barnacle giant muscle fiber,” Biophys. J., Vol.35, pp. 193–213, 1981. ] XPPAUT: http://www.math.pitt.edu/ bard/xpp/xpp.html ]
銅谷さんによるリファレンス
1) K. Doya. What are the computations of the cerebellum, the basal ganglia, and the cerebral cortex. Neural Networks, Vol. 12, pp. 961–974, 1999. 2) D. Marr. Vision. Freeman, New York, 1982. （和訳：乾敏郎，安藤広志．ビジョンー視覚の計算 理論と脳内表現，産業図書，1987.）. 3) P. S. Churchland and T. J. Sejnowski. The Computational Brain. MIT Press, Cambridge, 1992. 4) P. Dayan and L. F. Abott. Theoretical Neuroscience: Compuational and Mathematical Modeling of Neural Systems. MIT Press, Cambridge, 2001. 5) 甘利俊一. 神経回路網の数理. 産業図書, 1978. 6) 川人光男. 脳の計算理論. 産業図書, 1996. 7) 銅谷賢治, 藤井宏, 伊藤浩之, 塚田稔編. 脳の情報表現─ニューロン・ネットワーク・数理モデル. 朝 倉書店, 2002. 8) 銅谷賢治, 五味裕章, 阪口豊, 川人光男編. 脳の計算機構─ボトムアップ・トップダウンのダイナミク ス. 朝倉書店, 2005.
●●●●●●●●●●●●●●●●●●●●●●●●●●●●●● 脳は生まれたときにゼロから学習していくわけではなくて，遺伝子からそれなりの構造を持たされて，それで後は外界との相互作用つまり学習によって成人になっていく。
→ 幼児期という一瞬で何もかも学習しているわけではないということ。 → 例えば言語はどこまで決定付けられているのか？ 日本語話者の子供が英語圏で生まれ育ったとして，それは英語話者の子供と同じ学習速度を持つのか？
もし，遺伝子の担う割合が多いとなれば，普遍文法のようなものは或いはそもそも存在しないことが証明されるかもしれない（日本語遺伝子と英語遺伝子）。 なんにしても遺伝子解析は言語まで語りうるということ。
●●●●●●●●●●●●●●●●●●●●●●●●●●●●●● 情報量とは，観測者によって変わるのではないか？ つまり，ある信号列から読み取る情報量は，観測者によって変化する。 さらに，その情報量は観測者の内部状態として生じるのであって，観測者というのはさながら信号の翻訳器である。
入力信号（物理的存在） → 観測者 → 情報量（観測者の内部状態）
これは，観測者が写像であるとも言える。
入力信号の全体をS，情報量の全体Iは実数の部分集合であると考えると， 観測者O：S→I
Iには加法性が成り立つか？ シャノン情報量をうまく取り込めば加法性が成り立つはずである。
日本語で書かれた文章は，「日本語を知らない」アメリカ人にとっては，ただの記号列なのであって，彼が読み取る情報は不定（予測不能・観測不能）である。一方，日本人が日本語の文章から読み取る情報は，少なくともその文章の内容なのであって，さらに関連した事項に通じている人であれば，何かそこに書いていない情報まで読み取るはずである。
ここで，最初のアメリカ人が読み取る「不定」情報量と，事情に通じている人が深く読み取る「書いていない」情報量とは，ほぼ等価であると仮定する。 つまり，
アメリカ人の情報量 q_american ＝ q_infinit 情報通の情報量 q_expert = q_japanese + q_infinit
●●●●●●●●●●●●●●●●●●●●●●●●●●●●●● 情報とは，存在ではなく，組合せである。
●●●●●●●●●●●●●●●●●●●●●●●●●●●●●● 関さんのニューラルによる日本語学習は，１つの訓練入力に対して２つの異なる正解があると学習が収束しないという問題だったが，２つの正解の集合を対応させれば良いのではないのか？
例えば，関数の出力は可能な状態全ての集合で， それが再び確率空間になっていると考えたらどうか？
f : x → {a,b,c}
・このようなものは，関数として成立するのだろうか？ 特に無限集合のときが心配。 ・量子論のアイディアをもらえば，次のような重ね合わせ表現ができる。
f(x) = p_a |a> + p_b |b> + p_c |c> + p_ab |a,b> + ...
●●●●●●●●●●●●●●●●●●●●●●●●●●●●●● 人間の直列情報処理（いわゆる推論）は， 並列処理型の分散表現によるバックアップ（いわば動物的部分）の上に成り立っている。
統語構造は直列情報処理，意味構造は並列処理に対応しているのではないか？ これは，統語構造については機械のほうが人間よりも早く学習するのに対して， 機械に意味を扱わせる試みは今のところできていないことからくる反動的推論である。
●●●●●●●●●●●●●●●●●●●●●●●●●●●●●● 制御理論，システム理論，情報理論，人工知能，ニューラルネットワーク，第５世代コンピュータ，ファジー，並列分散処理，チューリングマシン，オートマトン，計算機科学，数理論理学，形式言語理論，チョムスキー，脳科学，トポロジー これらの歴史・興亡・相互関係はどうなっていたのか？ 30年代，40年代，60年代，70年代，80年代，90年代,20世紀末，現在
●戦後，例えば航空工学科は応用数学科になった。
●●●●●●●●●●●●●●●●●●●●●●●●●●●●●● 情報幾何学・・・微分幾何学をベースにしている。 1945 ラオがいろいろ試した。 1970 チェンツォフ（コルモゴロフの弟子） あるアメリカ人の論文→甘利さんのところでやってみたら思いがけず成功 竹内啓のバックグラウンド→コックス（英：統計学の親分）の太鼓判→国際学会へ →情報理論・制御理論でも注目
●●●●●●●●●●●●●●●●●●●●●●●●●●●●●● 甘利さんのインタビュー（'90）を読むと，80年代から現代に至るまで状況はほとんど変わってきていないように思われるが，それでは当時と現在で大きく違ってきていることは何だろうか？
計算機の性能向上？ ←80年代は既に計算機革命だから，いうほど変わってないはず。 インターネットの普及？ →技術の現実味という点で考え方が変わってきている。 脳に関する解剖学的な知見？ ←これはゴルジとか電気生理学者がかなり詳細にやったのでは？ 脳機能に関する知見？ ←EEG,MEG,PET,SQUIDなど
そういえば，fMRIの発明によって脳機能が観測されるようになったことは大きいようだ。
