マービン・ミンスキーは1940年代後半から2016年に亡くなるまでの間に、コンピューティングの発展に寄与する多くの業績を残した。前回も述べたように、彼はコンピューターに関連したものだけではなく、共焦点顕微鏡という解像度の高い顕微鏡の発明や、数学で不動点に関する定理の証明を発表したりもした。また、もともと音楽の道に進もうかと考えただけあり、ピアノはただ弾くだけではなく、ある曲を弾き始めたあと、途中から曲を作りながら即興演奏するのも楽しみとしていた。
今回は、彼がニューロンをモデルとしたハードウェアを作った話を紹介しよう。
以下は技術的な内容となるが、詳細はともかく、現在のディープラーニングの隆盛につながるアイディアが、どのような始まり方をしたのか、ということを感じてもらえればと思う。
詳しくは下記の「SNARCの仕組み」参照
■SNARCを作るきっかけ
戦時中の1943年に、ウォーレン・マカロックとウォルター・ピッツにより、ニューロンの挙動を数学的に単純化して表現し、時間の経過に応じてニューロンの回路を信号が伝播していったとき、結果となる状態がどのような性質を持つのか、ということを検討した論文が発表された。これが近代的なニューラルネットワーク研究の始まりであったと言える。この論文はコンピューターが使えるようになる前のことでもあり、あくまでも数式と数学的証明の世界であって、機械やコンピューターで作ってみるという話ではなかった。
このような研究を踏まえつつ、ミンスキーは1949年頃には条件付けによる学習をニューロンでどのように表現することができるか、そしてそれを機械で実現するにはどうしたら良いかについて考え始めていた。1951年にジョージ・ミラーが空軍から予算を取り付けてきて（コンピューターの歴史の話には予算獲得の話がしばしば出てくるのだが、この頃のアメリカではしかるべき人がしかるべき筋に頼めば、研究資金がほいっと出てくる、という印象を受けるエピソードには事欠かない）、実際にその機械を試作することになった。これがSNARC（Stochastic Neural Analog Reinforcement Calculator）とよばれる機械である。
■SNARCの仕組み
この頃は、機械を作るといえばそれが「考える機械」であろうとも当然のようにアナログの仕掛けである。
この写真で、ミンスキーが手に持っている靴くらいの大きさのものが「ニューロン素子」の１ユニットである。彼と仲間はこの素子を40個ランダムに接続したネットワークを作った。素子には入力となる電極と出力となる電極がいくつか付いている。グランドピアノくらいの大きさのラックにこれら40個の素子を備え付け、電極の入力と出力をつなぐ。写真で素子の右側に突き出しているのはダイアル式の可変抵抗のようなもので、入力信号を受け取った時に出力信号を送り出すかどうかの確率を0と1の間で設定できるようになっている。
この装置でもまた、学習とは試行をなんども繰り返すことによって行なわれる。試行する時は素子のネットワークの入力側からいくつかの電極に電気を流し、出力側とみなした素子の出力端子から信号が出力されるかどうかを調べる。それぞれの素子にはコンデンサーがついており、もしその試行でその素子が信号を出力した場合には、そのコンデンサーに数秒間の間電荷が貯まるようになっている。
試行が終わった時に結果が「好ましい」ものであった場合は、オペレーターがボタンを押して、40個の素子の可変抵抗に繋がった長い鎖が少し引っ張られる。その時に、コンデンサーに電荷が残っている素子では、その鎖が可変抵抗のダイヤルと噛み合うようになっており、引っ張られた鎖によってダイヤルが少しだけ回って出力確率が少し上がる。つまり、好ましい結果を出力することに貢献した素子の出力確率が少し上がるわけである。コンデンサーが数秒後に放電したところで試行が完了である。
この試行を繰り返すと、徐々に好ましい結果に貢献した素子が強化されていき、それが「学習」ということになるわけだ。数秒で放電してしまうコンデンサーが短期記憶として、鎖で操作される可変抵抗のダイヤルが長期記憶として機能することによって全体が学習機械になるというとてもカッコ良い発想である。この機械で、シャノンが当時作っていた迷路を通り抜けるマイクロマウスの挙動を実現できた、ということである。
■アナログ・コンピューター
現代はデジタル・コンピューター全盛の時代であるが、特殊用途ではアナログのものもところどころでまだ使われたり新たに設計されたりしている。いつでも「他のやり方はないか」と考えを巡らせ、そのために歴史を紐解いてみるのは面白いことだと思う。
次回掲載予定は2023年9月上旬頃→9月1日に公開しました（こちら）
著者：大島芳樹
東京工業大学情報科学科卒、同大学数理・計算科学専攻博士。Walt Disney Imagineering R&D、Twin Sun社、Viewpoints Research Instituteなどを経て、現在はCroquet Corporationで活躍中。アラン・ケイ博士と20年以上に渡ってともに研究・開発を行い、教育システムをはじめとして対話的なアプリケーションを生み出してきた。2021年9月に株式会社京都テキストラボのアドバイザーに就任。2022年8月より静岡大学客員教授。