今日のAIや深層学習（ディープラーニング）は、2,000年以上前から蓄積されてきた世界中の優秀な発明家たちの功績に成り立っています。AIがどこに向かっているのか、現在の状況になるまでの経緯から理解していきましょう。AIはどこから始まったのか、その真相に迫ります。
AI研究の歴史は1世紀以上にわたり、最近ではますます脚光を浴び非常に重要な分野になりました。パターン認識と機械学習においては特に、経験から学習する人工ニューラルネットワーク（NN）の比較的新しい呼び方である「ディープラーニング（DL）」が大変革をもたらしました。今やDLは、産業及び日常生活で頻繁に使用されています。スマホの画像及び音声認識、言語の自動翻訳などがその一例に当たるでしょう。
英語圏諸国では、DLの起源は自国にありと信じている人が多いですが、実際には、DLは英語圏以外の国で発明されました。広範囲にわたるコンピューティングの歴史の中からAIに絞って見てみましょう。
初期コンピューティング時代のパイオニアたち
最古の機械式計算機に数えられる、紀元前1世紀のギリシャで作成された「アンティキティラ島の機械」があります。さまざまな大きさの37個の歯車で動作し、天体事象を予測するのに使われていました（写真1）。
写真1：紀元前1世紀のギリシャで作成されたアンティキティラ島の機械
種々サイズの37個の歯車で構成・天体事象の予測に使用されていた（写真：DU
ZHI XING/Shutterstock.com）。
アンティキティラ島の機械
その後1505年にニュルンベルクのピーター・ヘンライン（Peter Henlein）が丸型懐中時計を完成させるまでの1,600年間、その精巧さを超えるものは現れませんでした。しかしヘンラインの機械は、アンティキティラ島の機械と同じく、いわゆる入力した数値から結果を計算する機械ではなく、単にギア比を使って時間を振り分けたものでした。分数を出す際は秒数を60で割り、時間数を出す際は分数を60で割ります。
基礎算数用自動計算機と歯車式計算機パスカリーヌ
しかし1623年、テュービンゲンのヴィルヘルム・シッカート（Wilhelm Schickard）が、史上初の基礎算数用自動計算機を発明しました。その後1640年にはブレーズ・パスカル（Blaise Pascal）が歯車式計算機パスカリーヌを、1670年にはゴットフリート・ヴィルヘルム・ライプニッツ（Gottfried Wilhelm Leibniz）が「段付き歯車」と呼ばれた機械式計算機を発明し、これは足し算・引き算・掛け算・割り算の四則演算すべてを可能にした最初の計算機でした。1703年にライプニッツは、現在事実上あらゆるコンピューターで使われている二進法のアプローチについて説いた「Explanation of Binary Mathematics（二進法算術の解説）」という書著を発行しています。
数理解析やデータ分析はここからさらに発展し続けました。1800年頃には、カール・フリードリヒ・ガウス（Carl Friedrich Gauss）とアドリアン＝マリ・ルジャンドル（Adrien-Marie Legendre）によって、線形回帰による最小二乗法のパターン認識（「シャローラーニング」ともいわれる）が生み出されました。ガウスがこの技術を使用して過去の観測を分析し、さまざまな手法で予測子のパラメータを調整することで小惑星ケレスの新しい位置を正確に予測、そして再発見したことは有名な話です。
パンチカードでプログラムできる自動織機
この頃に実用的なプログラム制御式機械第一号がフランスで誕生しました。パンチカードでプログラムできる自動織機です。つまり1800年頃に、ジョゼフ・マリー・ジャカール（Joseph Marie Jacquard）と仲間たちが世界初のプログラマーになったということです。
1837年になると、イギリスのチャールズ・バベッジ（Charles Babbage）が「解析機関」というさらに汎用的なプログラム制御式機械を設計しました。当時はまだライプニッツの二進算術ではなく面倒な十進法に基づいていたため、誰もこの設計に成功していませんでした。しかし1991年になると、バベッジのそれほど一般的ではない階差機関2号機の試作機が実働していました。
20世紀の初頭には、インテリジェンスによる機械が著しく進歩しました。ここからは、1900年以降に起きたAIの発展に関連する出来事をご紹介します。
- 1914年、スペインのレオナルド・トーレス・イ・ケベード（Leonardo Torres y Quevedo）は、電磁部品を使った歴史上最初のチェス機械を作成しました。人間側が介入することなく、どの位置からでも終盤戦におけるキングとルーク（キャスリング）を展開させることができました。それまでチェスは知的活動と考えられていました。
- 1931年、オーストリアのクルト・ゲーデル（Kurt Gödel）は、整数を元にした世界初の万能なコーディング言語を発明し、AI理論及びいわゆる理論コンピューター科学を生み出しました。ゲーデルはこれを利用して、一般的な計算定理証明機を解説し、数術、計算、及びAIの根本的な制約を特定しました。その後1960年代及び1970年代に開発されたAIやエキスパートシステムの多くは、ゲーデルが導入した定理証明や演繹推論のアプローチを適用しています。
- 1935年、アメリカの数学者アロンゾ・チャーチ（Alonzo Church）は、ゲーデルによる1931年の研究結果をさらに発展させたものを発表し、Entscheidungsproblemまたは決定問題を解決し、ラムダ計算といわれる新しい万能な言語を導入しました。これが一般的なプログラミング言語LISPの基礎です。イギリスのアラン・チューリングは1936年、さらに別の強力な理論的概念を元に上記言語を再公式化し、この概念は現在「チューリングマシン」（写真2）といわれています。チューリングはAI主観テストも提案しています。
- 1935年から1941年までに、コンラート・ツーゼ（Konrad Zuse）は、世界初の完全動作するプログラム制御式コンピューター「Z3」を開発しました。また1940年代になると、世界初の高水準プログラミング言語を設計し、これを利用して世界初の汎用チェスプログラムを開発しました。さらに1950年には、世界初の商用コンピューター「Z4」を開発しました。UNIVAC第一号が発表される数カ月前のことでした。
- 「AI」という名称は、ジョン・マッカーシー（John McCarthy）が1956年のダートマス会議で使用した用語ですが、このトピックについてはパリで行われたコンピューターと人間の思考に関する有名な会議（「Les Machines à Calculer et la Pensee Humaine」）において言及されていました。ハーバート・ブルデラー（Herbert Bruderer）はこれがAIに関する最初の会議であると強く主張しています。この会議には世界各国のエキスパートが出席しており、ノーバート・ウィーナー（Norbert Wiener）は、上述したトーレス・イ・ケベードの有名なチェス機械と対戦しました。
- 1950年代後半、フランク・ローゼンブラット（Frank Rosenblatt）がパーセプトロンと「シャローニューラルネット」用のシンプルな学習アルゴリズムを開発しました。これらは実際には、1800年前後にガウスとルジャンドルによって導入されたさまざまな旧型線形回帰でした。ローゼンブラットはその後、さらに進んだディープネットについても考案しましたが、それほど進歩することはありませんでした。
- 1965年、ウクライナのアレクセイ・イヴァフネンコ（Alexey Ivakhnenko）とヴァレンティン・ラパ（Valentin Lapa）は、任意の層数を持つ深層の多層パーセプトロンに対する学習アルゴリズムについて、初めて著書を出版しました。フィードワードネットワークに「ディープラーニングの父」がいるならば、それはイヴァフネンコということになります。イヴァフネンコのネットは、2000年以降所標準（最大8層）から見ても深い層でした。また現在の深層NNのように、彼らは階層的で分散される入力データの内部表現を作成することを学びました。ここ数十年でディープラーニングは非常に重要なものになっています。人間の脳に多少関連しているAIの専門分野の一部です。人間の脳には約1000億のニューロンが存在し、それぞれが10,000の他のニューロンとつながっています。そのいくつかは、データ（聴覚、視覚、触覚、痛覚、空腹感）を使って他のニューロンを運ぶ入力ニューロンです。それ以外は筋肉を制御する出力ニューロンです。ほとんどのニューロンは、思考中には隠れています。例えば人間の脳は、ニューロンがお互いどのくらいの強さで影響し合っているのか、またそれらは生まれてからすべての経験をどのように符号化するのかを判断するため、繋がりの強さまたは重さを変更することで学習します。現代のDLの人工ニューラルネットワークは、これが元になっており、旧方式と比べて学習率が向上しています。
- 1969年、マービン・ミンスキー（Marvin Minsky）とシーモア・パパート（Seymour Papert）は、シャローラーニングの限界について書いた有名な著書「パーセプトロン：計算幾何学入門（Perceptrons: an introduction to computational geometry）」を発表し、アレクセイ・イヴァフネンコとヴァレンティン・ラパが5年前に解いた問題について議論しました。「ミンスキーの本はNN関連の研究を遅らせた」と言われてきましたが、それは事実ではなく、またはアメリカ以外で行われていた研究を対象にはしていませんでした。その後数十年間、特に東ヨーロッパの研究者たちの多くは、イヴァフネンコたちの理論を基礎にしてきました。2000年に入ってからも、多く引用されてきたイヴァフネンコの深層ネットトレーニング方法を使用しています。
1970年までの歴史についてはこれくらいにしておきましょう。続きは、また次回のブログでさらに詳しくご紹介します。
著者
Jürgen Schmidhuber
さらなる彼の経歴については、上記Mouserサイトでご参照ください。
0 件のコメント:
コメントを投稿