AIエンジニア必見！3つの新しいトレンド

 

2019年後半、アメリカのIT専門調査会社・IDC (International Data Corporation ）は「人工知能（AI）システムに対する世界の支出額は2023年までに979憶ドルに成長する」という予想をしました。これは2019年の375憶ドルの約2.5倍にあたります。

新型コロナウィルスがもたらした2020年の混乱にもかかわらず、AIは全く「感染」していないようです。

AI関連業務の方は、新しいトレンドやスキルの多様化が起こるか目を光らせておけば、時代に乗っていくことができます。

今回ぜひ注力いただきたい3つの分野を挙げていきます。どれも専門家がこれから急成長するであろうと見込んでいる領域です。

 

AIoT組み込みシステム

最近まで、大切なデータはデータセンターの中で処理をすることばかり考え、データを取得した現場ですぐに処理することは考えてもみませんでした。しかし現在では高性能スーパーコンピューターが、これまで障害となっていたサイズ、費用、電源の問題をクリアしたのです。 

2020年5月に発売されたNVIDIAのJetson Xavier NX開発キットの値段は400ドルを下回り、わずか10ワットの電源で動作します。最大21 TOPS（毎秒21兆回の演算）、最先端のニューラルネットワークを並列で動作させる有効電力、さらに複数の高解像度センサからのデータ処理など、つまりAIのフルシステムに必要なものをすべて実現させました。他社製品もこれに近づきつつあります。

 こうした技術進歩により、クラウド接続のAIやML用のマルチモーダルアプリの開発が大幅に合理化されました（図1）。例えば、発熱している入場者や入場禁止リストに載っている人を検知する、潜在的リスクを排除できる最先端ライブビデオ搭載感熱画像処理システムを構築するとします。この場合、例え5Gがあったとしても、高解像度のライブビデオと熱センサーデータをクラウドにアップロードし、遠隔サーバーで処理、これが終わってから顔認識とリスク査定のスコアを待つのでは実用的ではありません。その作業と結果が戻ってくるまでには恐らく数十分を要するでしょう。この問題を解決するには、現地でライブデータを処理し、システムが速やかにその脅威レベルを査定するしかないのです。

 

図1：大きな進歩を遂げているクラウド接続のAIアプリ（写真：Phonlamai Photo/Shutterstock.com）

この理論体系は、今では標準のカメラ、感熱画像装置、及び完全開発キットとして販売されているオクタコア構成のNVIDIAでも可能になりました。オブジェクト検出、音声合成、分類、推薦エンジン、言語翻訳、感情分析など、一般的なAIアプリの構成要素が学習済みモデルに適用されています。これらの機能を持つアプリ開発では、初めにその機能のモデルを使ってから具体的なユースケース用に調整すれば非常にスピーディーに進めることができます。NVIDIA GPU Cloud（NGC）ライブラリは、このようなモデルを何百種類も提供しているため、一般的なAIタスクを素早くスタートでき、Jetson Xavierや同社の他製品用には既に最適化されています。さらに、一度プロジェクトを稼働し始めれば、いくつかのレイヤーを更新するだけでモデルの再学習が可能なため、時間の節約になります。

 これら強力な機能を備えたスーパーコンピューターは、上述したようなスマートカメラのプロジェクトには理想的です。それだけでなく、医療装置、自動光学検査、商業用ロボットなど、ありとあらゆる高性能AIシステムの構築に活用するでしょう。

 

自然言語生成／従来型AI

自然言語生成分野も大きな進化を遂げています。特にMicrosoftのチューリング自然言語生成（T-NLG）は、AI開発者がこれまで叶わなかったいくつかの扉を開いてくれました。しかしこれには豊富なリソースが必要でした。

32GBのRAMがあったとしても、グラフィックス処理装置（GPU）が1つでは13億以上のパラメーターを含むモデルに適合することはできません。そこでMicrosoftチームは、ハードウェアとソフトウェアに突破口を見出しこの問題を解決しました。Microsoftは、GPU間に超高速通信を使ってNVIDIAのハードウェア設定を活用し、4つのGPUに対してテンソルをスライスするモデルを適用しました。これでモデルの並列度は16から4に減ったため、ノード当たりのバッチサイズは400%に増え、学習速度は3倍になりました。結果として、DeepSpeedライブラリは、以前の設定では1024 GPU必要だったのに対し、わずか256 GPUで512 GPUのバッチサイズで学習することができました。さらに特筆すべきは、この技術を使用するために古い記事を理解する必要がないということです。

2020年2月にリリースされたT-NLGのベータ版により、検索クエリに対し文章で回答し、リアルタイムで会話型言語を生成できるようになりました。つまり目的の言語できちんと話し、完全な文章で答えるチャットボットです。

T-NLGは、170憶のパラメーターを含む最大級のモデルであり、コンテンツを書いたり長文を抜粋したりするライターを支援するためのアプリケーションを作ることもできます。または、これまで私たちが使っていたアシスタントよりも格段にスマートなデジタルアシスタントを使ってカスタマーエクスペリエンスを向上させることもできます。自然言語生成ツールに詳しくなることで、AI開発者は今後数年間で市場価値が大きく上がる新しいスキルを培うことができると私たちは確信しています。

すでにPythonを使用している人は特に、T-NLGを使い始めた方が、想像以上に簡単です。

 GitHubを使い、DeepSpeedライブラリのリポジトリ（PyTorchと互換性のあるもの）について詳しく調べ、スタートしてみてください。

このAPIライブラリがあれば、深層学習モデルのサイズが10倍になり、速度は5倍になるため、分散された学習が簡単、能率的、そして効果的になります。100憶を超えるパラメーターを活用して、かつてない速度でモデルを学習させることができるというわけです。

 

ニューラルネットワークと進化的計算

データベースは通常AIシステムやアプリケーションのネックとなります。処理能力やメモリを増やせば解決するという問題ではありません。そこで注目すべきトレンドの一つは、ニューラルネットワークをデータベースのシステム設計に適用することです。

マサチューセッツ工科大学（MIT)とGoogleの実験データ管理設計は、メインのコンポーネントに関してニューラルネットワークにスワップインし、メモリ要件を低減しながらもキャッシュ最適化したB-Tree上でのパフォーマンスを最大で70%向上させました。

学習済みのインデックスは、データベースのルックアップキーの構成をすぐに認識し、それをレコードの位置の予想に使用します。ニューラルネットは今後のシステム設計に多大な影響を与えるため、詳しく調べる価値はあると思います。

最後にモノの人工知能（AIoT）、自然言語生成（NLG）、またはニューラル計算の中から一つ、またはすべてをトピックとして選び、AI革命を盛り上げる大きな波になると思われるものに乗る準備をしましょう。

 

★★★★★★★★★★★★★★★★★★★★

Mouserブログをもっと読む

　➡　Mouserサイト・英語（あらゆる種類・最新トピックの記事）

　➡　日本語ページ（ピックアップして翻訳した記事）

★★★★★★★★★★★★★★★★★★★★

 

 著者

 Stephen Cassar

フォーチュン誌が選ぶ100社のアドバイザーとして、特にワークフロー管理、eコマース、人工知能、機械学習に関連する製品戦略とアーキテクチャ部門に招待されることが多く、最新プロセスを客観的に観察し、長期的な高い実績と短時間でROIを達成できるよう戦略の細かい変更点を提案している。

CTO／最高システム設計者として、SaaSプラットフォームをきちんと構築するための要件に関する深い知識を持つ。複数の従来型システムを組み合わせることもしばしばあり、拡張可能なクラウドベースのアーキテクチャを使うことで安全かつ統合された複雑なデータセットを確立している。

 

 

 

 

 

AIの起源は古代ギリシャにあり

今日のAIや深層学習（ディープラーニング）は、2,000年以上前から蓄積されてきた世界中の優秀な発明家たちの功績に成り立っています。AIがどこに向かっているのか、現在の状況になるまでの経緯から理解していきましょう。AIはどこから始まったのか、その真相に迫ります。

AI研究の歴史は1世紀以上にわたり、最近ではますます脚光を浴び非常に重要な分野になりました。パターン認識と機械学習においては特に、経験から学習する人工ニューラルネットワーク（NN）の比較的新しい呼び方である「ディープラーニング（DL）」が大変革をもたらしました。今やDLは、産業及び日常生活で頻繁に使用されています。スマホの画像及び音声認識、言語の自動翻訳などがその一例に当たるでしょう。

英語圏諸国では、DLの起源は自国にありと信じている人が多いですが、実際には、DLは英語圏以外の国で発明されました。広範囲にわたるコンピューティングの歴史の中からAIに絞って見てみましょう。

初期コンピューティング時代のパイオニアたち

最古の機械式計算機に数えられる、紀元前1世紀のギリシャで作成された「アンティキティラ島の機械」があります。さまざまな大きさの37個の歯車で動作し、天体事象を予測するのに使われていました（写真1）。

 

写真1：紀元前1世紀のギリシャで作成されたアンティキティラ島の機械
種々サイズの37個の歯車で構成・天体事象の予測に使用されていた（写真：DU ZHI XING/Shutterstock.com）。

アンティキティラ島の機械 

その後1505年にニュルンベルクのピーター・ヘンライン（Peter Henlein）が丸型懐中時計を完成させるまでの1,600年間、その精巧さを超えるものは現れませんでした。しかしヘンラインの機械は、アンティキティラ島の機械と同じく、いわゆる入力した数値から結果を計算する機械ではなく、単にギア比を使って時間を振り分けたものでした。分数を出す際は秒数を60で割り、時間数を出す際は分数を60で割ります。

 

基礎算数用自動計算機と歯車式計算機パスカリーヌ

しかし1623年、テュービンゲンのヴィルヘルム・シッカート（Wilhelm Schickard）が、史上初の基礎算数用自動計算機を発明しました。その後1640年にはブレーズ・パスカル（Blaise Pascal）が歯車式計算機パスカリーヌを、1670年にはゴットフリート・ヴィルヘルム・ライプニッツ（Gottfried Wilhelm Leibniz）が「段付き歯車」と呼ばれた機械式計算機を発明し、これは足し算・引き算・掛け算・割り算の四則演算すべてを可能にした最初の計算機でした。1703年にライプニッツは、現在事実上あらゆるコンピューターで使われている二進法のアプローチについて説いた「Explanation of Binary Mathematics（二進法算術の解説）」という書著を発行しています。

数理解析やデータ分析はここからさらに発展し続けました。1800年頃には、カール・フリードリヒ・ガウス（Carl Friedrich Gauss）とアドリアン＝マリ・ルジャンドル（Adrien-Marie Legendre）によって、線形回帰による最小二乗法のパターン認識（「シャローラーニング」ともいわれる）が生み出されました。ガウスがこの技術を使用して過去の観測を分析し、さまざまな手法で予測子のパラメータを調整することで小惑星ケレスの新しい位置を正確に予測、そして再発見したことは有名な話です。 

 

パンチカードでプログラムできる自動織機 

この頃に実用的なプログラム制御式機械第一号がフランスで誕生しました。パンチカードでプログラムできる自動織機です。つまり1800年頃に、ジョゼフ・マリー・ジャカール（Joseph Marie Jacquard）と仲間たちが世界初のプログラマーになったということです。

1837年になると、イギリスのチャールズ・バベッジ（Charles Babbage）が「解析機関」というさらに汎用的なプログラム制御式機械を設計しました。当時はまだライプニッツの二進算術ではなく面倒な十進法に基づいていたため、誰もこの設計に成功していませんでした。しかし1991年になると、バベッジのそれほど一般的ではない階差機関2号機の試作機が実働していました。

20世紀の初頭には、インテリジェンスによる機械が著しく進歩しました。ここからは、1900年以降に起きたAIの発展に関連する出来事をご紹介します。

• 1914年、スペインのレオナルド・トーレス・イ・ケベード（Leonardo Torres y Quevedo）は、電磁部品を使った歴史上最初のチェス機械を作成しました。人間側が介入することなく、どの位置からでも終盤戦におけるキングとルーク（キャスリング）を展開させることができました。それまでチェスは知的活動と考えられていました。

• 1931年、オーストリアのクルト・ゲーデル（Kurt Gödel）は、整数を元にした世界初の万能なコーディング言語を発明し、AI理論及びいわゆる理論コンピューター科学を生み出しました。ゲーデルはこれを利用して、一般的な計算定理証明機を解説し、数術、計算、及びAIの根本的な制約を特定しました。その後1960年代及び1970年代に開発されたAIやエキスパートシステムの多くは、ゲーデルが導入した定理証明や演繹推論のアプローチを適用しています。

• 1935年、アメリカの数学者アロンゾ・チャーチ（Alonzo Church）は、ゲーデルによる1931年の研究結果をさらに発展させたものを発表し、Entscheidungsproblemまたは決定問題を解決し、ラムダ計算といわれる新しい万能な言語を導入しました。これが一般的なプログラミング言語LISPの基礎です。イギリスのアラン・チューリングは1936年、さらに別の強力な理論的概念を元に上記言語を再公式化し、この概念は現在「チューリングマシン」（写真2）といわれています。チューリングはAI主観テストも提案しています。

 

写真2：イギリスのアラン・チューリングは1936年、現在は「チューリングマシン」といわれている理論的概念を元に一般的なプログラミング言語LISPを再公式化（写真：EQRoy/Shutterstock.com）

• 1935年から1941年までに、コンラート・ツーゼ（Konrad Zuse）は、世界初の完全動作するプログラム制御式コンピューター「Z3」を開発しました。また1940年代になると、世界初の高水準プログラミング言語を設計し、これを利用して世界初の汎用チェスプログラムを開発しました。さらに1950年には、世界初の商用コンピューター「Z4」を開発しました。UNIVAC第一号が発表される数カ月前のことでした。

• 「AI」という名称は、ジョン・マッカーシー（John McCarthy）が1956年のダートマス会議で使用した用語ですが、このトピックについてはパリで行われたコンピューターと人間の思考に関する有名な会議（「Les Machines à Calculer et la Pensee Humaine」）において言及されていました。ハーバート・ブルデラー（Herbert Bruderer）はこれがAIに関する最初の会議であると強く主張しています。この会議には世界各国のエキスパートが出席しており、ノーバート・ウィーナー（Norbert Wiener）は、上述したトーレス・イ・ケベードの有名なチェス機械と対戦しました。

• 1950年代後半、フランク・ローゼンブラット（Frank Rosenblatt）がパーセプトロンと「シャローニューラルネット」用のシンプルな学習アルゴリズムを開発しました。これらは実際には、1800年前後にガウスとルジャンドルによって導入されたさまざまな旧型線形回帰でした。ローゼンブラットはその後、さらに進んだディープネットについても考案しましたが、それほど進歩することはありませんでした。

•  1965年、ウクライナのアレクセイ・イヴァフネンコ（Alexey Ivakhnenko）とヴァレンティン・ラパ（Valentin Lapa）は、任意の層数を持つ深層の多層パーセプトロンに対する学習アルゴリズムについて、初めて著書を出版しました。フィードワードネットワークに「ディープラーニングの父」がいるならば、それはイヴァフネンコということになります。イヴァフネンコのネットは、2000年以降所標準（最大8層）から見ても深い層でした。また現在の深層NNのように、彼らは階層的で分散される入力データの内部表現を作成することを学びました。ここ数十年でディープラーニングは非常に重要なものになっています。人間の脳に多少関連しているAIの専門分野の一部です。人間の脳には約1000億のニューロンが存在し、それぞれが10,000の他のニューロンとつながっています。そのいくつかは、データ（聴覚、視覚、触覚、痛覚、空腹感）を使って他のニューロンを運ぶ入力ニューロンです。それ以外は筋肉を制御する出力ニューロンです。ほとんどのニューロンは、思考中には隠れています。例えば人間の脳は、ニューロンがお互いどのくらいの強さで影響し合っているのか、またそれらは生まれてからすべての経験をどのように符号化するのかを判断するため、繋がりの強さまたは重さを変更することで学習します。現代のDLの人工ニューラルネットワークは、これが元になっており、旧方式と比べて学習率が向上しています。

•  1969年、マービン・ミンスキー（Marvin Minsky）とシーモア・パパート（Seymour Papert）は、シャローラーニングの限界について書いた有名な著書「パーセプトロン：計算幾何学入門（Perceptrons: an introduction to computational geometry）」を発表し、アレクセイ・イヴァフネンコとヴァレンティン・ラパが5年前に解いた問題について議論しました。「ミンスキーの本はNN関連の研究を遅らせた」と言われてきましたが、それは事実ではなく、またはアメリカ以外で行われていた研究を対象にはしていませんでした。その後数十年間、特に東ヨーロッパの研究者たちの多くは、イヴァフネンコたちの理論を基礎にしてきました。2000年に入ってからも、多く引用されてきたイヴァフネンコの深層ネットトレーニング方法を使用しています。

 

1970年までの歴史についてはこれくらいにしておきましょう。続きは、また次回のブログでさらに詳しくご紹介します。

 

★★★★★★★★★★★★★★★★★★★★

Mouserブログをもっと読む

　➡　Mouserサイト・英語（あらゆる種類・最新トピックの記事）

　➡　日本語ページ（ピックアップして翻訳した記事）

★★★★★★★★★★★★★★★★★★★★

 

 著者

 Jürgen Schmidhuber

メディア上では「現代版AIの父」と呼称されるJürgen は、15歳の頃、自分より賢い自己改善型AIの開発を目指していたが断念。1991年に創立した自身の研究所で開発したLong Short-Term Memory (LSTM)を含むDeep Learning Neural Networksは、機械学習の先駆けと言われている。様々な賞を受賞、あらゆるメディアに寄稿、基調講演者として活躍し、人々に役立つAIの開発を目標とするNNAISENSEの科学部門責任者として現在も活躍中。さらに政府機関へのAIアドバイザでもある。

さらなる彼の経歴については、上記Mouserサイトでご参照ください。