日本語
← ホームに戻る
🌅

復興の時代

1990年代～2010年代 · 深層学習の台頭

1990年代半ば、計算能力の向上とインターネットの普及に伴い、機械学習、特に深層学習が台頭し始めました。この時期の人工知能の発展は「統計革命」と呼ぶことができます。すなわち、ルールベースのシステムから、確率的でデータ駆動型のモデルへの転換です。

2012年、深層学習はImageNetコンペティションで圧勝し、深層学習革命の幕開けを告げました。2016年には、AlphaGoが李世ドルに勝利し、人工知能は広く一般に認知されるようになりました。

重要なマイルストーン

統計的手法の台頭

統計的手法が人工知能研究を席巻し始めました。隠れマルコフモデルが音声認識に応用されました。

進行中 出典： ACL Anthology 最終確認：

ワールドワイドウェブの誕生

ティム・バーナーズ＝リーがワールドワイドウェブを創設しました。

検証済み 出典： CERN 最終確認：

サポートベクターマシン

ウラジーミル・ヴァプニクらがサポートベクターマシンを提案しました。

ウラジーミル・ヴァプニク

検証済み 出典： Machine Learning / Springer 最終確認：

長短期記憶ネットワーク

ゼップ・ホッホライターとユルゲン・シュミットフーバーがLSTMを提案しました。

ゼップ・ホッホライター＆ユルゲン・シュミットフーバー

検証済み 出典： Neural ComputationNeural Computation / PubMed 最終確認：

LeNet-5

ヤン・ルカンが手書き数字認識のための畳み込みニューラルネットワークであるLeNet-5を開発しました。

ヤン・ルカン

検証済み 出典： Proceedings of the IEEE 最終確認：

ニューラル確率言語モデル

Yoshua Bengio、Réjean Ducharme、Pascal Vincent、Christian Jauvin は、単語の分散表現と単語列の確率を同時に学習して次元の呪いに対処するニューラル確率言語モデルを提案した。これは前向きネットワークであり、RNN ではない。

ヨシュア・ベンジオ

検証済み 出典： Journal of Machine Learning Research 最終確認：

CIFAR ニューラル計算プログラム

2004年からCIFARのプログラムはGeoffrey Hinton、Yann LeCun、Yoshua Bengioらの定期的な研究交流を支えました。深層学習復興につながる協力を促しましたが、単一の普遍的な出発点ではありません。

ジェフリー・ヒントン

進行中 出典： University of Toronto 最終確認：

深層信念ネットワーク

ジェフリー・ヒントンが深層信念ネットワークを提案しました。

ジェフリー・ヒントン

検証済み 出典： Neural Computation 最終確認：

GPUの深層学習への応用

研究者たちが深層学習の訓練を高速化するためにGPUを使い始めました。

進行中 出典： ICML / ACM 最終確認：

ImageNetデータセット

ImageNet チームは2009年、WordNet 階層で大規模なラベル付き画像を整理するデータベース論文を発表した。ImageNet とその後の認識チャレンジは、大規模なコンピュータビジョン学習と評価の重要基盤となった。

李飛飛

検証済み 出典： CVPR 最終確認：

音声認識の突破

グーグルが深層学習モデルを用いて音声認識の誤り率を25%削減しました。

検証済み 出典： Microsoft Research 最終確認：

ImageNetの突破

AlexNetチームがImageNetコンペティションで圧勝し、深層学習革命を引き起こしました。

AlexNetチーム

検証済み 出典： NeurIPS 最終確認：

Word2Vec

トマス・ミコロフがWord2Vecを公開しました。

トマス・ミコロフ

検証済み 出典： Google / arXiv 最終確認：

生成敵対ネットワーク

イアン・グッドフェローがGANを提案しました。

イアン・グッドフェロー

検証済み 出典： arXiv 最終確認：

ResNet

何愷明らが残差ネットワークを提案しました。

何愷明

検証済み 出典： Microsoft Research / arXiv 最終確認：

AlphaGoが李世ドルを破る

AlphaGoが五番勝負で李世ドルを破りました。

ディープマインド AlphaGo

検証済み 出典： Nature 最終確認：

トランスフォーマー

グーグルがトランスフォーマー・アーキテクチャを提案しました。

グーグルブレイン

検証済み 出典： Google / arXiv 最終確認：

重要な人物

ジェフリー・ヒントン

深層学習の父

ヒントンは2018年にチューリング賞を受賞し、「深層学習の三巨頭」と称されています。

ヤン・ルカン

CNNの父

ルカンはFacebook AI研究院の首席科学者です。LeNet-5は初めて商業的に成功した深層学習モデルでした。

ヨシュア・ベンジオ

深層学習の先駆者

ベンジオはモントリオール大学の教授で、RNNとNLPにおける貢献が重要です。

イアン・グッドフェロー

GANの父

グッドフェローは2014年にGANを提案しました。

李飛飛

ImageNetの母

李飛飛はスタンフォード大学の教授です。ImageNetデータセットはコンピュータビジョンに深い影響を与えました。

名言・格言

ディープラーニングは、複数の処理層で構成された計算モデルが、複数の抽象化レベルのデータ表現を学習することを可能にする。

— ジェフリー・ヒントン

もし知性がケーキだとすれば、教師なし学習はケーキ本体、教師あり学習はケーキのアイシング、強化学習はケーキの上のチェリーにあたります。アイシングとチェリーの作り方は分かっていますが、ケーキ本体の作り方は分かっていません。

— ヤン・ルカン

私たちの目標は汎用人工知能です。

— デミス・ハサビス

完全なタイムラインを見る →