AI活用に向けたリスキリングに「数学」は必要？
torufurushima
cross-Xの古嶋です。DX戦略立案・推進やデータ・AI活用の支援をしています。
今回のテーマは「AIモデルとDX」です。
今回の記事では、「数学の重要性」について私の実体験も踏まえて書いています。
その話題に触れる前に、昨今の技術トレンドについて簡単に私見を書いていきます。
GPT-nシリーズやDiffusion Modelなど、昨今はAI関連で非常に強力な技術が誕生し、世間を賑わせています。
こういった革新的な技術は、突如表れて世間を驚かせるといったものではなく、歴史的（といっても過去10年程度を遡った考察）に考えれば、このような変化はある程度“読める”ものだと思います。
今から10年程前の2013年〜2014年頃、深層学習モデルの抱えていた主な課題の一つは「大規模なモデル設計に伴う膨大なパラメータに、いかにして対応するか」でした。
そもそも深層学習モデルは、線形の関数では表せない複雑な事象に対し、複雑な非線形関数によって関数近似を実現するという数理モデルのアプローチです。
複雑とは、簡単に言えば「表現力」のことで、パッと見ただけでよくわからないデータの傾向に対しても、非線形な関数を適用して対応するということです。
そして、この複雑性が高いほど、予測結果の精度が高まってきたというのが、深層学習モデルが歩んできた歴史です。
しかし、その過程でぶつかってきた課題の一つが、上記の「膨大なパラメータへの対応」です。
深層学習モデルの複雑性を高める主なアプローチは、層を増やすことです。層を増やして演算を繰り返すほど、関数は複雑になります。
しかし、層を増やせば当然ながら計算量が飛躍的に増加するだけでなく、学習するパラメータ数も跳ね上がります。
言い換えれば、AIを学習させるための学習量が跳ね上がるということです。
この課題を見事に克服し、当時画像認識モデルの精度を競っていたILSVRCで驚異的な精度を示したのが、2015年に登場したResNetというモデルです。
このモデルでは、層を増やして精度を高めることと、学習量を抑制して精度を出すという、これまでトレードオフだと考えられていたことを同時的に克服しました。
厳密には、その前年でILSVRCで1位となったGoogLeNetや、さらにその前年で1位となったAlexNetでも同様の試みを行い、成果を出しているのですが、目覚ましい成果を発揮したのはResNetです。
そして時代は移り変わり（といっても5年程度しか経っていませんが）、GPT-nシリーズが誕生しました。これはTransformerをベースとした技術であり、GPT→GPT-2→GPT-3と、シリーズを経るごとにモデルの複雑性と学習データ量が大幅に増加しています。
GPT-nシリーズには特筆すべき面白い特徴がたくさんありますが、「学習量を減らす」というアプローチでは、GPT-3で採用されているSparse Transformerがあります。
これは、Transformerの最大の特徴と言えるMulti-Head Attention部分の学習をSparse（疎）にするための工夫を行った、ということです。
ちょっと専門的過ぎる考察ですが、要するに「学習量を減らすための工夫をした」ということです。
こういった経緯を見ていると、深層学習モデルの進化のための本質的な着眼点は、実は旧世代のモデルと変わってない部分もたくさんあると言えます。
一方で、大きく変化した部分もあります。例えば、旧来型のモデルの学習では膨大な「教師データ」が必要でしたが、GPT-2では「教師なしデータ」のみで、複数のテーマで当時のSOTA(State-of-the-Art: ある特定の技術領域で最高性能だという意味)を出してしまうという驚異的な結果を示しました。
教師データの準備のためには膨大なデータ量に対して「人の手で」ラベリングするような地道とも過酷とも呼べる作業が必要でしたが、大規模な言語モデルではそのようなことが不要になってしまった、ということです。
AIのこれまでの歴史を考えると、驚愕の出来事だったのではないかと思います。
層の数やパラメータ数によるボトルネックが大幅に解消されつつある現在、GPT-nシリーズが現在追い求めているのは、より巨大な言語モデルを構築してさらに大量のデータを学習させ、より高精度なAIを生み出す、ということが基本路線のように見受けられます。
この点だけを考えれば、非常にシンプルなアプローチと言えます。
AIの歴史を遡り、現代までの経緯を紐解いていくと、人間がAIを生み出すために繰り広げてきた“格闘”のようなものが垣間見えます。
この過程を読み解く中で、最先端の技術者が革新的な技術を生み出す際に、当時どういった姿勢で、どのくらい突き詰めて仕事と向き合っていたか、非常に多くの示唆や学びを得られると個人的に思います。
さて、だいぶ前置きが長くなりましたが、今回寄稿した記事では、「数学の重要性」について、私の実体験も踏まえて書いています。
昨今、学び直しやリスキリングが話題となっていて、その中のテーマの一つに「数学」が挙げられることも多いと思います。
そこで私がいつも密かに思っているのは、数学は「必要だから学ぶ」というよりも、「視野が広がり、景色が豊かになるから学んだ方が“おトク”だ」というものなのかなと思います。
数学が分かれば、社内でどのようなAIを採用するべきか検討する際も、昨今の技術の核心部分を理解する際も、非常に強力な武器となります。
数学が分かるだけで、特に現代は、見える景色が大きく変わると思います。
私事でちょっとだけ宣伝ですが、実は来年、数学に関する書籍を出版予定で、目下執筆中です。
その書籍で、「視野が広がり、景色が豊かになる」ような内容を作れたら、と妄想しています。
そんなこともあり、今回の記事は個人的に思い入れのある内容となっています。
よろしければぜひ御覧ください。
