NVIDIA一強がプラットフォーマーのAIアクセラレーター開発を加速させる？
AI（人工知能）モデルの開発には、高性能なNVIDIAのAIアクセラレーターが大量に必要、と思われてきた。この流れが変わりつつあるようだ。MetaやOpenAI、Microsoftなど、AIに巨額の投資をしている会社が自社開発に動いている。Metaは、2024年4月に次世代の「Meta Training and Inference Accelerator（MTIA）」を発表している。なぜこうした動きがあるのか、独自開発に勝機はあるのか考えてみた（写真は「Our next-generation Meta Training and Inference Accelerator」より）。

　今回は、「AI（人工知能）アクセラレーターで差別化できるのか」というテーマで書かせていただく。が、その前に少し触れておかなければならない件がある。突如として現れ、AI関連の株価に大波乱を引き起こした中国のベンチャー企業「DeepSeek」が開発した生成AIについてだ。最近は、「いろいろズルしている」「危ない」といった指摘が相次いでいる。筆者も当初発表にあった100分の1のコストで同等の性能を得た、といったニュースに眉に唾を付けていたものである（DeepSeekは、1モデルの開発費用を約560万ドルと説明しているようだ）。

　スタートアップ企業が、安くて性能の低いデバイスのみを使ってホンの数カ月の開発期間で同等性能を得たという衝撃の発表だった。しかし、カウントされたリソースがかなり少なく、「そう言いたい」バイアスがかかっているのではないかと勝手に想像している。

　なぜといって、大昔、ベンチャー企業の立ち上げを目撃した経験（一兵卒としてだが）があるからだ。何もないところから仕事ができる組織を作るだけでも結構な時間がかかったものだ。オフィスや装置などの準備にも時間がかかる。そういう会社立ち上げの作業を待っていると遅くなるので、それと並行に開発行為にも着手していたが、一からの出発で試行錯誤は避けられない。何やかんやで、すぐに何カ月たってしまった。

　筆者が昔いた会社は、その辺がうまくできずにダメだったともいえるが、DeepSeekの場合、そういうあれやこれやの期間や費用を算入せずに、発表した完成バージョンに直接かかった期間とリソースだけをかなり少な目に発表しているように思われる。

　日本の常識的には、200人規模の会社で、当然AIに精通したメンバー（高給とり）多数を擁する組織を1年間オペレーションするだけで、頭数比例分のコストだけで数十億円くらいかかるだろう。中国の常識はよく分からないが、多分発表のコスト程度では会社として成り立たないと思う。

　一方、比較対象となっている米国勢だが、資金調達の際に公開している費用やリソースの見積もりがベースとなっているのではないかと思われる。成果を上げた後、その成果を何倍かに膨らませるために再度の投資を求めるのはOKだが、成果を上げないうちに再度お金を集めるのはマズイ。

　開発投資はあれやこれや当初想定外の費用が必要になることも多い。ドンブリで多めに言っておく、というのが普通ではないかと想像している。こちらは必然的にかなりジャブジャブな太めの費用か。あれこれ直接関係ない部分を切り捨てて数分の1に圧縮したコストと、あれこれドンブリで数倍多めになったコストを比べると1桁くらいは埋まってしまう、というと言い過ぎか。

DeepSeekが見せたAIの効率的な開発手法

　それでもDeepSeekの方向性そのもののインパクトは少し持ち上げておきたい。今までひたすら上を見て、ともかく拡大一方の米国のAI業界に、ケチって削ってもやれる、ということを投げ込んだのだから。このことはDeepSeekがやらずとも、みんな気付き始めていたように思うが……。

　端的に言えば、うなぎ上りのAIの電力消費には原発増設が必須だ、といった主張がある。原理的にいえば指数関数的に増大する計算能力に対して、どう頑張っても線形にしか増大しない発電量が追い付くわけはないのだ。コンピュータ登場以来の計算単位当たりの消費電力が一定であったならば、とっくの昔に地球全体がメルトダウンしている（計算したわけではないが）。

　実際には、性能向上と並行に、小さく少なくという努力が継続的に行われ続けて今に至っているのだ。AIに関しても同じだと思う。現在のトレンドのみを見て未来を予測するとだいたい外れる。上を狙う方向だけでなく、下（コストや電力消費）を小さくする方向も重要になってくることを、AIバブルに浮かれていた市場参加者に提示した事件だと思っている。

NVIDIA一強がプラットフォーマーのAIアクセラレーター開発を加速する？

　さてようやく本題のAIアクセラレーターハードウェアについて考える。過去の頭脳放談「第289回 NVIDIAはなぜ強いのか？　競合ベンダー創業者の視点で考えてみる」「第293回 Cerebrasが仕掛ける『1ウエハー＝1チップ』のAIアクセラレーターはNVIDIAを超えるのか？」でも書いたが、先頭を爆走するNVIDIAにハードウェアを作るベンチャー企業が対抗して追い越せるのか、といった話をした。何か高速化のポイントとなる技術があり、一定のアドバンテージがあったとしても、打倒NVIDIAは相当難しい、というようなことを書いた記憶がある。今もその考えに変化はない。単独のハードウェア開発ベンチャーを対象であればという前提だが。

　しかし、想定を加えてみると、話が少し違ってくる。既にAIで「ガッポリ」稼ぎ出しているプラットフォーマーやソフトウェアベンダー側の中で、デファクトを握っているものが、AIアクセラレーターハードウェアを製造する側に回る場合である。

　まず、そのようなプラットフォーマーが現在使用しているNVIDIA製の半導体製品には、シリコンコスト以外にNVIDIAの収益も大きく乗っていることは間違いない。昔、Intelの景気が良かった頃、Intelはお金を刷るように自社CPUを製造しているといわれた（100ドル札を刷るよりもCPUを作る方がもうかるとまで言われた）。1社供給に近い半導体製品の利潤は半端ないのである。

　現在のNVIDIAはファブレスではあるものの、似たようなウハウハ状態であることは想像に難くない。似た性能のAIアクセラレーターハードウェアを自社内で開発できれば、他社（NVIDIA）の利潤に流れる部分を圧縮できるはず。内部で使用しているアクセラレーターの数が分母になるし、アクセラレーターの開発費が分子になるので、巨大なプラットフォーマーが低コストで開発できるほどにその効果は大きいという当然の結果となる。

Microsoftが開発中のAIアクセラレーター「Maia 100」
Microsoftは自社のクラウドサービス「Azure」向けにAIアクセラレーターを開発していることをHot Chips 2024（2024年8月開催）で発表している（写真は、MicrosoftのAzure Infrastructure Blog「Inside Maia 100: Revolutionizing AI Workloads with Microsoft's Custom AI Accelerator」より）。

AIアクセラレーターの外販にはAIモデルによる差別化が重要？

　一方、AIアクセラレーターを外販する場合はどうだろう。いくら巨大なプラットフォーマーでも自社だけでは数が知れている。半導体のコストは数が勝負だ。他社にも売って数を膨らませたい。

　そのときは、ハードウェアではなくソフトウェア側でデファクトを握っているベンダーが有利になる。想像してほしい、AIアクセラレーターハードウェア側にちょっとした新機軸回路を組み込んでおくことを。大した性能向上はなくてもいい、何らかの局面で数％の向上でもあれば十分だ。

　ハードウェアは特許という武器を使いやすい。もちろんソフトウェア特許もあるが、ハードウェアの方が抵触の証拠を見つけて実証するのは楽じゃないかと思う。抵触した相手は一発差し止めの上、巨額賠償となる。つまり、自社製のAIアクセラレーターに自社のAIモデル向きのハードウェアとちょっと搭載するだけで、他社とは差別化できるのだ。

　その際、自社のAIモデルが自社のAIアクセラレーターでしか走らない、というような反発を買う方法はとらなくてもよい。自社のAIモデルの最新版をまずは自社のAIアクセラレーター上で走るとして公開する。その3カ月後に一般的な他社のAIアクセラレーターでも走る版が出ます、といった販売方針を示す。

　これで設備更新の度に自社のAIアクセラレーターのシェアが増えていく、というシナリオが目に浮かぶ。何ていったってハードウェアは、売ったその場で巨額の売りが立つ。使用量に応じて実入りが後からついてくるスタイルとは別なのだ。

AIアクセラレーターの差別化はAIモデルに合わせたチューニングにある？

　しかし、そんな都合の良いハードウェアの差別化ポイントを搭載したAIアクセラレーターなど設計できるものだろうか、というのは当然の疑問だ。演算速度の上限は、「同時に動作する演算器の個数×動作周波数」で決まる。巨大な行列積の計算機と化している現代のAIアクセラレーターでは、ただ演算器の個数を並べるだけでは差別化できない。

　ここで「巨大な」という部分につけ込む余地があるのだ。必要とする膨大なパラメーターを、一度に計算可能なメモリ（レジスタ）に全てを置いておくことはできない。記憶の階層によってパラメーターの出し入れの回数を最小にすべく計算手順を工夫しているのはもちろんだ。

　この部分、ある特定のAIモデルの特性に合わせてハードウェアをチューニングできる余地は大いにあるのではないかと想像している。卑近な例ではSIMD（Single Instruction Multiple Data：1つの命令を同時に複数のデータに適用する演算）命令を使って並列計算するときなど、縦のものを横に並べるような直接の演算操作でないところがうまくできると、並列度とクロック周波数が同じでも性能が上がることがある。

　自社のAIモデルに適したメモリ配置機能やパラメーターの出し入れのサポート機能などを自社製のアクセラレーターに実装することは可能だと思う。一方、そのような改良は汎用（はんよう）のアクセラレーターには搭載しにくいかもしれないし、できたとしても、先ほど述べた特許に抵触といった法的問題を引き起こす可能性もある。

　これまで述べてきたようなAIアクセラレーターを開発してNVIDIAに対抗できそうなのは、OpenAIやMeta、Microsoft、Googleなど、自社で大枚をAIにつぎ込んでいるプラットフォーマーに限られる。そして彼らはそれを実際に検討、実践しているようだ。

　OpenAIは自社開発、Metaの場合は外部のベンチャー企業（韓国のFuriosaAI）の買収検討のうわさがある。ベンチャー企業としても単独でNVIDIAの壁を乗り越えるのはとても難しいはずだが、プラットフォーマーに買収されればまだ目はある。特にDeepSeekの一件で、性能はほぼほぼ同じでもいい、小さく、安く、という差別化の方法もアリだ、とみんなが気付いた今はチャンスではなかろうか。