エヌビディア一強はいつまで続くか（同社のジェンスン・フアンCEO。Getty Images）
米国財務省は6月21日、国家安全保障を脅かす可能性があるとして、半導体、量子コンピュータ、AIなどのハイテク分野に関して、米国企業による中国企業への投資を禁止、あるいは報告義務を課す規制案を公表した。8月4日までに意見公募を済ませ、年内にも実施される見通しだ。この政策は果たして米国に利益をもたらすだろうか。
この1年の間、大規模言語モデルに関して画期的な進歩をもたらす可能性のある研究論文が発表されており、それらが一部の有識者の間で話題となっている。エヌビディア一強時代を崩すきっかけになるかもしれないという点で注目度の高い論文だが、それらは米中共同開発の形で進められている。
マイクロソフト、中国科学院大学、清華大学の研究者は2023年10月、ニューラルネットで用いられるパラメーターについて、現在使われている16進法による高精度浮動小数点（4ビット）を量子化された3つの数字（-1、0、1）（1.58ビット）に置き換えることで、行列乗算を使わず負担の小さい足し算で済ませる方法を提示した論文〈BitNet: Scaling 1-bit Transformers for Large Language Models〉を発表した。2024年3月には、その続編となる論文〈The Era of 1-bit LLMs : All Language Models are in 1.58Bits〉も発表されている。
こうした研究とは別に、UCSC、蘇州大学、UC Davisなどの研究者は6月4日、1.58ビットを用いて、大規模言語モデルから負担の大きな行列乗算を排除する方法を示す論文〈Scalable MatMul-free Language Modeling〉を発表している。
彼らはGPUの代わりにFPGA（Field Programmable Gate Array：現場でプログラムが可能な論理回路）を使って1.58ビットの有用性を示しているが、専用のチップを開発すれば、さらに高い効率が得られるだろう。
大規模言語モデルにエヌビディアのGPUが利用される理由
後者の論文によれば、ディープラーニング（深層学習）において、GPUが大量に使われるようになった最大の理由は、もともとGPUが行列乗算操作用に最適化されていたためだと説明している。CUDA（Compute Unified Device Architecture：エヌビディアが開発したGPUプログラム開発環境）とそのBLAS（行列、ベクトルの基本計算を行う関数群）を用いれば、行列乗算を効率的に並列化、高速化することができたからだ。
つまり、ゲーム用、仮想通貨のマイニング用として広く普及していたGPUをうまく利用できることがわかったことで、大規模言語モデルを作る側がエヌビディアのGPU（ただし、AI対応の高性能製品）を一斉に利用したのである。しかし、GPUは高価で消費電力が大きい上に、行列乗算は計算負担が大きく、それがAIの応答速度を遅くする最大の要因となっている。
