スマートフォンやセンサー向けに NPU（ニューラル処理の専用回路）の設計を売ってきたイスラエルの Ceva が、データセンターに入る。同社は10月28日、次世代の NeuPro を発表し、データセンター向けの「NeuPro Ultra」で AI インフラに広げると明かした（プレスリリース、一次情報）。エッジ向けの小さな NPU から Ultra まで、基本の設計と SDK は同じだという。
Ceva は自社でチップを作って売る会社ではない。ほかの会社が自分のチップに組み込む回路の設計（IP）をライセンスする会社である。そのため、Ceva が「データセンターに入る」といっても、NVIDIA の GPU と同じ棚に並ぶわけではない。データセンター向けのチップを作る会社に、NPU を部品として売り込むという意味になる。
エッジからデータセンターまで、同じ設計とソフトウェア
今回の発表でいちばん大事なのは、製品を増やしたことより、全部の製品で中身を揃えたことである。CEO の Amir Panush は、こう述べた。
A common NPU architecture and software stack across every class of AI workload lets our customers build once and deploy across their roadmap. NeuPro Ultra brings that platform into AI infrastructure, an important step in Ceva's strategy to put neural processing into a broader range of semiconductor products.
訳: AI のどの種類の処理にも同じ NPU の設計とソフトウェアを使えるので、顧客は一度作れば製品計画全体に展開できる。NeuPro Ultra はこの基盤を AI インフラに持ち込むもので、ニューラル処理をより幅広い半導体製品に載せるという Ceva の戦略で重要な一歩になる。
ここで「一度作れば」と言っているのは、チップを作る側のソフトウェアのことだ。NPU を使うには、学習済みのモデルを回路向けに変換するコンパイラや実行環境が欠かせない。その手間は回路を設計する手間に劣らない。電池で動く機器向けのチップと、データセンターに置くチップで同じ SDK を使えれば、顧客は道具も、ためた知見も、両方の製品に使い回せる。Panush はこの発表を、ニューラル処理を「より幅広い半導体製品に載せる」戦略の一歩と位置づけている。
LLM 推論で足かせになるのはメモリ
エッジ向けの設計がなぜデータセンターで使えるのか。理由は、LLM 推論で何が足かせになっているかにある。モデルが大きくなり、エージェントが長い文脈を抱えて何度も推論するようになると、問題は演算の速さより、重みと中間の状態をメモリから運ぶ量と速さになる。演算器を増やしても、データが届くのを待つ時間は減らない。
そこで、演算をデータの近くに置く設計が出てきた。メモリのチップや、データを中継するネットワークのチップの中に小さな NPU を置き、データを動かす前にその場で処理する。見出しの「メモリやネットワークのチップにも NPU を載せる」は、この流れを指している。こうしたチップは主役の GPU ではない。電力と面積に厳しい制約がある脇役で、限られた電力と面積で効率よく計算する回路が求められる。その条件は、Ceva がスマホやセンサーで長く扱ってきたものと重なる。
NPU を一から作らずに済む
メモリやネットワークのチップを作る会社の多くは、NPU を自前で設計した経験が少ない。Panush はそこに売り込む。
Customers building silicon for these markets can draw on Ceva's architecture, software and experience rather than developing an NPU platform from scratch.
訳: これらの市場向けにチップを作る顧客は、NPU 基盤を一から開発しなくても、Ceva の設計・ソフトウェア・経験を使える。
NPU の回路だけでなく、それを動かすソフトウェアまで、自前で一から揃えるのは重い。ライセンスなら、その費用と時間を省ける。Ceva にとっては、GPU と正面からぶつからずに、データセンターのチップの中に入る道になる。
15社超の第1世代から学んだこと
Ceva は、第1世代の NeuPro をライセンスした顧客が15社を超えると明かしている。AI 部門の執行副社長 Yaron Galitzky は、その経験を次のように語った。
Working closely with the more than 15 customers who have licensed the first generation of NeuPro has shown us that successful AI products depend on the right balance of compute, memory, bandwidth, power and cost for each use case.
訳: 第1世代の NeuPro をライセンスした15社超の顧客と密に取り組んで分かったのは、AI 製品が成功するかどうかは、用途ごとに演算・メモリ・帯域・電力・コストの釣り合いをどう取るかにかかっているということだ。
演算・メモリ・帯域・電力・コストの釣り合い、という言い方は、データセンターでもそのまま当てはまる。LLM 推論で演算の速さだけを伸ばしても、メモリと帯域が追いつかなければ効果は出ない。用途に合わせて釣り合いを取る、というエッジでの経験を、Ceva はデータセンター向けの売りに使っている。
これから確かめること
Ultra がデータセンターで本当に使われるかは、ライセンスを結ぶ会社が出てくるかどうかで決まる。Ceva は今回の発表で、データセンター向けの顧客の名前を挙げていない。メモリやネットワークのチップの中に演算を置く設計が、実際の製品でどこまで広がるかもまだ分からない。それでも、LLM 推論でメモリが足かせになったことで、データセンターのチップに求められるものが、エッジで鍛えた省電力の設計に近づいたのは確かだ。Ceva の発表は、その変化に乗ろうとするものである。
