ペンギンソリューションズ、LLM推論のKVキャッシュを高速化する11TBメモリーサーバーを発表 | IT Leaders

2 時間前 1
ペンギンソリューションズ(旧称は日本ストラタステクノロジー)は2026年6月24日、大規模AI推論用の「MemoryAI KVキャッシュサーバー」を発表した。4Uラックマウントの筐体に11TBのメモリーを積んだストレージキャッシュ装置であり、LLMが推論時に生成するトークンのKV(キーバリュー)キャッシュを外部ストレージ階層にオフロードする際のI/O性能を高められる。2026年第4四半期に提供を開始する。
記事全体を読む