Metaは10月15日、オープンウェイトの新しい大規模言語モデル「Muse Spark Open」を公開した。総パラメータ数は8160億(816B)、推論時に実際に使われるアクティブパラメータは約420億で、最大100万トークンのコンテキストウィンドウに対応する。テキストに加えて画像・音声・動画も入力として受け付けるネイティブなマルチモーダルモデルで、コーディングやエージェント的なタスクを主な用途として設計されている。
今回の公開で特徴的なのは、Appleと連携してMac上での動作に最適化した点だ。Appleの機械学習フレームワーク「MLX」を使い、M5 Ultra搭載のMac Studio2台(統合メモリ計約1TB)にモデルの重みとレイヤーごとの計算を分散させることで、データセンター向けGPUを使わずにこの規模のモデルを動かせるようにしている。重みはBF16形式とNVFP4量子化形式でHugging Face上に公開されており、NVFP4形式でも数百GB規模のメモリが必要になる。
MetaはこれまでもLlamaシリーズでオープンウェイト戦略を進めてきたが、Muse Spark Openは単体で800億パラメータを大きく超える規模と、消費者向けハードウェアでの実行を見据えた最適化を両立させた点で新しい試みとなる。大手クラウド事業者経由でのホスティングも予定されており、自前のGPUクラスタを持たない開発者でも利用しやすい形を模索しているとみられる。
出典: TechCrunch
