MoE

楽天グループが国内最大規模のMoE型LLM「Rakuten AI 3.0」を公開。総パラメータ7,000億、日本語MT-Bench 8.88でGPT-4oを上回る性能。GENIACプロジェクト第3期での開発背景と、中小企業が国産LLMをどう使い分けるかを解説。