STARTUPHOKKAIDO

JPEN
STARTUP HOKKAIDO News

オープンモデル14Bモデルが軽量級トップクラスのgpt-4o-miniを超える実力を証明:最新の強化学習論文と独自手法を組み合わせ、短期間・少量データでの性能向上に成功│Axcxept株式会社

2025/01/30 (Thu)

日本語性能を著しく損なうことなく英語能力を微調整に成功。オンプレからクラウドまで、セキュアなグローバルでの企業ニーズに応えるローカルLLM開発を推進。

このたび弊社(Axcxept株式会社(アクセプト、本社:北海道札幌市))は、中国のAI企業が発表した最新かつ高性能モデル「Deepseek R1」に関する研究成果と、弊社がこれまで培ってきたLLM(大規模言語モデル)のトレーニングノウハウを掛け合わせ、わずか2日間・14K規模のデータを使った試作トレーニングを実施しました。その結果、ベースモデルである「Phi-4」を上回る性能を、日英の総合LLM性能ベンチマークである「Japanese MT Bench」や「MT Bench」でのスコアで達成し、加えてOpenAI社が提供するオープンソースベンチマークの「simple-eval」の中でよく比較に活用されるマルチタスク性能を図る「MMLU」や数学能力を図る「Math」において、gpt-4o-miniをも超える良好な結果となりました。

 

上記プレスリリースの詳細については、こちらからご覧ください。