最大級1000億パラメーターのAI開発 国内ベンチャー
"AIスタートアップのストックマークが、国内最大級の1000億パラメーター規模を誇る大規模言語モデル「Stockmark-LLM-100b」を公開しました。このモデルは、同社がフルスクラッチで開発したもので、ハルシネーション（AIが根拠のない嘘を出力する現象）を大幅に抑止することに成功したと言います。
事前学習には、同社が独自に収集したビジネスドメインの日本語データが中心的に用いられており、日本語やビジネスに関する話題、最新の時事ネタにも精通しているのが特徴です。また、商用利用可能なモデルとしてオープンソースで公開されているため、誰でもダウンロードして利用できます。
性能面では、同社独自の質問セットにおいて9割以上の正答率を達成し、特定の話題ではGPT-4-turboをも上回る精度を示したとのこと。また、「VicunaQA Benchmark」ベンチマークでもGPT-4には及ばないものの、「Llama2 70B」や「GPT-3.5」といった他のモデルを上回る評価を獲得しています。
さらに、100文字の日本語生成速度も1.86秒と、海外製モデルと比較して高速であることがわかりました。
なお、この事業は経済産業省とNEDOが主催する国内の生成AI開発力強化プロジェクト「GENIAC」に採択され、産業技術総合研究所との共同研究として実施されているそうです。日本発のAI技術の進化に大きな期待が寄せられています。"
