AIデータ専門企業SELECT STAR（セレクトスター）が生成型AIサービスの信頼性検証自動化ソリューション「DATUMO Eval（ダトゥモイーバル）」をリリースした。
主な機能として、企業のAIサービスの種類と使用目的に応じた評価基準の設定、ドメインやサービスに合わせたカスタマイズされた評価用の質問の自動生成、AIサービスの回答の自動評価と結果分析、AIサービスの脆弱性を導き出すレッドティーミング機能などがある。
「DATUMO Eval」は、100万以上の評価用質問を自動生成し、AIモデルが処理すべき多様なユーザー発話パターンを包括的に評価できるようサポートする。これにより、既存のドメイン専門家が直接評価用の質問を設計することで、発生していた高いコストと期間を削減した。また、自動生成された評価用の質問は、SELECT STARの独自のAIエージェント技術に基づいて生成され、企業の評価目的、要件、難易度、実際の顧客データとの類似性など、さまざまな要素を反映して現実的な評価が可能である。
さらに、AIサービスが企業が設定した基準を超えているか、有害な情報を生成していないかを検出して自動評価する機能を提供する。AIとユーザーとのやり取りを数値化し、客観的な分析が可能だ。評価過程では様々なメトリックを提供し、複数のAIモデルの性能を比較、弱点を素早く把握して改善の方向を導出することができる。評価が完了した後は、モデルが特定の状況やコンテキストで問題を引き起こす原因を体系的に分析することができ、より迅速で体系的なAIサービス運営が可能になると期待される。
SELECT STARは新韓銀行（シンハン銀行）など多数の企業を対象として行ってきた信頼性検証コンサルティングの経験と、韓国初・最大規模の「生成型AI Red Team（レッドチーム）チャレンジ」の運営経験を有している。関連ノウハウを基に生成型AI信頼性検証自動化ソリューションの開発に成功し、韓国AI信頼性市場をリードしていく見通しだ。「DATUMO Eval」はリリースと同時に金融圏を含む様々な企業での導入が確定している状態である。
最近、AIモデルの信頼性を検証する技術は、グローバル市場でも大きな注目を集めている。信頼性検証はAIサービス開発の過程で不可欠な要素となっており、海外ではLangChain、ArizeAI、Scale AIなどの企業が関連ソリューションをリリースしている。SELECT STARは評価データ生成自動化技術を前面に押し出し、海外でも類似事例が少ない領域を攻略、グローバル市場で競争力を確保していく計画だ。
キム・セヨプ代表は「AIの商用化で最も重要なのは信頼性』だ。『DATUMO Eval』を通じて企業がAIサービスをより正確かつ安全に運営できるようにサポートしていく」とし「SELECT STARは韓国AI信頼性検証市場をリードするのはもちろん、グローバル市場にも影響力を拡大していく」と明かした。
