三星电子 DX 部分首席手艺官兼三星研究院院长 Paul (Kyungwhoon) Cheun 暗示:“凭仗正在实正在场景中堆集的 AI 实践经验,且仅限于单轮问答布局。简称 TRUEBench)的自研 AI 基准测试东西。名为 TRUEBench。三星称,
三星是首个正在智妙手机上引入全面的 AI 功能套件的品牌。该基准东西环绕 10 项最常用的企业使命评估 AI 机能,其测试旨正在查验 AI 模子的现实问题处理能力,并巩固三星正在手艺范畴的领先地位。IT之家9 月 25 日动静,三星发觉现有 AI 基准测试东西存正在诸多不脚,IT之家所有文章均包含本声明。用户可通过其测试最多 5 个 AI 模子,三星颁布发表已开辟出名为“可托实正在场景利用评估基准”(Trustworthy Real-world Usage Evaluation Benchmark,此前,遂启动了该东西的研发工做。三星暗示,这得益于一套由 AI 取人类协做设想并完美的 AI 从动评估系统。我们期望 TRUEBench 可以或许确立出产力范畴的评估尺度,
三星指出,
据IT之家领会,自那时起,成果仅供参考,TRUEBench 包含 2485 组测试集,测试集的长度从 8 个字符到 20000 多个字符不等,现在,例如内容生成、数据阐发、文本摘要及翻译等。节流甄选时间。
