即梦2.0和可灵3.0这俩最近老被拿出来对比,我做测试的职业病又犯了——别人的测评样本量太小、prompt也不透明,很难说明问题。
我打算自己整一套固定的测试集,同一批prompt、同样的参数、同样的题材,人物、运镜、多主体、文字场景各来几组,跑个几十条统计一下崩帧率和一致性。
有兴趣的话我们可以众筹一套标准prompt,测出来的东西才有可比性。
即梦2.0和可灵3.0这俩最近老被拿出来对比,我做测试的职业病又犯了——别人的测评样本量太小、prompt也不透明,很难说明问题。
我打算自己整一套固定的测试集,同一批prompt、同样的参数、同样的题材,人物、运镜、多主体、文字场景各来几组,跑个几十条统计一下崩帧率和一致性。
有兴趣的话我们可以众筹一套标准prompt,测出来的东西才有可比性。