即梦2.0和可灵3.0我想拉个横评,光看别人测的不放心

即梦2.0 和可灵3.0 天天被放一块比,可翻了一圈别人的测评,样本就那么几条,prompt 也不贴出来,结论说服不了我。职业病犯了,干脆自己搭一套。

打算这么弄:

  1. 固定测试集:同一批 prompt、同样参数、同样题材,两边一字不改地喂。变量只留模型本身,不然比出来的差距说不清是谁的锅。
  2. 分场景:人物、运镜、多主体、文字场景各来几组。这几类最容易翻车,光测个空镜美景看不出东西。
  3. 跑量统计:每边几十条,记崩帧率和一致性。一两条的好坏全凭运气,量上去了稳定性才看得出来。

最难的其实是第一步。prompt 要是我一个人写,难免带着自己的偏好,写着写着就往某个模型擅长的方向偏了。

所以想拉大家众筹一套标准 prompt,各自丢几条觉得刁钻的进来,汇总后两边都用这一套跑,测出来的东西才有可比性,以后再有新版本也能拿同一套接着测。