扩散模型做量化,为什么一直比语言模型难?
语言模型掉点精度,输出多半只是措辞变了;扩散模型每一步的误差会往下累积,低比特下最先崩的就是颜色和纹理细节。跑视频还得再叠一层时间维度的一致性,帧间闪烁基本躲不掉。
南加州大学联合 Cantina Labs 这次发的成果,就是冲着 AI 视频和图像生成里的这个量化难题去的,具体方法细节我还没拿到。真要说“破解”,我想知道的是三件事:在多少比特下、掉了多少质量、消费级卡上能不能跑通。
论文出来之前,这类标题我习惯先打个折。
扩散模型做量化,为什么一直比语言模型难?
语言模型掉点精度,输出多半只是措辞变了;扩散模型每一步的误差会往下累积,低比特下最先崩的就是颜色和纹理细节。跑视频还得再叠一层时间维度的一致性,帧间闪烁基本躲不掉。
南加州大学联合 Cantina Labs 这次发的成果,就是冲着 AI 视频和图像生成里的这个量化难题去的,具体方法细节我还没拿到。真要说“破解”,我想知道的是三件事:在多少比特下、掉了多少质量、消费级卡上能不能跑通。
论文出来之前,这类标题我习惯先打个折。
打折这个态度对
低比特下颜色漂移比糊还难救,糊还能放大修