Hugging Face 每日论文·· 3 天前精选AI 评分55
MixTok:结合全局1D token与稀疏2D细化的自适应视觉分词方法
MixTok: Adaptive Visual Tokenization with Global 1D Tokens and Sparse 2D Refinement
AI 导读
MixTok 是一种混合视觉分词器,将紧凑的1D全局表示与用于局部细化的稀疏2D token 结合,由内容自适应路由器按细化优先级排序候选位置,并在目标平均 token 预算下决定每张图的2D token 数量,在得分最高位置用2D token 特征替换从1D表示恢复的空间特征,再由共享解码器重建图像。
推荐理由
论文提出混合视觉分词方案,在约128 token预算下给出rFID与gFID数据,便于与现有分词器对比。
来源:Hugging Face 每日论文 · huggingface.co