-
友情链接:
文 | 周鑫雨排列五炸金花
裁剪 | 苏建勋
六根手指、机器猫圆手……手部细节一直是图像生成式AI的盲区。
用Midjourney生成的图,手部有6根手指。
光辉优胜客体育备用网址而如今,这一图像生成的阿喀琉斯之踵有望被Meta破解。6月14日,Meta 推出了I-JEPA(Image Joint Embedding Predictive Architecture, 图像纠合镶嵌臆测架构),终了无需手动变换图像对迥殊知识进行编码的情况下,生成基于宇宙学问的图像。
这一考虑由纽约运筹帷幄量子物理中心考虑院Anna Dawid,以及图灵奖得回者Yann LeCun共同建议——I-JEPA也被视作继LeCun建议“宇宙模子(World Model)”构思后,第一个卓有获胜的进展。
贝博电子游戏从自回来到宇宙模子
皇冠客服飞机:@seo3687为何图像生成模子大量难以精准生成手部?其根柢原因在于以自回来为框架的模子清贫对现实宇宙的学问。
在自回来框架下,模子期骗现时的上文信息对下文信息进行臆测。应用至图像生成范围,“图像像素”则成了凹凸文信息:自回来模子通过将考研图像休养为一维序列输入,期骗Transformer休养器自回来臆测图像像素。
这一设施的上风在于不错很好地缔造像素和高等别属性,如纹理、语义和尺寸等属性之间的关系。但颓势依然明显,由于清贫学问,模子对图像像素的臆测鄙俚违背常理,比如“六根手指”——这也形成了自回来模子常出现的“幻觉”样貌。
LeCun以为,思要让AI接近东谈主类水平,其需要像婴儿相通学习宇宙何如运作。由此,他建议了“宇宙模子”的认识,处分决议即为JEPA(纠合镶嵌臆测架构)。
博彩平台注册送免费游戏JEPA通过一系列的编码器索求宇宙现象的详尽暗示,并使用不同档次的宇宙模子臆测器,来臆测宇宙的不同现象,并在不同的技巧活动上作念出臆测。
现在篮球比赛越来越注重速度,需要球员们强体能技术水平。LeCun在论文中建议的基于“宇宙模子”的自主化AI的模块化结构。图源:论文
在智源大会的演讲中,LeCun相干“层级预备”举了一个例子:我思从纽约赶赴北京,第一件事是去机场,第二件事是乘去往北京的飞机,最终的代价函数(cost function)不错暗示从纽约到北京的距离。那么我该何如去机场?处分决议是把任务判辨到毫秒级,通过毫秒级的铁心来找到臆测本钱最小的活动序列。
LeCun暗示,悉数复杂的任务齐不错通过这种“分层”的方式完成,而档次预备则是其中最大的挑战。
迈向“宇宙模子”的第一步
李云龙介绍,新2官网“套代购”走私是一种新型的走私违法犯罪行为,包括“套购”和“代购”两种形式。“套购”,是指组织、利用他人购买离岛免税品的资格和额度购买免税品并在国内市场再次销售牟取非法利益的行为。“代购”是指收取代购费报酬,利用自己购买离岛免税品的资格和额度为他人购买免税品的行为。
为何说I-JEPA是迈向“宇宙模子”的一步?
从考研旨趣来看,I-JEPA臆测的并非是图像像素,而是详尽的臆测宗旨。其中的臆测器约略从部分可不雅察的凹凸文中,对静态图像中缺失的空间进行模拟。
基于图像的纠合镶嵌臆测体紧缚构:使用单个凹凸文块来臆测来自吞并图像的各式宗旨块。图源:论文
I-JEPA考研历程:给定一张图像,从中就地抽取4个宗旨块,比例范围为(0.15,0.2),宽高比范围为(0.75,1.5)。接下来,就地采样一个范围为(0.85,1.0)的凹凸文块,并删除任何类似的宗旨块。在这种战略下,宗旨块是相对语义化的,而凹凸文块在保证信息量弥散大的同期又很稀薄(处理效力高)。图源:论文
为了贯通可不雅察的实践,Meta考研了一个就地解码器和生成模子,将I-JEPA臆测的实践映射为像素,再输出为臆测的实践草图。
I-JEPA臆测器不错正确地捕捉空间的省略情味,并正确生成臆测对象的部件(举例,鸟的背部和汽车的顶部)。图源:论文
从效力而言,I-JEPA的运筹帷幄效力远高于主流运筹帷幄机视觉模子。比如Meta在72小时内用了16块A100考研了一个参数限制为632M的视觉Transformer模子,所用GPU小时数是一般设施的1/10到1/2,况兼在相通考研数据量下,差错率更低。
与往日的设施比拟,I-JEPA所需的运筹帷幄量更少,性能更强:与MAE和data2vec比拟,I-JEPA所需的预考研技巧更少。与iBOT比拟,I-JEPA所需的手动标注的数据更少。与此同期,最大的I-JEPA模子(ViT-H/14)比其他两款中最小的模子(ViT-H/16)所需的运筹帷幄更少。图源:论文
I-JEPA照旧暴露出宇宙模子在图像生成上的作用。可料思的是,JEPA在视频、音频等更多模态的臆测和生成中将发达作用。现在,I-JEPA的考研代码和模子查验点已在GitHub上开源。
皇冠代理I-JEPA论文流通:https://arxiv.org/pdf/2301.08243.pdf
JEPA原贯通释论文流通:https://arxiv.org/abs/2306.02572
GitHub流通:https://t.co/DgS9XiwnMz
接待交流