该死，这糟糕的心动感，梅开三度 - 南方能源网

该死，这糟糕的心动感，梅开三度

2023-01-01 23:23:52 来源：

大家好，我是 Jack。

【资料图】

今天继续给大家推荐一些让人“心动”的开源项目。

一、point-e

OpenAI　最近真的是杀疯了，真是一家大力出奇迹的公司。

先有 CLIP、再有 Dalle2，然后又搞了一个大火的 ChatGPT。

可谓是在多模态领域、图像生成领域、文本对话领域大杀特杀。

现在，他们又把“魔爪”伸向了 3D 模型生成领域！

我们看一下效果：

简单概述就是：

根据本文，生成 3D 模型。

并且运行速度也很快，单个 GPU，只需要 1-2 分钟。

你可别笑话这 3D 模型，颗粒感明显，后续提高精度了，有可能又是一波大杀特杀。

要知道，最原始的扩散模型生成 2D 图像，效果也是不太好。但自从 DDPM 发力后，基于本文的2D图像生成，开始迅猛发展，两年的时间，发展到了如今的 2D 高清图片生成。

像我之前分享的 AI 作画，就是基于扩散模型 LDM 做的。

从最初的难用、甚至不可用，到现在的火爆，只用了几年的时间。

想象一下：输入各种风格、主题、氛围的关键词，AI 就会生成符合要求的 3D 模型。

完善好后，这无疑又是动画、游戏、VR/AR等从业人员的一大利器。

项目刚刚开源，“新鲜热乎”：

项目地址：
https://github.com/openai/point-e

使用方法也很简单，首先下载代码，然后在项目根目录进行安装：

pipinstall-e.

然后就能使用 jupyter 运行以下代码：

支持：从图片生成点云、从文本生成点云、从点云生成 3D Mesh。

用 Point·E 依据文本提示生成 3D 点云的过程分为三个步骤：

1、依据文本提示，生成一个合成视图 (synthetic view)

2、依据合成视图，生成 coarse point cloud (1024 point)

3、基于低分辨率点云和合成视图，生成 fine point cloud (4096 Point)

感兴趣的小伙伴，可以玩一玩。

二、DiT

没错，还是扩散模型。

绝大多数扩散模型，从 DDPM 开始，再到 DDIM、GLIDE，以及最新的 Imagen、LDM，用来预测噪声的网络，都是选择 UNet 作为基础架构。

加个多头 Attention，修改下网络尺寸，翻来覆去都是在折腾 UNet 结构。

最新发表的 DiT 改变了这个局面，用 Transformer！

扩散 Transformer(DiTs)：一个基于 Transformer 的扩散模型主干，它优于先前的 U-Net 模型，并继承了 Transformer 模型类的优秀扩展特性，性能表现出色，代码刚刚开源！

我们直接看下效果对比：

FID 指标越小越好，其余指标越大越好。

从数据上看，DiT 比 LDM 还要好。

LDM 是谁？就是 NovelAI 用的底层模型。

真实场景，逼真自然的 2D 图像生成，离我们不远了。

项目地址：
https://github.com/facebookresearch/DiT

不想部署开发环境，直接测试，作者也贴心地提供了 Web 环境：

https://huggingface.co/spaces/wpeebles/DiT

三、Best Papers 2022

时间过得真快，2022 年也接近了尾声。

跟往年一样，今年也出现了很多优秀的算法。

2022 年全年的 Amazing AI papers，有人整理了出来。

今年的，30+ 篇 Best Papers，整理得非常不错：

这里面的，有一部分我写过教程。

项目地址：
https://github.com/louisfb01/best_AI_papers_2022

四、絮叨

时间过得飞快，2022 年都要结束了！

忙学业 or 忙工作，辛苦一年了，小伙伴们跨年准备怎么过啊？

“阳康”的我，决定跨年那天出去放松一波。

打起精神，迎接 2023！

·················END·················

关键词：年的时间大杀特杀感兴趣的

推荐内容

产业

全球煤炭和天然气出口大国，澳大利亚发出缺电预警

2022-06-20
游客因未购物遭导游辱骂？九寨沟：相关部门已介入调查

2021-10-20

油气

1

河北深州警方打掉一暴力催债团伙 36名嫌犯被刑拘

2

寒潮降温破冰点如何保障温暖过冬？探访北京城管及供热

3

莆田致2死3伤案嫌犯拒捕并畏罪自杀经抢救无效死亡

4

福建福州一在建摩天轮发生垮塌事故原因正在调查中

5

为什么对张恒处3227万元罚款？其违法事实有哪些？

6

山西民政部门支出超2亿元捐款保障受灾困难民众基本生活

7

张恒被税务部门依法处以3227万元罚款

8

湖北赛武当国家级自然保护区监测到珍稀动物

9

首届“优秀长江协助巡护员”评选颁奖

10

今年火灾事故已超6000起！电动自行车为何频频爆炸？

经济

国家一级保护动物梅花鹿误入羊群内蒙古警方及时救助

　　中新网通辽10月18日电 (记者张林虎)18日，记者从内蒙古自治区通辽市奈曼旗公安局获悉，国家一级保护动物--梅花鹿误入当地村民羊群，

浙江杭州西湖首次推“环湖游线” 重现灵隐天竺上香水路

　　中新网杭州10月18日电 (王题题胡燕婕)云天收夏色，浅秋正渐浓。10月18日，浙江杭州市西湖游船有限公司推出的惠民多站点“西湖环湖游

福建福州在建摩天轮事故续：安装过程中外围轮毂脱落无

　　中新网福州10月18日电 (记者龙敏王东明)福州市晋安区官方18日晚间通报，18日14时47分，晋安区岳峰镇化工路爱摩轮商业广场项目摩天

【母亲河畔的中国】黄河润泽甘肃：沿岸城市兴文旅

　　中新网兰州10月18日电 (闫姣艾庆龙吉翔)“红山白土头，黄河向西流。”不少人疑问，天下黄河向东流，为何甘肃永靖县这段黄河却向西

《清华城市健康设施指数》：城市健康设施状况与其经济发

　　中新网北京10月18日电《清华城市健康设施指数》18日在北京发布。报告成果显示，城市健康设施指数领先城市以中心城市和东部沿海城市