來源：新智元

導讀：Meta的元宇宙探索之路，仍未停息。重召被裁員工，發布超逼真虛幻圖像數據集，全世界組裝AR眼鏡……

圖片來源：由無界 AI生成

Meta的元宇宙探索，還在繼續。

最近，Meta用虛幻引擎開發了全新的逼真合成數據集，希望拉近合成數據與真實世界數據的距離。

他們還計劃製作一款全新的AR眼鏡，僅用於內部開發和公眾展示。

據悉，這款眼鏡的製造流程涉及中國大陸、中國台灣和美國的工廠。原因是鏡片內包含一款軍用材料，無法輕易出口到美國以外的地方。

另外，Meta甚至還成立了一個「前員工門戶」，把從前解僱的員工慢慢招了回來。

真實虛幻圖像數據集

Meta推出的真實虛幻圖像（PUG，Photorealistic Unreal Graphic）數據集，能夠對人工智能視覺系統進行更可控、更穩健的評估和訓練。

這個數據集通過虛幻引擎Unreal Engine合成了超過20w個動物圖像，以及數十萬張包括各種姿勢，光照和背景的圖像，來作為訓練，評估圖像模型和圖像系統的基礎。

PUG因為使用了Unreal Engine合成的圖像，保證了圖像素材的真實感，使得它的使用範圍比之前類似的圖像數據集要大大擴展。

PUG由4個部分構成：

1. PUG Animal

用於研究分佈外泛化和研究基礎模型的表徵空間，包括了：

215,040張預渲染圖像，涵蓋了70種動物資源，囊括了4種尺寸，3種紋理，4種不同的方向。

2. PUG ImageNet

數據集提供了一個新穎和高效的基準測試，用於細粒度評估圖像分類器在多個變化因素上的穩定性，包含了：

151種ImageNet類型（class），64種背景，7種尺寸，10種紋理，18個視角，18角色方向（Character Orientation），7種光照強度。

3. PUG SPAR（場景、位置、屬性、關係）

數據集用於評估視覺語言模型，展示了如何使用合成數據來解決當前基準測試的局限性。它包含了：

43,560 張預渲染圖像，10個背景，32種動物，4種關係（左/右，下/上），4種屬性（藍/紅，草/石）。

4. PUG AR4T

提供大約 250,000 張圖像，用於微調空間關係和屬性的視覺語言模型。

Meta使用虛幻引擎來創建逼真的交互環境，從中他們可以輕鬆地對給定規格的圖像進行採樣。

下圖說明了Meta如何使用虛幻引擎和示例圖像來生成PUG數據集。

合成圖像數據集為設計和評估深度神經網絡提供了非常多的優勢。

合成數據集能根據需要渲染盡可能多的數據樣本，還可以精確控制每個場景併產生細粒度的標註數據標籤，精確控制訓練和測試之間的分佈變化，以隔離感興趣的變量以進行合理的實驗。

但是現有的合成數據集最大的問題就是不夠真實，這使得數據集的使用範圍嚴重受限。

而如果用真實的圖像數據集，又會受到隱私和版權方面的限制。

而通過虛幻引擎來合成真實的圖像數據集，就能非常好解決這些問題。

Meta稱，與現有測試基準相比，生成涵蓋一系列領域的數據的能力可以使視覺語言模型的評估和訓練更加可靠。

除了數據集之外，研究人員還可以使用 PUG 環境創建自己的數據，精確指定現實世界數據集難以控制的光照和視角等因素。

如何創建自己PUG數據集

而且，Meta還詳細介紹了如何利用虛幻引擎來建立自己獨有的PUG數據集。

指導手冊：https://github.com/facebookresearch/PUG/tree/main/torchmultiverse

首先是下載Epic Games來獲取虛幻引擎5。 然後創建一個新的Pixel流媒體項目。

如果之前完全沒有了解過虛幻引擎，可以下載官方的這個Demo來進行一個簡單的入門。

https://www.unrealengine.com/marketplace/en-US/product/pixel-streaming-demo

然後閱讀官方對於虛幻5引擎的入門介紹，了解Blueprintsd的基本機制。

https://docs.unrealengine.com/5.0/en-US/introduction-to-blueprints-visual-scripting-in-unreal-engine/

下載Demo后，打開位於Content/Blueprints/CharacterConfig文件夾中的DTCharSelect表文件，如下圖所示。

該表列出了可以通過虛幻環境加載的所有資源。如果您想添加新字符，只需在表中創建一個新條目即可。

明年或推出AR眼鏡：軍用材料，在美國組裝

另外，Meta還計劃在2024年推出第一代AR眼鏡，產量大約在1000台左右。

這1000台AR眼鏡將僅用於內部測試以及公眾展示，不會向公眾發布。

儘管數量不多，但Meta為了生產這個AR眼鏡可謂是費盡周折。

這款眼鏡被定位為一款價格昂貴的空間計算設備。

而且由於鏡片涉及到被限制出口的材料，所以這款眼鏡的手持控制器和無線計算核心會在中國大陸和中國台灣生產，再運到美國，和鏡片一起組裝成成品。

原因是Meta準備在這個內部代號為「Orion」的AR眼鏡中使用一種名為碳化硅（SiC）的化合物作為鏡片材料。但這種化合物被政府限制出口到其他國家。

相比過去的玻璃材料，碳化硅可以投射更寬的圖像到鏡片中，視野更寬闊。但它的價格也更貴。

Orion AR眼鏡視場角約為70°對角線，略大於Magic Leap 2（66°），遠大於 HoloLens 2（52°）。

Meta為了一個不會對外發布的產品投入了如此巨大的成本，可能會引起投資者對Meta的Reality Labs部門的支出擔憂。

其中，Reality Labs部門主要開發增強現實（AR）和虛擬現實(VR)產品。

然而，直到現在，虛擬現實的市場仍然很小，增強現實的技術還在發展中，落地場景較為受限。

Meta向這兩個領域投入了大量資金，希望確立Meta在市場中的領先地位。

在這兩個領域中，Meta不得不和資金實力都十分雄厚的對手：蘋果的Vision Pro頭顯競爭。

鑒於收入增長放緩和投資者壓力增加，Meta已經在整個公司範圍內削減成本，但是Meta在Reality Labs部門的總投資仍在增加。

最近18個月，該部門今年的虧損達到了210億美元。

Meta決定僅將第一代AR眼鏡作為內部產品發售，這本身就是一項削減成本的舉措。

此外，在選擇中國的工廠也是削減成本的一環。

在美國招聘組裝工人，時薪在16.75美元到28.27美元不等。遠遠高於在中國大陸和中國台灣的生產成本。

同樣，其他製造硬件的美國科技公司，如蘋果，大部分產品也都是在中國製造的。

儘管如此，因為不得不在美生產鏡片、組裝AR眼鏡，第一代AR眼鏡的造價成本還是相當高昂。

重招被裁員工

最近幾周，Meta慢慢開始加快招聘步伐，尤其是工程和技術崗位。

自去年11月以 來，通過一個專門「前員工門戶」，被Meta解僱的員工都可以重新申請正在招聘的崗位。

現在正在招聘的數百個職位，主要是軟件、硬件和AR/VR的崗位，還有一些基礎設施和數據中心中的主要技術崗。

一位知情人士表示，運營崗似乎沒有放開招聘，而且招聘的崗位都是有具體產出要求的崗位，因為Meta整體上已經縮減了經理級別的崗位。

Meta招聘主要是針對有豐富工作經驗的員工，減少了應屆畢業生和實習生的聘用。

被裁的工程師級別越高、業績評價越好，被重新聘用的概率會更高。

許多人被重新僱用的員工會被安排到新的崗位上去，職位和薪水都會比以前更低。

一名被Meta重新聘用的職員說，他接受了大約10%的降薪。但鑒於Meta的股價最近一直在上漲，他預計一年內會達到之前的薪酬水平。

嘗到了降本增效甜頭的小扎，似乎依然堅定地走在通向元宇宙的路上。

參考資料：

https://pug.metademolab.com/index.html

https://www.theinformation.com/articles/behind-metas-made-in-usa-ar-glasses-a-military-grade-material