2月16日，OpenAI發佈了全新的文生圖模型Sora，能夠給予用戶給出的提示Prompt，生成一段時長達到1分鐘的高清視頻，乍一看OpenAI做的事情似乎和遊戲無關，主要可能會影響電視劇、電影等影視作品的製作，但是Sora擅長的模擬數字世界能力，結合此前OpenAI已經發布的一款大型強化深度學習模擬器Neural MMO，Sora不止是一個視頻生成器，而是更像一個“世界模擬器”的概念，Sora將深入學習模擬現實世界的物理規律，極有可能將顛覆遊戲等內容生產行業。
我們先來看Sora能幹什麼，以及與競爭者們的優勢在哪裡。像去年發佈的Runaway和Pika生成的視頻長度一般在幾秒鐘以內，畫面可能出現模糊、閃爍等問題，而Sora可以生成長達 1 分鐘的視頻，質量更高，畫面更加清晰流暢，能夠達到很強的3D一致性。
在GPT和DALLE的加持下，Sora在理解文本指令上有著無可比擬的優勢，對於簡短的Prompt，Sora能夠先利用GPT對提示詞進行轉換變得更長，然後再生成視頻；搭配上DALLE3，用戶可以先生成生成一系列圖像，然後讓Sora將這些圖像拼接成動畫，效果十分驚豔。
對於兩個不同視頻，Sora也能將視頻進行拼接，非常絲滑流暢，我們可以看到無人機直接無縫切換成蝴蝶，Sora不僅能夠對語言提示有非常深刻的理解，同時對語言對應現實世界的物理形式，也有深刻的理解能力，這也是本文想要討論的關鍵點所在。
OpenAI形容Sora具備一定的對現實世界物理規律理解能力，以一個Sora生成較為失敗的視頻為例，提示詞為“考古學家在沙漠中發現了一把普通的塑料椅子，小心翼翼地挖掘併除去灰塵。”在這個場景中，Sora正在嘗試理解椅子是一個剛性物品。
但如果放在虛擬的遊戲世界，比如我們讓Sora生成“我的世界”視頻，效果比現實物理世界更好，而且Sora看起來像是真的理解了“我的世界”中的物理運動規律，用戶只需要提及《我的世界》，就能讓Sora直接生成遊戲視頻。
Sora生成的“我的世界”，看起來像素化更低，更像是真實世界，英偉達高級研究科學家、OpenAI第一個實習生Jim Fan表示，這是因為Sora更像一個“數據驅動的物理引擎”，而非是單純的圖像生成器。
Sora執行了上千次計算，來預測對象如何與其環境交互，在這個過程中，Sora實際上模擬了一個虛擬的世界模型，而且Sora也像是投餵了大量的虛幻5引擎視頻，這也讓Sora非常適合用於遊戲素材生成。輸入文本輸出視頻，Sora如此好用的原理從何而來呢？
目前，從OpenAI僅有的官方技術博客挖掘，Sora主要是結合Diffusion model+Transformer模型，將視覺數據轉化統一的時空Patch（類似於大模型的token），像其他的模型都需要通過許多預處理工作，將視覺數據切成標準片大小，而Sora可以直接投餵原始大小的視頻，這裡的Patch很有可能就是Sora如此強大的關鍵所在。
目前來看，除了Sora這樣的“世界模擬器”以外，GPT4、AI Agent同樣也有可能顛覆遊戲行業，Jim Fan在去年將GPT-4集成到“我的世界”中，推出Voyager作為史上第一個自主學習如何玩《我的世界》的AI，Voyager能夠在遊戲中學習如何建造房屋、挖礦、收集仙人掌和狩獵，Jim Fan認為像《薩爾達傳說》或者《艾爾登法環》這樣的遊戲，很快也會有更加強大的AI。
AI Agent同樣也會對遊戲造成巨大影響，試想一下，當遊戲中的AI變得像人類一樣聰明，能夠根據情況做出自己的複雜決策時，遊戲世界會變得更像真實世界，結合之前OpenAI公開的Neural MMO大規模強化深度學習模擬器，將AI Agent放倒一個MMO環境中，讓AI進行模擬博弈，OpenAI正在佈局一盤大棋。
再回到Sora上來，OpenAI的雄心壯志是讓Sora成為一個通用的世界模擬器，而不單單只是個生成視頻的工具，試想一下，如果給Sora輸入文本，Sora就能根據文本模擬出虛擬世界的人、動物和物體，如果再給Sora訓練大量的虛幻5引擎視頻素材，Sora也能進一步“掌握”虛擬世界的物理規律，屆時Sora可能會像GPT對好萊塢編劇們的顛覆性影響一樣，對遊戲界產生影響，目前也有部分人呼籲應該從安全性方面考慮，儘快著手限制Sora的發展。
ChatGPT：
聊天機器人——ChatGPT全網爆紅，馬斯克驚歎誇讚！
聊天機器人——ChatGPT小白註冊教程，勿被電商割韭菜！
ChatGPT移動端——使用教程，5分鐘註冊iOS賬號！
微軟——解散元宇宙，900億投資壓注ChatGPT！
ChatGPT王炸官宣——僅需2.7美元，即可輸出100萬詞！
火爆全網——AI生成的漂亮小姐姐，形象逼近真人！
英偉達重磅：AI讀取視頻，可直出3D遊戲模型！
黃仁勳：給AI圈一點小小的英偉達震撼，11分鐘訓練ChatGPT！
ChatGPT免費開源平替——200億參數，前OpenAI團隊打造！
ChatGPT王炸升級——可識別圖片，考試成績超九成人類！
ChatGPT史詩升級——1秒生成網站，看圖玩梗能力堪比真人！
ChatGPT加強版——60秒生成彈球遊戲，零基礎也能開發遊戲！
ChatGPT王炸官宣——正式解除封印，接入互聯網開放插件！
ChatGPT重磅升級——新增函數功能，價格大幅下降！
ChatGPT：預計3億人將失業，斯坦福封神開源GPT平替版！
ChatGPT突發：iOS版應用上線，衝到總榜第二！
ChatGPT之父：重磅推出世界幣，將成為AI時代“身份證”！
ChatGPT之父：奧特曼沒有公司股份，因為熱愛創造了GPT！
ChatGPT：微軟聯手奧特曼，重磅投資核聚變發電！
遊戲界大變天：斯坦福最新成果，AI角色可模擬真人小鎮！
人工智能“覺醒”：自主學習，AutoGPT會顛覆ChatGPT嗎？
ChatGPT最強挑戰者：谷歌Claude，免註冊支持中文！
ChatGPT最強競品：谷歌免費升級克勞德，20秒逆天速通百頁論文！
ChatGPT：顯卡每日電費500萬，谷歌大腦合併阿爾法狗母公司！
ChatGPT：玩轉《我的世界》，北京大學強化學習攻克複雜任務！
ChatGPT：成功讓AI聽懂人話，學會與人類合作！
ChatGPT：7分鐘開發一款遊戲，成本僅0.3美元！
OpenAI重磅突破：用AI學習AI，開創人工智能新道路！
OpenAI王炸——AI繪畫集成ChatGPT，“大力3”來了！
微軟重磅官宣：GPT-4接入Win11，下週二免費推送更新！
喬布斯劇本：奧特曼被OpenAI開除，美女工程師接任！
奧特曼迴歸？OpenAI員工施壓希望召回奧特曼！
奧特曼宣佈：加入微軟，光速跳槽甲方！
奧特曼迴歸：OpenAI上演“宮鬥”大結局！
GPT商店上線：“AI女友”機器人成熱門應用！
#gd的ai&遊戲雜談#
#ai人工智能#