尺有所短，寸有所長(zhǎng)。

最近這段時(shí)間，大模型世界可以說(shuō)是再度風(fēng)起云涌，不斷有大模型升級(jí)和涌現(xiàn)，作為國(guó)內(nèi)最早推出通用大模型的公司，百度也推出了文心大模型 4.0。

百度創(chuàng)始人、董事長(zhǎng)兼 CEO 李彥宏當(dāng)場(chǎng)表示，文心 4.0 實(shí)現(xiàn)基礎(chǔ)模型的全面升級(jí)，在理解、生成、邏輯和記憶等能力上均有提升，「綜合水平與 GPT-4 相比已經(jīng)毫不遜色�！�

文心大模型 4.0 不是唯一一個(gè)對(duì)標(biāo) GPT-4 的大模型，中國(guó)有無(wú)數(shù)個(gè)大模型正在追趕 GPT-4，上周就有科大訊飛宣布星火大模型的下一次升級(jí)，就將全面對(duì)標(biāo) GPT-4。但話又說(shuō)回來(lái)，文心大模型 4.0 真的能打了嗎？

終究還是得見(jiàn)真功夫。

眾所周知，百度在今年 3 月發(fā)布了國(guó)內(nèi)第一個(gè)大模型——文心大模型 3.5，并以此為基礎(chǔ)對(duì)話機(jī)器人文心一言，當(dāng)時(shí)雷科技就做了上手體驗(yàn)，評(píng)價(jià)是還有很大的優(yōu)化空間，但也有不少驚喜。

所以我們干脆先看看過(guò)去半年時(shí)間，文心 4.0 到底能有多少進(jìn)步。

文心 3.5 的時(shí)候我們就問(wèn)過(guò)如何評(píng)價(jià)《流浪地球 2》的問(wèn)題，評(píng)價(jià)內(nèi)容水分較大，還提到了「星際戰(zhàn)斗場(chǎng)面」等錯(cuò)誤信息，上映時(shí)間和演員信息上也出現(xiàn)了常見(jiàn)的錯(cuò)誤。

公允地說(shuō)，那個(gè)時(shí)候 ChatGPT 上也經(jīng)常遇到類似的問(wèn)題，表現(xiàn)最好的可能還是聯(lián)網(wǎng)的 Bing Chat（GPT-4）。

到了文心 4.0 上，評(píng)價(jià)會(huì)相對(duì)更貼近實(shí)際內(nèi)容一些，盡管還是會(huì)出現(xiàn)探討「我們應(yīng)該如何保護(hù)地球」這種「胡話」，但追問(wèn)上映時(shí)間和演員陣容都能給出準(zhǔn)確的信息。

此外，我們還問(wèn)了一個(gè)常被用來(lái)「拷問(wèn)」大模型的腦筋急轉(zhuǎn)彎，文心 3.5 的時(shí)候顯然還沒(méi)有理解人類：

但文心 4.0 不僅能從題目本身分析題意，還能將這個(gè)問(wèn)題放到真實(shí)環(huán)境下進(jìn)行推理：

此外，文心 4.0 還能準(zhǔn)確明白近期的網(wǎng)絡(luò)熱梗和「中文十級(jí)難題」：

如果說(shuō)前一個(gè)問(wèn)題意味著文心 4.0 可以降維打擊所有「梗百科」產(chǎn)品，后一個(gè)問(wèn)題則代表了文心 4.0 對(duì)中文的理解能力又上了一個(gè)新臺(tái)階，要知道，不少網(wǎng)友也是花了一段時(shí)間才真正看懂這個(gè)「幾等座」的問(wèn)題。

更多的比較就不展示了，但顯然，文心 4.0 比起半年多前已經(jīng)聰明了不少，對(duì)中文的理解能力，聯(lián)網(wǎng)后對(duì)新信息的掌握以及邏輯推理能力都有明顯的提升。

但文心 4.0 還遠(yuǎn)不止于此。

既然大家都認(rèn)為 GPT-4 是目前最「聰明」的大模型，那我們自然也不能免俗拿 Bing Chat（GPT-4）和文心 4.0 進(jìn)行對(duì)比，比如先來(lái)一個(gè)比較簡(jiǎn)單的「請(qǐng)假理由」。

文心一言給出的回答比較泛用，一般而言確實(shí)比較好用。

Bing Chat 則給出了更多的理由，比如腹瀉、家里斷水和身體不適也比較實(shí)用。

當(dāng)然，都到了「4.0」的階段，我們也嘗試提出一些比較高階且更具實(shí)際價(jià)值的挑戰(zhàn)。

第一個(gè)挑戰(zhàn)就是直接寫一份短視頻腳本，分別讓文心 4.0 和 Bing Chat 寫份關(guān)于廣州早餐的短視頻腳本。

Bing Chat 給出一份完成度相當(dāng)不錯(cuò)，同時(shí)兼具創(chuàng)意和廣州特色的腳本，稍微補(bǔ)充修改是真的可以采用。

文心 4.0 創(chuàng)作的腳本就比較空泛，甚至把廣州替換成任意一座城市都不會(huì)影響內(nèi)容，更遑論「廣州特色」了。但如果多給一些提示，比如指出廣州的早茶、腸粉這些元素，文心 4.0 會(huì)進(jìn)一步完善腳本內(nèi)容，增加「廣州特色」的相關(guān)內(nèi)容。

但較真起來(lái)，顯然還是 Bing Chat 給出的腳本更具備實(shí)際價(jià)值，包括在畫面的細(xì)節(jié)描述上也更加豐富，更勝文心 4.0 一籌。

第二個(gè)挑戰(zhàn)則是創(chuàng)建網(wǎng)站教程，我們以比較簡(jiǎn)單的樹洞網(wǎng)站為例，請(qǐng)教文心 4.0 和 Bing Chat。

但 Bing Chat 第一步就歇菜了，只是給出了一個(gè)樹洞網(wǎng)站及其功能的介紹，進(jìn)一步追問(wèn)也只能「理解萬(wàn)歲」，表示「我不能提供全部的代碼，因?yàn)檫@超出了我的能力范圍�！�

相比之下，當(dāng)我們要求文心 4.0 給出創(chuàng)建一個(gè)樹洞網(wǎng)站需要的全部代碼，可以看到它列出創(chuàng)建一個(gè)基本的樹洞網(wǎng)站需要的 HTML、CSS 和 JavaScript 代碼：

接下來(lái)進(jìn)一步請(qǐng)教如何在百度云上部署這些代碼，它也會(huì)先提供一些大概的步驟，比如注冊(cè)百度云賬號(hào)、創(chuàng)建實(shí)例、連接云服務(wù)器、上傳代碼等操作：

同時(shí)每一步還要繼續(xù)展開，比如連接云服務(wù)器的步驟：

誠(chéng)然，現(xiàn)在大模型距離「用嘴」搭建網(wǎng)站、開發(fā) APP 還有很遠(yuǎn)的距離，但文心 4.0 確實(shí)展示了一些改變開發(fā)生態(tài)的能力，未來(lái)如果能夠與百度云打通，用文心一言貫穿整個(gè)流程，未必不能實(shí)現(xiàn)人人都可開發(fā)的未來(lái)。

不過(guò)大模型改變的不僅是內(nèi)容創(chuàng)作和代碼開發(fā)，還有翻譯。先簡(jiǎn)單來(lái)一段英譯中：

左：Bing Chat，右：文心 4.0

兩者的差別不是很大，只有在細(xì)節(jié)處理上有些微區(qū)別，但如果換成文言文風(fēng)格呢？

下：Bing Chat，上：文心 4.0

相比 Bing Chat，文心 4.0 的翻譯更加準(zhǔn)確，沒(méi)有為了更精簡(jiǎn)的文辭而略去了一些關(guān)鍵信息，就比如開頭第一句的「1985 年」。

如果我們?cè)谶M(jìn)一步，要求它們將李白的《俠客行》翻譯成英文：

只能說(shuō)，現(xiàn)如今的大模型還做不太到位。

另外，借助插件系統(tǒng)文心 4.0 還能做到 GPT-4 無(wú)法實(shí)現(xiàn)的一些功能，比如一鏡流影，即通過(guò)文字直接生成視頻內(nèi)容。需要解釋的是，這并非直接地文字生成視頻，而是通過(guò) AI 生成文案、配音，再搭配實(shí)際拍攝畫面，最后再自動(dòng)剪輯導(dǎo)出。

目前來(lái)看，這個(gè)功能還是有很多欠缺之處，生成視頻的質(zhì)量比較一般，又不能導(dǎo)入實(shí)際的制作流程，更多可能還是充當(dāng)創(chuàng)意發(fā)散和嘗鮮的價(jià)值。

盡管如此，文心 4.0 的表現(xiàn)已經(jīng)足夠讓我眼前一亮了，不僅在中文語(yǔ)義理解又有了一定的提升，在邏輯推理、知識(shí)問(wèn)答方面也更多避免了大模型「幻覺(jué)」的出現(xiàn)。可以說(shuō)，文心 4.0 在綜合能力上確實(shí)與 GPT-4 不分上下。

題圖來(lái)自百度

來(lái)源：雷科技

       原文標(biāo)題 : 實(shí)際上手文心一言4.0，真的媲美GPT-4了？