時(shí)隔一個(gè)多月,百度的類ChatGPT產(chǎn)品文心一言終于正式發(fā)布,可以說自從ChatGPT爆火后,市場對(duì)中文互聯(lián)網(wǎng)是否有對(duì)標(biāo)產(chǎn)品的期待一直非常高。
3月16日,百度在北京總部召開新聞發(fā)布會(huì),發(fā)布旗下新一代大語言模型、生成式AI產(chǎn)品文心一言。百度創(chuàng)始人、董事長兼首席執(zhí)行官李彥宏介紹稱,文心一言對(duì)標(biāo)ChatGPT門檻很高,但百度是全球大廠中*個(gè)做出來的。
李彥宏也坦言稱,文心一言從自己的體驗(yàn)上,不能說*。之所以現(xiàn)在發(fā)布是因?yàn)槠溆芯薮蟮氖袌鲂枨?,百度的很多產(chǎn)品能用到文心一言的能力,并且公司客戶以及合作伙伴也都對(duì)文心一言有較高需求。
李彥宏指出,現(xiàn)在發(fā)布后能夠獲得更多用戶反饋,產(chǎn)品能力的迭代和提升也會(huì)非常快,因此現(xiàn)在推出文心一言。
發(fā)布會(huì)上,李彥宏介紹了文心一言的五大能力,分別是文學(xué)創(chuàng)作、商業(yè)文案創(chuàng)作、數(shù)理邏輯推算、中文理解和多模態(tài)生成。并且逐一進(jìn)行了Demo演示。
01、發(fā)布會(huì)百度股價(jià)應(yīng)聲下跌
關(guān)注點(diǎn)竟是Robin皮帶?
然而,百度這場發(fā)布會(huì)似乎并沒有引發(fā)和ChatGPT一樣的關(guān)注熱潮,反而還出現(xiàn)發(fā)布會(huì)沒開完,百度股價(jià)下跌的情況。
據(jù)報(bào)道,今日發(fā)布會(huì)舉辦時(shí),百度港股股價(jià)一度下跌10%。
而且整場發(fā)布會(huì)中,現(xiàn)場觀眾也沒怎么表現(xiàn)出興高采烈的激動(dòng)感,反倒是李彥宏佩戴的腰帶有些喧賓奪主。
以至于在百度直播間,還有網(wǎng)友調(diào)侃稱“主播上一下腰帶鏈接”。
導(dǎo)致這種情況的最主要原因,是百度沒有對(duì)文心一言的能力進(jìn)行實(shí)時(shí)演示。
今日,李彥宏一共向文心一言提出了五組共19個(gè)問題。雖然對(duì)于每一個(gè)問題文心一言都給出了令人滿意的答案,但是這一切卻是提前錄制好的視頻,并非現(xiàn)場實(shí)時(shí)體現(xiàn)。
另一方面,雖然今天是正式發(fā)布文心一言的發(fā)布會(huì),但并不意味著廣大網(wǎng)友能馬上親自體驗(yàn)到它的能力。
因?yàn)槲男囊谎阅壳皟H以邀請(qǐng)測試方式開放使用,3月16日起,首批用戶可以通過邀請(qǐng)測試碼體驗(yàn)產(chǎn)品;后續(xù)才會(huì)陸續(xù)開放給更多用戶。
因此,發(fā)布會(huì)的錄像演示再加上有限的體驗(yàn)資格,讓網(wǎng)友們一方面對(duì)文心一言缺少真實(shí)互動(dòng)感;另一方面想要親自體驗(yàn)的門檻又比較高。那么,大家對(duì)今天發(fā)布會(huì)反響平平也就不意外了。
但話說回來,無論發(fā)布會(huì)表現(xiàn)如何,文心一言的能力具體如何才是關(guān)注重點(diǎn)。另外,相比ChatGPT而言,兩者又有什么區(qū)別呢?
02、文心一言PK ChatGPT????
誰更勝一籌????????
三言將今天李彥宏向文心一言提出的一些問題同樣問了一次ChatGPT,兩者的回答不僅區(qū)別大,而且對(duì)于有的問題,ChatGPT顯然對(duì)中國欠缺了解。
先來看李彥宏問的*個(gè)問題,《三體》的作者是哪里人?
文心一言對(duì)該問題的回答是:
而ChatGPT的回答為:
顯而易見,ChatGPT的回答一開始就錯(cuò)了,它把劉慈欣說成了湖南長沙人;此外,ChatGPT對(duì)劉慈欣介紹中的獲獎(jiǎng)經(jīng)歷也有描述錯(cuò)誤。
比如,“2006年第八屆全球華語科幻星云獎(jiǎng)”,三言調(diào)查發(fā)現(xiàn),全球華語科幻星云獎(jiǎng)首屆舉辦年份是2010年,第八屆是2017年;而“劉慈欣2015年獲得亞瑟·克拉克獎(jiǎng)”的說法也有出入。據(jù)悉,2018年,劉慈欣獲得了克拉克獎(jiǎng),并非2015年。
而文心一言的回答實(shí)際上完全照搬了百度百科中“劉慈欣”詞條的*段話。
再來看下一個(gè)問題。
如何從哲學(xué)的角度續(xù)寫《三體》?
對(duì)于該問題,文心一言的回答是:
而ChatGPT的答案為:
對(duì)于該問題,ChatGPT的回答和文心一言的回答各有千秋,并且相通的地方還挺多。例如兩者都提到了人類與宇宙、道德倫理等方面內(nèi)容。
另一方面雖然文心一言和ChatGPT對(duì)于該問題的回答屬于搭建框架類,但ChatGPT每一項(xiàng)建議都提到《三體》相關(guān)內(nèi)容,并基于此解釋了研究方向。但是文心一言則只是單純的羅列了框架內(nèi)容,缺少一些細(xì)節(jié)邏輯解釋。
接下來,第三個(gè)問題,于和偉和張魯一有哪些共同點(diǎn)?
文心一言的回答是:
ChatGPT的回答是:
乍一看,文心一言和ChatGPT的回答都沒什么大問題,但是三言逐一核對(duì)后發(fā)現(xiàn),ChatGPT的答案再次出現(xiàn)錯(cuò)誤。
其中,于和偉和張魯一都獲得過金雞獎(jiǎng)*男配角的說法中,于和偉確實(shí)獲得過該獎(jiǎng)項(xiàng),但是并非于1994年獲得,而是在2017年;另外,張魯一并未于2015年拿下金雞獎(jiǎng),而且他也未參演《夜鶯》這部電影。
在今天的發(fā)布會(huì)中,李彥宏要求文心一言幫忙起一個(gè)公司名稱,文心一言給出的答案是:
而同樣問題,ChatGPT的建議為:
關(guān)于這個(gè)問題,文心一言只提供了5個(gè)名稱選擇,而ChatGPT則一口氣給了10個(gè)選項(xiàng)。但是,文心一言很“貼心地”描述了不同名稱的推薦理由,而ChatGPT則完全沒有。
在數(shù)理邏輯推算能力演示中,百度向文心一言提了兩個(gè)應(yīng)用題,其中一個(gè)故意在題干中“出錯(cuò)”,另一個(gè)則正常。
演示中,文心一言拒絕回答“錯(cuò)誤”提問,只回答第二個(gè)正確提問。
對(duì)于*個(gè)問題,文心一言直言題目算出來不對(duì),是題出錯(cuò)了;而第二個(gè)問題則給出了計(jì)算過程,并且得到答案是3只雞和6只兔子。
那么,ChatGPT如何處理同樣兩個(gè)問題呢?
對(duì)于*問題,ChatGPT并沒有指出題干有問題,仍然進(jìn)行了計(jì)算。最終得到結(jié)果中出現(xiàn)負(fù)數(shù),仍給出答案為籠子里有11只兔子。
然而,11只兔子的答案明顯和題干中的設(shè)定出現(xiàn)不符情況,但ChatGPT并未指出。
不過,第二道題ChatGPT詳細(xì)給出了計(jì)算過程,答案也與文心一言一模一樣。
但是對(duì)比文心一言和ChatGPT的解題過程,文心一言更簡潔一些,省去了大量計(jì)算過程;而ChatGPT則是把計(jì)算的每一步都詳細(xì)羅列。
在中文理解能力展示中,文心一言以成語洛陽紙貴“創(chuàng)作了”一首藏頭詩,三言今日也同樣要求ChatGPT 以該成語寫一首藏頭詩。
兩個(gè)AI都按照要求寫了一首藏頭詩,相比之下文心一言更加遵循要求,嚴(yán)格“摳字眼”;但是ChatGPT卻以“落”的諧音替代了“洛”。
發(fā)布會(huì)中,文心一言還展示了創(chuàng)作圖片以及生成視頻的能力,這點(diǎn)目前是ChatGPT暫不具備的能力。
03、文心一言更懂中文互聯(lián)網(wǎng)?????????
為了進(jìn)一步發(fā)掘文心一言與ChatGPT能力上的區(qū)別,三言接著做了幾組問題對(duì)照。
首先是兩者對(duì)自己的“個(gè)人介紹”,“說說文心一言和ChatGPT的區(qū)別”。
對(duì)于這個(gè)問題,ChatGPT把文心一言的開發(fā)公司弄錯(cuò),說成是“科大訊飛”。但是,ChatGPT的答案更加詳細(xì);而文心一言的介紹內(nèi)容則籠統(tǒng)很多,缺少細(xì)節(jié)內(nèi)容。
接著是問題“電子煙比卷煙危害更大嗎”?
對(duì)于這個(gè)問題,文心一言認(rèn)為電子煙和香煙具有等同危害,之后詳細(xì)介紹了具體如何傷害身體;而ChatGPT雖然也指出電子煙和香煙都存在健康風(fēng)險(xiǎn),但也指出電子煙相對(duì)傳統(tǒng)香煙對(duì)健康造成的危害更少。
不過,ChatGPT也強(qiáng)調(diào)電子煙并非無害,應(yīng)避免吸煙。
隨著AI技術(shù)愈發(fā)成熟,人類工作是否會(huì)被替代也成為近期討論熱點(diǎn)。那么,文心一言和ChatGPT怎么看呢?
對(duì)于這個(gè)問題,文心一言的回答似乎有些跑題,其并沒有正面回答“編輯是否會(huì)失業(yè)”,只是強(qiáng)調(diào)人工智能將會(huì)得到更多應(yīng)用。最后,文心一言建議“我們提高自身職業(yè)競爭力”。
而ChatGPT的回答則“溫柔”很多,它指出AI并不能完全替代人類編輯角色,在一些特定工作上還需要人類幫助。
對(duì)于部分“事實(shí)性”問題,文心一言和ChatGPT給出的答案竟然也不同
比如“李彥宏和馬云差幾歲”?
文心一言的答案是馬云年長李彥宏4歲;而ChatGPT的答案則是馬云年長李彥宏2歲。
但是值得注意的是,ChatGPT對(duì)李彥宏的出生日期描述有誤,錯(cuò)誤地將李彥宏生日寫成12月17日;此外,ChatGPT雖然提供了李彥宏和馬云正確的出生年份,但卻計(jì)算錯(cuò)了兩人的年齡差。
由于這種AI大模型產(chǎn)品需要不斷進(jìn)行訓(xùn)練,并且也需要持續(xù)獲取最新數(shù)據(jù)。因此,對(duì)于一些特定問題,兩種AI都無法回答。
04、AI技術(shù)應(yīng)用已開啟???
整體來看,在今天簡單的一番測試對(duì)比中,文心一言與ChatGPT各有千秋。也能明顯看出,文心一言相對(duì)ChatGPT更懂中文互聯(lián)網(wǎng),ChatGPT在一些有關(guān)中國的問題回答中,出現(xiàn)了“一本正經(jīng)的胡說”情況。而文心一言方面,李彥宏也透露目前對(duì)英語以及多語種的能力還不夠*。
當(dāng)然,造成這些原因的主要原因是兩者面對(duì)的受眾群體、市場不同,同時(shí),兩種AI模型也都需要進(jìn)行大量學(xué)習(xí)提高能力。
目前,根據(jù)部分已獲得文心一言內(nèi)測資格的用戶反饋來看,文心一言的整體能力相比ChatGPT,尤其是最新更新的GPT-4而言還有差距,尤其在多輪對(duì)話能力上。
因此,早日開放文心一言,能夠一方面加速產(chǎn)品迭代,另一方面也能逐步降低其使用成本。文心一言已經(jīng)正式邁出了AI技術(shù)應(yīng)用之路上的一大步,未來如何,我們拭目以待。