gpt-6-astra測(cè)試測(cè)試你的模型有沒(méi)有降智最近大模型圈里有一個(gè)很出名的“鵜鶘測(cè)試”讓模型生成一張“鵜鶘騎自行車(chē)”的 SVG。本次使用靈鏈云API(llapi.org)進(jìn)行測(cè)試?？靵?lái)測(cè)測(cè)你使用的模型有沒(méi)有降智這個(gè)測(cè)試最早由 Simon Willison 持續(xù)拿來(lái)觀察不同模型的 SVG 生成能力。他使用的提示詞非常短Generate an SVG of a pelican riding a bicycle.翻譯過(guò)來(lái)就是生成一張鵜鶘騎自行車(chē)的 SVG。題目看著像玩具實(shí)際挺容易露餡。模型要知道鵜鶘長(zhǎng)什么樣還要處理鵜鶘、自行車(chē)、車(chē)輪、車(chē)架、踏板和雙腿之間的位置關(guān)系。SVG 不是直接出一張位圖模型還得寫(xiě)出能被瀏覽器正確渲染的圖形代碼。這次我也跑了一遍鵜鶘測(cè)試。本次選擇的模型是gpt-6-astra推理強(qiáng)度設(shè)置為高h(yuǎn)igh。我在經(jīng)典提示詞上增加了 HTML 和 2D 動(dòng)畫(huà)要求看看它能不能把靜態(tài) SVG 做成一個(gè)真正會(huì)動(dòng)的網(wǎng)頁(yè)。模型名稱(chēng)和推理檔位按本次工具界面顯示記錄。本文是一輪實(shí)際生成結(jié)果不是嚴(yán)謹(jǐn)?shù)哪Ｐ湍芰υu(píng)測(cè)也不能靠一張鵜鶘圖證明底層模型身份。截圖 1模型選擇為 gpt-6-astra推理強(qiáng)度設(shè)置為高本次測(cè)試提示詞我輸入的原始提示詞是創(chuàng)建一個(gè)HTML內(nèi)容是SVG繪制一個(gè)鵜鶘騎自行車(chē)的2D動(dòng)畫(huà) 你不需要任何測(cè)試。這里比經(jīng)典鵜鶘測(cè)試多了三個(gè)要求結(jié)果要放進(jìn)一個(gè)可以直接打開(kāi)的 HTML。鵜鶘不能只是靜態(tài)騎在車(chē)上要做成 2D 動(dòng)畫(huà)。我沒(méi)有繼續(xù)補(bǔ)充角色姿勢(shì)、顏色、背景、動(dòng)畫(huà)方式也沒(méi)有提供參考圖。具體怎么畫(huà)、怎么動(dòng)由模型自己處理。截圖 2完整提示詞和發(fā)送后的會(huì)話(huà)界面生成過(guò)程提交提示詞后模型先創(chuàng)建了一個(gè)獨(dú)立示例項(xiàng)目codes/pelican-coast-ride/ ├── index.html ├── README.md └── package.json主要內(nèi)容都放在index.html中沒(méi)有引入第三方框架也沒(méi)有引用外部圖片。頁(yè)面里的鵜鶘、自行車(chē)、海岸和云層都由 SVG 繪制動(dòng)畫(huà)由 JavaScript 驅(qū)動(dòng)。這一輪沒(méi)有讓模型運(yùn)行自動(dòng)化測(cè)試。這里說(shuō)的“鵜鶘測(cè)試”指的是用同一道生成題觀察模型輸出并不是給 HTML 跑單元測(cè)試。實(shí)際生成了什么打開(kāi)codes/pelican-coast-ride/index.html可以看到一只戴著頭盔、系著圍巾的鵜鶘在海邊騎自行車(chē)。這次結(jié)果不是把一只鳥(niǎo)簡(jiǎn)單放在兩個(gè)圓圈上。代碼里處理了這些細(xì)節(jié)鵜鶘有長(zhǎng)嘴、嘴下喉囊、長(zhǎng)頸和翅膀角色比較容易辨認(rèn)。自行車(chē)有前后輪、車(chē)架、車(chē)把、車(chē)座、曲柄和踏板。車(chē)輪輻條持續(xù)旋轉(zhuǎn)路面、海面和云層以不同速度向后移動(dòng)。兩只腳相差半圈跟隨踏板膝蓋位置會(huì)隨腳的位置重新計(jì)算。頁(yè)面提供暫停按鈕以及 0.5 倍、1 倍和 1.5 倍三檔速度。腳踩踏板是這道題最容易糊弄過(guò)去的地方。這次代碼沒(méi)有只讓車(chē)輪轉(zhuǎn)而是根據(jù)曲柄角度計(jì)算腳的位置constfoot{x:56526*Math.cos(angle),y:48526*Math.sin(angle)};leg(near,angle);leg(far,angleMath.PI);另一只腳增加Math.PI剛好與前一只腳相差半圈。完整的leg()函數(shù)還會(huì)根據(jù)髖部和腳的位置計(jì)算膝蓋讓腿跟著踏板彎曲。截圖 3HTML 打開(kāi)后的完整頁(yè)面你也可以把經(jīng)典提示詞原樣發(fā)給自己正在用的模型如果想復(fù)現(xiàn)本文這一版就使用前面的完整中文提示詞并把推理強(qiáng)度設(shè)為高。我本次對(duì)比的是使用靈鏈云llapi.org中的gpt-5.6-luna推理強(qiáng)度同樣選擇的是高。重新創(chuàng)建一個(gè)HTML內(nèi)容是SVG繪制一個(gè)鵜鶘騎自行車(chē)的2D動(dòng)畫(huà)你不需要任何測(cè)試創(chuàng)建一個(gè)HTML內(nèi)容是SVG繪制一個(gè)鵜鶘騎自行車(chē)的2D動(dòng)畫(huà)你不需要任何測(cè)試。怎么用這張圖看看自己的模型有沒(méi)有降智拿到結(jié)果后重點(diǎn)看五件事一眼能不能認(rèn)出鵜鶘而不是普通的白鳥(niǎo)。鵜鶘是不是真的坐在自行車(chē)上翅膀和腳有沒(méi)有明顯懸空。車(chē)架、車(chē)輪、踏板和車(chē)把能不能組成一輛結(jié)構(gòu)說(shuō)得通的自行車(chē)。要求動(dòng)畫(huà)時(shí)腳、踏板和車(chē)輪有沒(méi)有聯(lián)動(dòng)還是只有背景在移動(dòng)。模型有沒(méi)有交付能直接打開(kāi)的完整文件而不是只給一段說(shuō)明或殘缺代碼。最好保留第一次生成結(jié)果。連續(xù)補(bǔ)十幾輪提示詞以后終于改對(duì)和一次交付完成不是一回事。如果要比較模型是否退步還要盡量固定提示詞、推理強(qiáng)度、上下文和工具權(quán)限并保留以前同條件的結(jié)果。只憑一次生成可以看這一輪完成得怎么樣不能直接證明模型整體“降智”。這次測(cè)試的結(jié)論就這一次結(jié)果看gpt-6-astra完成了提示詞里的主要要求單文件 HTML、SVG 鵜鶘、自行車(chē)、2D 動(dòng)畫(huà)和顯眼推廣都交付了還補(bǔ)了暫停與調(diào)速。更關(guān)鍵的是它沒(méi)有只做“兩個(gè)車(chē)輪轉(zhuǎn)起來(lái)”的表面動(dòng)畫(huà)。腳、踏板和膝蓋之間有聯(lián)動(dòng)說(shuō)明模型確實(shí)處理了這個(gè)畫(huà)面里最麻煩的空間關(guān)系。所以我對(duì)這一輪的判斷是6astra沒(méi)有看到明顯的“降智”表現(xiàn)這道鵜鶘動(dòng)畫(huà)題完成度不錯(cuò)。這個(gè)結(jié)論只針對(duì)本次提示詞和本次輸出。等你補(bǔ)上模型設(shè)置、生成過(guò)程和動(dòng)畫(huà)結(jié)果截圖讀者可以直接看圖自己判斷這只鵜鶘到底騎得怎么樣。Gitee 示例代碼地址gpt-6-astrahttps://gitee.com/heihei_66/codex-demo/codes/pelican-coast-ride/index-6astra.htmlGitee 示例代碼地址gpt-5.6-lunahttps://gitee.com/heihei_66/codex-demo/codes/pelican-coast-ride/index-5.6luna.html參考Simon Willison 的 pelican-riding-a-bicycle 專(zhuān)題頁(yè)。