今天，讓我們來談談一個又有可能改變AI技術的突破--史丹福大學的Alpaca模型。雖然它有著可愛無害的名字，但它所帶來的影響有可能不小於GPT-4，且具有非常重要的意義，這是個相當大膽的說法，但請聽我娓娓道來。
Alpaca語言模型概述
驚人的低開發成本
Alpaca這個開發費用僅有600美金的大型自然語言模型，可以達到近似Open AI先進的DaVinci 3差不多的效能，但這個模型不但開發成本極低之外規模也非常輕巧，並且容易複製。
你可能會想說"好吧，這聽起來好像蠻酷的，但是這個小羊駝憑甚麼可以改變世界呢?"
讓我解釋一下這有多驚人!
僅僅在6個禮拜之前，方舟投資管理公司預測，目前GPT3的開發成本約為460萬美元，而到2030年才有可能降到約30美元。
然而，在作出預測後的短短五週內，史丹福大學就開發了這個比GPT3開發成本少了99%成本的預訓練自然語言模型。
這個開發成本大大減少的創舉非常值得我們關注，為什麼呢?
Ok，想像一下，有了這樣一個強大的語言模型，而且還人人能負擔得起，人們可以做出什麼樣的事情呢。
踩在巨人的肩上訓練出來的Alpaca模型
史丹福大學使用極小的成本，就能使用現有AI模型來進行微調與再訓練打造了Alpaca是一件AI民主化的里程碑。這將人工智能技術的打開了一個全新的可能性。
史丹福大學聲稱Alpaca可以達到近似於Open AI的GPT3 DaVinci模型的等級，你可能會好奇這是到底是怎麼做到的呢?
史丹福大學使用了開源llama模型中最弱的一個，即70億參數的模型，然後使用GPT-3的API聯手"再"訓練出來的。
他們怎麼可能做到這一點？
簡單整理史丹福大學的訓練方式是，他們讓Alpca自己訓練自己。他們首先以人工創建了範例提示和輸出數據庫，然後再用既有的語言模型（如GPT3）再生成了上萬個的實例。
接著再將不OK的範例過濾掉，並把所有好的範例子再放回模型中，透過這樣的迴圈步驟，這就可以提高了Alpaca對指令的理解，進而再繼續產生了更多的可用的數據。
這樣的過程可以說是非常有效率的"智慧的滾雪模式"。
Alpaca小羊駝帶來的大影響
令人難以置信的是，這樣的突破可以使更多的人，包括可能的壞蛋們，創造了新的廉價開發AI數據庫的模式。
然而，這也是一個令人擔憂的原因。像GPT-3和GPT-4這樣的模型依賴於專有數據，這本應使它們具有競爭優勢，但史丹福大學的突破表明，這些龐大的開發成本是有可能可以壓低的。
這可能會導致更多的競爭，這對人類來說可能是好事但同時也是壞事。
反思與疑問
這個人工智能世界的最新發展為我帶來了一些想法。具體來說，我一直在思考史丹福大學最近發布的Alpaca模型的影響，以及它對大型語言模型的經濟性效應意味著什麼呢？
這引導出了了一些有趣的問題，即像微軟和Google這樣的大公司繼續投入數十億美元開發尖端模式的動機。
如果任何人都能以更低的成本輕鬆複製這些用上百萬美金開發出來的模型，這些公司是否會做出相對的手段來反制，也就是使他們的模型更加封閉和無法進入？這是一種可能性，我們需要密切關注。
但我們需要考慮的不僅僅是大型科技公司。
以地緣政治的角度來說許多國家也正在參與一些人所說的 "軍備競賽"，並積極著手開發最先進的語言模型。
正如我們在Alpaca身上看到的那樣，如果有正確的資源和技術，即使是中途加入者也能在這個領域取得重大進展的可能性。
所有這些都提出了一個問題：我們是否會走向這樣一個未來：公司和政府彼此之間以及與試圖廉價模仿其模式的外來者不斷競爭？
這是一個令人著迷和略感擔憂的前景，我們將在未來幾年密切關注這一前景。
讓我們持續保持著我們的好奇心吧!
0 Comments