“聊天機器人，而不是預言機”——當我們嘗試用 ChatGPT 取代我們的顧問時發生了什麼

在過去的幾周里，我們聽到了很多關於生成式人工智慧將如何徹底改變數字行銷格局的消息。ChatGPT於 2022 年 11 月推出， 在短短 5 天內就達到了 100 萬使用者。從那時起，它就進入了日常使用，從校對電子郵件到格式化代碼，甚至 寫說唱歌詞，無所不包。

在 Fifty-Five 時，我們向品牌諮詢如何使用技術來支援新的和前沿的行銷用例，沒過多久，我們就開始測試鎮上最熱門的新聊天機器人的功能。特別是，早在Universal Analytics（通用分析）日落之前，我們就與眾多 知名品牌 合作，遷移到了Google Analytics 4（GA4），因此我們決定對我們的顧問定期做的事情進行測試。回答客戶使用 GA4 提出的問題。結果如下：

Chat GPT 僅正確回答了 42 個 GA4 問題中的 12 個

在我們提出的 42 個問題中，ChatGPT 只提供了 12 個我們發送給客戶的可接受答案，成功率僅為 29%。另有8個答案（19%）被認為是「半正確」。。這些人要麼誤解了問題，對所問的問題提供了不同的答案（儘管事實上是正確的），要麼在其他正確的回答中含有少量錯誤資訊。例如，ChatGPT 告訴我們，您在一些 GA4 報告中發現的“其他”行是多行小容量數據的分組（正確），但發生這種情況的實例是由“谷歌機器學習演算法”定義的（不正確 - 有 標準規則 ）。

AI 模型受到其訓練數據的限制

其餘52%的答案與事實不符，在某些情況下還具有誤導性。最常見的原因是 ChatGPT 不使用 2021 年之後的訓練數據，因此最近的許多更新都沒有計入其答案。例如，谷歌在 2022 年才正式宣佈棄用 Universal Analytics，因此 ChatGPT 無法說什麼時候會棄用。在這種情況下，機器人至少在這種背景下警告了它的答案，以 “據我所知，在 2021 年被切斷......”開頭。

然而，剩下的一些答案被錯誤地回答了，但信心令人擔憂，例如機器人告訴我們，“GA4 使用基於機器學習的方法來跟蹤事件，並可以根據收集的數據自動識別購買事件。

雖然 GA4 確實有自動跟蹤的「增強測量」事件，但這些事件通常是通過監聽網頁元數據中的簡單代碼來定義的，而不是通過任何機器學習或統計模型來定義的。此外，購買事件當然不在增強型衡量的範圍內。

第二種錯誤答案背後的解釋可以通過考慮 ChatGPT 訓練數據中的另一個局限性來解釋。萬維網上有很多錯誤資訊，總的來說，這些資訊是用來訓練聊天機器人的，它是使用模式訓練的。谷歌關於 GA4 的許多支援文章都充斥著「機器學習」一詞，這隨後在有關該平臺的外部文章中得到了回應，因此在對 17 個問題的回答中提到它也就不足為奇了，包括上面的錯誤答案。

最後，值得一提的是，使用 ChatGPT 有一個隨機因素——你可以給機器人兩次相同的提示，得到的答案略有不同。

一個很好的起點，但沒有預言機

總而言之，ChatGPT 在對有關行銷技術的複雜問題給出平衡答案方面與 55 的顧問不完全相同的原因有很多。然而，它確實提供了一個很好的起點來討論其對給定主題的回應，並跟進更多的研究。這與我們今天看到的人工智慧支援工作場所的情況是一致的。大多數工作都沒有被人工智慧完全接管的風險，但像 ChatGPT 這樣的工具在提高生產力、激發創造力和啟動對話方面做得非常出色。正如 BCS 所寫，「人工智慧不會取代你的工作——但使用人工智慧的人會」。