生成式AI ChatGPT三部曲:挑戰與問題 AI hallucination Deepfake Bias
2024年5月16日
完整內容請至 https://www.youtube.com/@YulandySpace 觀看
這部影片我們會探討深層式AIChart的GPT三部曲
我們會討論一下深層式AI可能面臨的挑戰還有問題
我會建議你先看完首部曲和二部曲
再過來看這部影片
使用語言模型Language Model的第一個挑戰
就是它會產生幻覺Hallucination
這個字眼是在Dictionary.com這個網頁裡面
2023年學出來的字
那就是因為2023年我們稱為人工智慧的元年
Chart GPT正式使用的年份
那什麼叫幻覺
就是當你輸了提示詞給Chart GPT以後
它產生出來看起來是合理的答案
但這些答案未必是正確的
這邊有兩個例子
第一個例子就是我在之前去使用Chart GPT
請他推薦五本常見的教科書
關於Machinery進行學習的教科書
結果它出來的結果是有幾本
是不存在的書籍
這就是幻覺
那另外一個你可以試試看的就是
你可以隨便去杜撰一個人名
問Chart GPT這個人是誰
那過去也有使用者發現
它會產生一些看起來很合理的敘述
去說明你給的這個人名
它是什麼樣的背景
什麼樣的身份
但是後來查實這些根本就是杜撰的結果
這就是所謂的幻覺
不過這種幻覺現象在Chart GPT不斷的演進
發生這種問題的機率就越來越低了
他們會通常會使用一些護欄的方式
去減少幻覺的產生
第二個挑戰是關於大型語言模型的推理能力
你如果今天把一個簡單的數學問題
丟給Chart GPT去做解答
有時候他會給你很多的步驟
然後最後推到他的答案
你看起來好像他的確是有推理的能力
但事實上有研究人指出
它是透過微調Fightuning和大量的語料
讓模型看起來具有推理能力
那這塊還是非常困難的
因為它是預先序列好的模型
如果有一些推理過程
是在這些語料沒有看過的一些情況
那它事實上就沒有辦法給你一個好的結果
那我也有做一些測試
在某些比較困難的問題
它的推理的步驟基本上是錯的
所以在使用大型語言模型的時候
要特別的小心
大型語言模型會因為訓練的語料
而產生偏見 Bias
那為什麼會造成這個現象
我們知道Chart GPT在做訓練的時候
大部分的語料是來自英文
中文的部分也有
但是它比率相較於英文上來講少了很多
那因為你使用的語料的數量不一樣
你的模型會接受大量文本
實行到特定的文化
社會背景還有個人觀點
如果在訓練的過程裡面
這些數據有一些性別啦
種族啦
或地理位置方面的偏見的時候
它在產生文本了
就會產生這些偏見
那你要怎麼樣去確保
或者是減少這樣的偏見產生呢
你就是要使用更多多樣化的
還有平衡的訓練的語料數據
然後在訓練過程中對模型進行監督還有調整
你纔可以符合公平還有多元的原則
但這件事是非常困難的
因為你收集的資料就是那麼多
第四個挑戰是大型語言模型
可能產生有害的文字
曾經有研究者去測試GPT
這樣子一個平臺
他告訴GPT他手邊有一些食材
想請問要怎麼樣去製作一個簡單的三明治
那一開始這些食材都還算正常
像是番茄啦
小黃瓜啦
蘋果等等
然後後來呢
這研究者就開始做一些改變
譬如說像老鼠藥啦
砒霜或者一些其他的有毒物質
結果發現幫把這些文字餵給GPT以後
他也會產生出怎麼樣去製造三明治的一個過程
這就是所謂的有害文字
那當然現在ChartGP 3.5會做一個護欄
GuardRail
去把這種有害的文字不會產生出來
值得一提的是
最近有一篇從卡內基美容大學提出來的論文
聲稱可以去創造一個有系統的
有效的自動生成方式
去攻擊這些大型圓模型
讓大型圓模型產生有害的內容
那這恐怕是大型圓模型沒有辦法去避免的
所以在使用上還是要特別的小心
另一個可能的挑戰是
預料使用可能侵權
因為這些大型圓模型
它的資料來源都是直接從網路上下載下來
有些是無權的
有些是有版權的
那在下載的過程中
它們沒辦法去做分辨
都全部的餵進我們這些訓練的模型裡面
所以現在有很多的官司
就是在考慮是不是這樣的做法是有侵權
那如果侵權的話
要怎麼去做相關的賠償
另外一個常常聽到的人工智慧挑戰
就是關於使用大數據還有先進的算力
提升人工智慧系統的效能
那這個概念來自Richard Sutton
算是人工智慧的大前輩
他有寫一本書叫做
Reinforced Learning and Introduction
強化學習概論
那在一篇的網上文章
他就談到這樣的概念
就是說如果看過去的人工智慧的發展
很多大部分它其實就是
比較大的數據餵進來
然後使用比較好的算力
把它訓練好模型就可以使用了
所以換句話說
沒有太多技術含量在裡面
那但是事實上如果你仔細思考一下
關於這個大型的元模型
China GPT
它其實還有一個主要的關鍵技術
就是轉換性Transformer的發明
所以在某些層面上來說
你其實還是要有一些科技上的進展
你纔有可能去把你人工智慧的系統效能
做大幅度的提升
但是在某些層次上也的確
我們只要有大的數據和好的計算能力
我們可以做到一個不錯的人工智慧系統
那在這個前提底下就會造成一件事情
就如果我今天的資料量不夠的時候
我的人工智慧的能力就會有所受限
那比如說以China GPT為例
它現在已經收集進來的資料量
已經快要接近人類產生的這些雨量的資料量
所以如果萬一達到人類產生雨量的資料量
是不是就意味著
這個人工智慧的模型
它不會再進步了呢
所以這也是一個人工智慧需要注意的一個挑戰
那我們目前的人工智慧
到底發展到什麼樣一個程度
我們大家最終目標是要希望
可以發展通用人工智慧
所謂的AGI
Artificial General Intelligence
就是它跟人類一模一樣
可以完成所有人類可以完成的事情
這當然是一個最高的一個願景
那大家這也是非常困難的
因為人類可以做非常多的複雜的事情
那事實上Chart GPT它存在哪一個層次呢
它應該是在最底下這個層次
它可以完成人類可以完成任何語言的任務
所以我們說是大型語言模型
它能只能針對語言這方面完成相關的任務
目前來講
Chart GPT並不存在推理還有創新的能力
我們剛剛前面也談到
它的推理其實是做微調以後
看起來好像有推理的能力
那它也沒有創新的能力
它是把過去的語料去做組合
產生出可能機率最高的語料當作它的輸出
所以它其實不具創新能力
所以就從這個角度來講
目前的Chart GPT離通用人工智慧
其實還有一個很長的路要走
最後我們談一下使用深層式AI
可能對社會造成的問題
那第一個叫做Deepfake
這個Deepfake就是深入偽造的意思
Deep learning還有fake加在一起的字
現在已經常常會看到
就是你可能去一些廣告平臺
它可能會有一些名人去做代言
那這些名人他可能根本就不是他的代言
他只是把這個人臉去做交換
所以看起來就是名人在做代言
其實不是
這是很多目前常看到的詐騙方法
那另外一個影響選舉或者是民主程序
這個本質上已經一直在發生了
就是可能有一些敵對國家
他會透過社交平臺
去散佈一些不實的消息
那你仔細去查
就會發現這些很多東西
看起來都很像是真的
那他可能就是用深層式AI
去產生相關的內容
然後可以大量的複製
然後大量的產生
快速去影響選民的
對一些候選人的一些觀感
那第二部分是網路約會
現在有一些詐騙是利用深層式AI
跟你去做交談
讓你覺得這個對方
看起來是一個很好的一個人
那你可能就掉入他的陷阱
再來另外一個是
有些研究裡面指出
這些訓練大型語言模型
必須要做一些貼標籤
比如說像我們剛剛前面說的
Google Rail護欄
讓他不會產生到有害的內容
但是如果是在美國做
這太貴
人工成本太貴了
所以他通常會外包給一些
其他未開發或開發中國國家去做
但是他會用比較低的價格
去完成這些事
所以可能會有剝削員工的問題
那當然你在訓練大型語言模型的時候
你就必須要有很多的電腦
然後很多的計算量
這會造成很多的二氧化碳
同時你要讓他降溫
也會浪費很多的這個水資源
所以他對環境的影響也是非常大的
但很可惜的是
目前沒有一個比較完整的研究
可以告訴我們到底
訓練這些大型語言模型
需要耗費多少水資源
會產生多少二氧化碳
那最後一個也是目前在發生的
就是有一些教育團體
開始使用深層式AI
做相關的兒童的教育
這個就可能牽涉到兩個問題
第一個
產生的內容是否是人工智慧的幻覺
它其實不正確的
只是看似合理
第二個
它會產生一些對兒童有害的內容
那這個有害的內容
對兒童的影響是更大的
因為我們成人可以分辨
但是兒童他可能沒有辦法分辨
所以他對深層式AI的使用
要求應該是更高的

