求職方法 評測能力強的AI產品，面試官會追著你offer

評測這件事我想過很多次了 爲什麼反覆講 你可以看JD 這是美的 這是小的 這是精的 對於AI產品經理 評測都是最最核心能力要求 你可以理解 評測就約等於傳統產品經理的數據分析 傳統產品通過數據去迭代 AI產品通過評測 通過better case去迭代 所以這就會變成面試裏面的B考項 ok 那我們就具體講一下怎麼在面試裏面把這個問題答的好 我現在聊的AI產品也很多 那基本上對評測的理解 市場裏有三個級別 最初的級別 我把它稱之爲叫感知型評測 這是多數同學現在停留的層級 就是你大概知道AI輸出的好不好 但判斷標準相對比較粗 主要靠感覺 通常呢 在面試裏 如果面試官問到你怎麼做評測 基本上的回答就都是說 我去看用戶的滿意度 或者說我可以在產品裏面設置一個功能 讓用戶基於模型的輸出去點有用或者沒用 它的點在於沒有說清楚這個產品的輸出什麼是好 從哪些維度去衡量好 這些維度的標準跟目標的關係是怎麼樣的 怎麼去定 所以這是比較大的問題 那第二個級別呢 就是很多人會用拆解後的指標去做評測 舉個例子 比如說做AI客服 他會把AI客服的指標做的拆解 比如說準確率看回答是不是正確的 覆蓋率看處理多少類問題 轉人功率AI對於整個場景的覆蓋是怎麼樣的 一次解決率 用戶是否還需要繼續追問 用戶滿意度用戶是否認可答案的輸出 再比如說看電商的素材生成 他知道要去看圖片生成是否符合用戶的意圖 跟商品的一致性是否足夠高 包括圖像生成的質量和美感是怎麼樣的 賣點的表達的準確性是怎麼樣的 這些在業務指標上都沒有問題 並且他基於業務的目標做了一輪基於目標的維度拆解 但問題在於什麼地方呢 評測其實是一個體系化的工作 他要講清楚評測的標準 評測的維度 同時還得講清楚評測機怎麼構建 白的case的迴流機制是怎麼樣的 怎麼形成持續的閉環機制 所以這就到了第三個級別 回答評測實際上是按照一整個評測體系的構建去回答的 對吧 你可能先要定評測的維度 不同的產品評測標準差別是非常大的 就像我們剛纔舉的例子 智能客服和電商素材的生成 你不同的任務不能用一套評測的維度 那第二個呢 一定是評測機的構建 評測機不是隨隨便便抽幾個case 基本上要覆蓋高頻的問題 低頻但重要的問題 邊界的問題 高風險的問題 這四類一定是要覆蓋的 第三呢 就是評測的維度的評分標準 很多AI產品的效果 本質上都是主觀的評價 生成內容好不好 推薦理由可不可信 回答有沒有幫助 都是靠人去判斷的 但是如果你沒有標準的 有共識的評分標準就會出現 可能產品和算法覺得 輸出的還可以 但是老闆不滿意 用戶不滿意 對吧 再舉個例子 還是拿剛纔電商素材的case舉例 比如說我們認爲圖片是否符合意圖 那什麼是符合意圖呢 一分 兩分 三分到五分 標準之間的差別是什麼 這部分其實就是把你的感覺 把主觀的這部分變成團隊可以討論的標準化的邏輯 那同時呢 如果你需要把評測交給下團隊去做 他的目標比較更清晰 那第四個的話 一定是要講落地的邏輯的 是產品經理抽case 還是專門的團隊去做 彼此的分工是怎麼樣的 爲什麼這麼定 第五點要講清楚bad case的分析和迴流的邏輯 有了bad case之後 我們怎麼分析 怎麼歸因 怎麼解決具體的機制是怎麼樣的 最後一定要把評測的時機以及機制說清楚 評測不是一次性的動作 也不是說上線前測一次就結束了 a產品越用越會產生新的問題 所以你要設計持續的評測機制 比如說上線前是怎麼評測的 上線後是怎麼評測的 定期沉澱的bad case是怎麼評測的 定期沉澱的bad case怎麼迴流到評測機 這一整套的機制我們都得明確清楚 最後續 如果你想要去做a產品經理或者說想要學ai相關的產品知識 你可以直接去看我們給他準備的這個ai產品必須要了解的片裏 裏面是基於某個大廠的文檔所做的抽象和總結 非常非常詳細