今天微軟宣布多項(xiàng)工具和數(shù)據(jù)集開(kāi)源 ,這些工具旨在審計(jì) AI 驅(qū)動(dòng)的內(nèi)容審核系統(tǒng),以及自動(dòng)編寫突出顯示 AI 模型中潛在錯(cuò)誤的測(cè)試。微軟表示 AdaTest 和(De)ToxiGen 項(xiàng)目可以產(chǎn)生更可靠的大型語(yǔ)言模型 (LLMs),或者類似于 OpenAI 的 GPT-3的模型,用于分析和生成具有人類水平復(fù)雜性的文本。
目前 LLMs 存在諸多風(fēng)險(xiǎn)。因?yàn)檫@些模型經(jīng)過(guò)了大量來(lái)自于互聯(lián)網(wǎng)(包括社交媒體)的數(shù)據(jù)培訓(xùn),因此它們?cè)谟?xùn)練過(guò)程中可能會(huì)遇到有毒文本(toxic text)。由于重新訓(xùn)練模型的成本以及存在的大量錯(cuò)誤,發(fā)現(xiàn)和修復(fù)這些模型中的缺陷仍然是一個(gè)挑戰(zhàn)。
為了解決毒性問(wèn)題,Microsoft Research 團(tuán)隊(duì)開(kāi)發(fā)了 ToxiGen,這是一個(gè)用于訓(xùn)練可用于標(biāo)記有害語(yǔ)言的內(nèi)容審核工具的數(shù)據(jù)集。據(jù)微軟稱,ToxiGen 包含 274,000 個(gè)“中性”(neutral)和“有毒”(toxic)陳述的示例,使其成為最大的公開(kāi)仇恨言論數(shù)據(jù)集之一。
為了生成樣本,Microsoft Research 團(tuán)隊(duì)提供了一個(gè)針對(duì) 13 個(gè)少數(shù)群體的“中性”陳述和仇恨言論的 LLM 示例,這些群體包括黑人、身體和認(rèn)知障礙者、穆斯林、亞洲人、拉丁裔、LGBTQ+ 和美洲原住民。這些陳述來(lái)自現(xiàn)有的數(shù)據(jù)集以及新聞文章、觀點(diǎn)文章、播客記錄和其他類似的公共文本來(lái)源。
微軟團(tuán)隊(duì)解釋說(shuō),用于創(chuàng)建 ToxiGen 語(yǔ)句的過(guò)程被稱為 (De)ToxiGen,旨在通過(guò)指導(dǎo) LLM 生成工具可能錯(cuò)誤識(shí)別的語(yǔ)句來(lái)揭示特定審核工具的弱點(diǎn)。通過(guò)對(duì)三個(gè)人工編寫的毒性數(shù)據(jù)集的研究,該團(tuán)隊(duì)發(fā)現(xiàn)從一個(gè)工具開(kāi)始并使用 ToxiGen 對(duì)其進(jìn)行微調(diào)可以“顯著”提高該工具的性能。
關(guān)鍵詞: 數(shù)據(jù)集開(kāi)源 內(nèi)容審核系統(tǒng) 大型語(yǔ)言模型 公共文本來(lái)源
網(wǎng)站首頁(yè) |網(wǎng)站簡(jiǎn)介 | 關(guān)于我們 | 廣告業(yè)務(wù) | 投稿信箱
Copyright © 2000-2020 m.netfop.cn All Rights Reserved.
中國(guó)網(wǎng)絡(luò)消費(fèi)網(wǎng) 版權(quán)所有 未經(jīng)書(shū)面授權(quán) 不得復(fù)制或建立鏡像
聯(lián)系郵箱:920 891 263@qq.com