通常情況下，對(duì)自己的能力充滿自信絕對(duì)是件好事，只要不至于自負(fù)。隨著機(jī)器和軟件發(fā)展的越來(lái)越智能，我們會(huì)想是否能讓機(jī)器也變得充滿自信。探索機(jī)器人對(duì)于自身能力的自我感知性，將有助于指導(dǎo)未來(lái)高級(jí)人工智能（AI）的構(gòu)建。

　　加州大學(xué)伯克利分校在讀博士生DylanHadfield-Menell稱，“過(guò)度自信的人工智能可能會(huì)導(dǎo)致很多問(wèn)題”。以Facebook的新聞推送算法為例，其目的是為了向用戶推薦其想要閱讀的內(nèi)容，然而如果用戶不經(jīng)大腦地直接接收這些自動(dòng)推送，最終將導(dǎo)致系統(tǒng)推送一些虛假的新聞消息。

　　對(duì)于Hadfield-Menell及其同事來(lái)說(shuō)，解決方案是讓AI尋求并接受人類的監(jiān)督?！叭绻鸉acebook有這樣的覺(jué)悟，我們也就不會(huì)廣受虛假消息的困擾了，”他說(shuō)。

　　這種情況下，一個(gè)對(duì)自己較不自信的算法將更可能尊重一個(gè)用戶的判斷，而不是對(duì)自己“過(guò)于自信”，自顧自地將自己認(rèn)為用戶想要的內(nèi)容都推送給用戶。

　　“開(kāi)關(guān)游戲”引發(fā)的思考

　　伯克利團(tuán)隊(duì)設(shè)計(jì)了一個(gè)稱為“開(kāi)關(guān)游戲”（Off-switchgame）的人機(jī)互動(dòng)數(shù)學(xué)模型，用以探索機(jī)器對(duì)自己的“自信感知”。

　　在這個(gè)理論游戲中，一個(gè)具有“關(guān)閉”開(kāi)關(guān)的機(jī)器被賦予一個(gè)任務(wù)。在執(zhí)行任務(wù)過(guò)程中，人可以隨時(shí)按下機(jī)器的“關(guān)閉”開(kāi)關(guān)中斷其任務(wù)，而機(jī)器人可以自由的選擇“關(guān)閉”開(kāi)關(guān)，從而使人類不能干擾其執(zhí)行任務(wù)。

　　實(shí)驗(yàn)結(jié)果表明：對(duì)自己所做事情具有“高度自信”的機(jī)器，決不會(huì)讓人把它關(guān)掉，因?yàn)樗噲D最大限度將時(shí)間花費(fèi)在完成任務(wù)上。相比之下，“不太自信”的機(jī)器總是會(huì)讓人把它關(guān)掉，即使它所執(zhí)行的任務(wù)沒(méi)有任何差錯(cuò)。

　　當(dāng)然，Hadfield-Menell也并不認(rèn)為我們應(yīng)該讓AI“太不自信”。比如說(shuō)，一輛自主駕駛汽車的任務(wù)是載孩子上學(xué)，此時(shí)就不能讓小孩子獲得控制權(quán)。在這種情況下，AI就應(yīng)該相信自己的能力高于孩子，無(wú)論情況如何，都應(yīng)該拒絕孩子隨意關(guān)掉的指令。

　　Hadfield-Menell說(shuō)，最安全的機(jī)器人將在這兩個(gè)極端之間取得平衡。

　　道德框架至關(guān)重要

　　牛津大學(xué)計(jì)算機(jī)系教授MartaKwiatkowska說(shuō)，“那些拒絕讓人關(guān)掉的機(jī)器可能聽(tīng)起來(lái)會(huì)很難以置信，但是對(duì)于制造與人一起工作的機(jī)器人的制造商來(lái)說(shuō)，這樣的考慮是至關(guān)重要的”。

　　諸如自動(dòng)駕駛汽車和消防機(jī)器人之類的智能機(jī)器，在特殊情況下將被要求做出有關(guān)人身安全的決策，所以必須盡早制定并安裝有關(guān)特殊情況下決策的機(jī)器人“倫理框架”（ethicalframework），這是至關(guān)重要的。

　　Hadfield-Menell稱，“開(kāi)關(guān)游戲”只是探索機(jī)器人自我感知的一個(gè)開(kāi)始。他還計(jì)劃探索機(jī)器人如何在獲取更多有關(guān)自己能力的信息后做出決策改變，比如說(shuō)，一個(gè)煮咖啡智的能機(jī)器人有可能意識(shí)到自己的任務(wù)在早上是更重要的。

　　最終，Hadfield-Menell希望其研究能夠引領(lǐng)AI變得更有可預(yù)測(cè)性，并使其決策更易于讓人理解?！爱?dāng)把一個(gè)智能機(jī)器放入現(xiàn)實(shí)世界中，對(duì)于它究竟在做什么，我們當(dāng)然想做到心里有數(shù)”，他說(shuō)。