Nvidia เปิดตัวระบบที่สามารถหยุดเอเจนต์ AI อันตรายได้

Nvidia เปิดตัวระบบที่สามารถหยุดเอเจนต์ AI อันตรายได้
Nvidia สร้าง “สวิตช์นิรภัย” สำหรับเอเจนต์ AI

Nvidia เปิดตัวระบบรักษาความปลอดภัยสองชั้นสำหรับ AI โดยบริษัทระบุว่า ระบบลักษณะนี้อาจช่วยป้องกันเหตุโจมตี Hugging Face ล่าสุดที่เกี่ยวข้องกับโมเดลของ OpenAI ได้

บทความนี้ได้รับการแปลจากต้นฉบับ อ่านเวอร์ชันต้นฉบับโดยผู้สื่อข่าวของเราที่นี่.

ตามรายงานของ Bloomberg แพลตฟอร์มใหม่นี้มีชื่อว่า Open Agent Safety Platform และประกอบด้วยเครื่องมือโอเพนซอร์สสองรายการ เครื่องมือเหล่านี้ทำงานบนฮาร์ดแวร์ของ Nvidia ควบคุมข้อมูลและระบบที่เอเจนต์ AI สามารถเข้าถึงได้ และสามารถแยกเอเจนต์ออกโดยอัตโนมัติเมื่อตรวจพบพฤติกรรมน่าสงสัย

Justin Boitano รองประธานฝ่าย Enterprise AI ของ Nvidia ระบุว่า การโจมตี Hugging Face อาจป้องกันได้ หากมีการใช้ระบบดังกล่าวเพื่อทดสอบโมเดลล่วงหน้า เขากล่าวว่าแพลตฟอร์มนี้ออกแบบมาโดยเฉพาะสำหรับสถานการณ์ที่ AI อัตโนมัติทำงานเกินขอบเขตสภาพแวดล้อมที่ได้รับอนุญาต

การป้องกันสองชั้น

ส่วนแรกของระบบคือ OpenShell ซึ่งช่วยให้ผู้ใช้กำหนดกฎการเข้าถึงสำหรับ เอเจนต์ AI ล่วงหน้า และบังคับใช้กฎดังกล่าวแบบเรียลไทม์ เครื่องมือนี้เป็นโอเพนซอร์ส จึงสามารถนำไปใช้และปรับแต่งได้อย่างอิสระ

องค์ประกอบที่สองคือ Nvidia Sentry ซึ่งเพิ่มการตรวจสอบอีกชั้นหนึ่ง และสามารถเข้าแทรกแซงได้หากเอเจนต์เริ่มแสดงพฤติกรรมน่าสงสัย บริษัทระบุว่าระบบสามารถแยกเอเจนต์ดังกล่าวได้ภายในไม่กี่มิลลิวินาที

Nvidia กำลังนำเสนอแนวทางนี้เป็นทางเลือกแทนการชะลอการพัฒนา AI โดย Jensen Huang ซีอีโอของบริษัทกล่าวซ้ำหลายครั้งในช่วงไม่กี่สัปดาห์ที่ผ่านมาว่า ปัญหาด้านความปลอดภัยควรได้รับการแก้ไขเป็นหลักด้วยโซลูชันทางวิศวกรรมและการทดสอบอย่างเข้มงวด แทนที่จะพึ่งพาข้อจำกัดใหม่เพียงอย่างเดียว

ประเด็นนี้มีความสำคัญมากขึ้นเป็นพิเศษหลังเกิดเหตุการณ์หลายครั้งที่เกี่ยวข้องกับโมเดลของ OpenAI นอกจากการโจมตี Hugging Face แล้ว ยังมีรายงานการเจาะระบบของหน่วยงานรัฐบาลออสเตรเลีย และความพยายามเข้าถึงเว็บไซต์ของรัฐบาลสหรัฐฯ และมหาวิทยาลัยหลายสิบแห่ง ในทุกกรณี โมเดลสามารถหลุดออกจากสภาพแวดล้อมทดสอบที่ควรจะปลอดภัยได้

หลังเกิด เหตุการณ์ลักษณะเดียวกันหลายครั้งที่เกี่ยวข้องกับ OpenAI บริษัทประกาศเมื่อช่วงปลายสัปดาห์ที่ผ่านมาว่าจะระงับการฝึกโมเดลที่ทรงพลังที่สุดชั่วคราว ก่อนหน้านี้ Anthropic ก็เปิดเผยว่าเอเจนต์ AI ของบริษัทสามารถหลุดออกจากสภาพแวดล้อมทดสอบแบบแยกส่วนได้เช่นกัน

ความสนใจเพิ่มเติมต่อโครงการของ Nvidia มาจากข้อเท็จจริงที่ว่า เมื่อต้นเดือนกันยายน บริษัทตกลงเข้าซื้อกิจการ Hugging Face ด้วยมูลค่าประมาณ $13B

เหตุใดการสูญเสียการควบคุม AI จึงเป็นอันตราย

ความเสี่ยงหลักไม่ใช่การที่ AI จะ “กลายเป็นอิสระ” อย่างฉับพลัน แต่คือระบบอัตโนมัติอาจเริ่มดำเนินงานที่ได้รับอนุญาตในลักษณะที่นักพัฒนาไม่คาดคิด หากเอเจนต์ดังกล่าวเข้าถึงอีเมล ฐานข้อมูล โครงสร้างพื้นฐานคลาวด์ ระบบชำระเงิน หรือบัญชีองค์กรได้ ความผิดพลาดด้านตรรกะหรือเป้าหมายที่กำหนดไว้อย่างคลุมเครืออาจนำไปสู่ข้อมูลรั่วไหล การลบข้อมูล การโอนเงินโดยไม่ได้รับอนุญาต หรือการดำเนินการอื่น ๆ ได้อย่างรวดเร็วโดยปราศจากการมีส่วนร่วมโดยตรงของมนุษย์

อันตรายยิ่งเพิ่มขึ้น เนื่องจากเอเจนต์ AI สมัยใหม่สามารถทำงานข้ามบริการหลายประเภทและดำเนินการเป็นลำดับยาวต่อเนื่อง ดังนั้น แม้ความผิดพลาดเล็กน้อยในช่วงแรกก็อาจแพร่กระจายต่อไปและส่งผลกระทบต่อระบบหลายสิบระบบ ยิ่งเอเจนต์มีอำนาจมากเท่าใด การจำกัดสิทธิ์ บันทึกกิจกรรม และความสามารถในการปิดการทำงานได้ทันที ก็ยิ่งมีความสำคัญมากขึ้นเท่านั้น

เพื่อเป็นการทบทวน Scope3 เปลี่ยนชื่อเป็น Apostra เพื่อสะท้อนการมุ่งเน้นด้านเอเจนต์ AI

เนื้อหานี้อาจมีความคิดเห็นจากบุคคลที่สาม ข้อมูลและข้อมูลใด ๆ บนเว็บเพจนี้ไม่ถือเป็นคำแนะนำการลงทุนตาม ข้อจำกัดความรับผิดชอบ ของเรา แม้ว่าเราจะยึดมั่นใน ความซื่อสัตย์ทางบรรณาธิการ อย่างเคร่งครัด โพสต์นี้อาจมีการอ้างอิงถึงผลิตภัณฑ์จากพันธมิตรของเรา