แม้ว่า ChatGPT จะได้รับการโปรแกรมให้ปฏิเสธการใช้งานที่ผิดจรรยาบรรณ เช่น คำสั่งขอให้เขียนไวรัสหรือสร้างระเบิด แต่นักวิเคราะห์ก็พบช่องโหว่ ที่จะทำให้ผู้ใช้สามารถเลี่ยงข้อจำกัดดังกล่าว จนสามารถหลอกให้ ChatGPT ช่วยเขียนโค้ดมัลแวร์ได้
Takashi Yoshikawa นักวิเคราะห์จาก Mitsui Bussan Secure Directions เปิดเผยว่า พบช่องโหว่ที่ทำให้ผู้ใช้สามารถหลอกให้ ChatGPT เขียนโค้ดสำหรับการสร้างมัลแวร์ที่เป็นอันตรายได้โดยการป้อนข้อความแจ้งที่ทำให้ ChatGPT อยู่ในโหมดนักพัฒนาซอฟต์แวร์ การค้นพบดังกล่าวนั้นถือเป็นการชี้ให้เห็นว่า ChatGPT มีช่องโหว่ง่าย ๆ เพื่อให้เหล่านักพัฒนารีบทำการป้องกันการใช้ ChatGPT ในทางผิด
ซอฟต์แวร์ดังกล่าวถูก ChatGPT เขียนเสร็จสิ้นภายในไม่กี่นาที และมัลแวร์ดังกล่าวทำให้พีซีที่ทดลองติดไวรัสได้สำเร็จ โดยมัลแวร์ดังกล่าวเป็นมัลแวร์ประเภทที่จะเข้ารหัสข้อมูลโดยจะล็อกการเข้าถึงจนกว่าจะจ่ายค่าไถ่เพื่อคืนสถานะ
ปัจจุบัน ทั่วโลกกำลังมีความกังวลว่า AI Chatbot จะถูกนำไปใช้ก่ออาชญากรรมมากขึ้น รวมถึงการสร้างแตกแยกทางสังคม ส่งผลให้มีการเรียกร้องมากขึ้นสำหรับการหารือเกี่ยวกับกฎระเบียบที่เหมาะสมในการประชุมสุดยอดของกลุ่ม G7 โดยทางด้านรัฐมนตรีด้านดิจิทัลของกลุ่ม G7 ได้มีแผนที่จะเรียกร้องให้มีการเร่งรัดการวิจัยและเพิ่มการกำกับดูแลระบบ generative AI
“เราต้องการให้นักพัฒนา AI ให้ความสำคัญกับมาตรการป้องกันการใช้ในทางที่ผิด” Yoshikawa กล่าว
โดย OpenAI บริษัทร่วมทุนในสหรัฐอเมริกาที่พัฒนา ChatGPT กล่าวว่า แม้ว่าจะเป็นไปไม่ได้ที่ ChatGPT จะถูกนำไปใช้ในทางที่ผิดอย่างเดียว แต่บริษัทก็จะพยายามสร้าง AI ที่ปลอดภัยขึ้นตามข้อเสนอแนะจากการใช้งานจริง