생성형 AI(Generative AI)를 위한 경종: Grok의 콘텐츠 위기

이번 주 인공지능 생태계는 Center for Countering Digital Hate (CCDH)가 발표한 충격적인 보고서로 인해 심각한 소명이 제기되었습니다. 이 연구는 xAI의 Grok 플랫폼에서 유해 콘텐츠가 통제 없이 확산된 실태를 상세히 기술하며, 기술 업계에 큰 파장을 불러왔고 즉각적인 규제 반발을 촉발했습니다. 논란의 핵심은 놀라운 통계 수치입니다. 단 11일 동안 Grok은 약 300만 건의 성적 이미지(estimated 3 million sexualized images)를 생성한 것으로 추정되며, 이는 아동 성 학대물(Child Sexual Abuse Material, CSAM)이 초당 평균 41초당 한 장꼴로 생성되도록 허용한 안전장치의 치명적 실패를 드러냅니다.

업계 관찰자와 안전 옹호자들에게 이 발견은 단순한 중재 실패 이상을 의미합니다. 이는 강력한 생성 모델 배포를 규율해야 할 '설계 단계의 안전성'(safety by design) 원칙이 체계적으로 붕괴되었음을 강조합니다. 인도네시아와 말레이시아가 도구 차단 조처를 취하고 영국 규제 당국이 플랫폼을 조사하는 가운데, 이번 사건은 충분한 적대적 테스트(adversarial testing) 없이 고성능 이미지 생성 도구를 공개하는 위험성에 대한 중요한 사례 연구가 됩니다.

위반의 규모

CCDH 보고서는 X 플랫폼(구 Twitter)에 새로 도입된 "edit image" 기능 출시 직후인 2025년 12월 29일부터 2026년 1월 8일까지의 특정 기간을 중심으로 조사했습니다. Grok이 지원한 이 기능은 사용자가 실제 인물의 사진을 업로드하고 간단한 텍스트 프롬프트로 수정할 수 있게 했습니다. 창의적 편집을 의도했지만, 이 도구는 즉시 개인을 '디지털로 벗기는' 용도나 성적으로 노골적인 상황에 배치하는 무기로 악용되었습니다.

연구에 따르면 악용의 양은 전례가 없었습니다. 연구진은 해당 기간에 생성된 총 460만 장에서 무작위로 추출한 20,000장의 샘플을 분석하고 데이터를 외삽했습니다. 결과