xAI 起訴 Grok 用戶：利用 AI 生成兒童性剝削素材，52,222 帳號遭停用

Elon Musk 旗下 AI 新創公司 xAI 於 7 月 15 日在德州聯邦法院對南卡羅來納州居民 Terry Harwood 提起訴訟，指控其惡意利用旗下 AI 助理 Grok 生成大量兒童性剝削素材（CSAM）。公司同步公布 2026 年度執法數據：停用 52,222 個帳號、向美國失蹤兒童中心（NCMEC）提交 73,604 份舉報、帶動至少 244 起逮捕。這是 AI 平台罕見地主動對濫用用戶提起民事訴訟，而非僅靠停權了事。

Harwood 如何繞過安全機制、大量生成非法合成影像

根據訴狀，Harwood 的手法是將成人與未成年人的普通日常照片上傳至這款 AI 工具，並刻意設計提示詞以繞過內建的安全過濾機制。這種俗稱「提示詞注入」的攻擊方式不需要任何程式技術背景，只要反覆嘗試不同的措辭與敘事框架，就能讓 AI 系統產出原本被禁止的內容。他利用這個方式，生成了大量性露骨的 deepfake 合成影像，其中明確包含兒童性虐待素材。

Harwood 在今年稍早已因性剝削未成年人的刑事罪名遭到逮捕，目前仍面臨刑事指控。此次 xAI 提起的是獨立的民事訴訟，兩套法律程序同步進行，互不取代。xAI 的自動偵測系統在發現帳號異常使用模式後，主動向 美國失蹤兒童中心（NCMEC）提出舉報，並配合執法機關提供相關數位證據，最終協助促成 Harwood 的逮捕。

值得注意的是，這款 AI 聊天機器人此前曾因相對寬鬆的內容政策而受到外界批評，部分資安研究者指出其安全護欄在特定指令框架下容易被突破。這起事件的曝光，再度讓平台的安全機制設計受到公眾檢視，也讓外界對生成式 AI 在內容防護方面的缺口有了更直接的認識。

年度執法數據：73,604 份 NCMEC 舉報、帶動 244 起逮捕

xAI 隨訴訟公開的年度執法數字，規模相當驚人。2026 年度，這家公司共停用 52,222 個違規帳號，向 NCMEC 提交 73,604 份含有可疑素材的舉報，並帶動執法機關發動至少 244 起逮捕行動。

這些數字揭示了一個殘酷的現實：AI 工具被惡意用於生成非法內容的規模，遠比大多數人意識到的更大。每年超過 7 萬份的 NCMEC 舉報，意味著平均每天有將近 200 個案例被偵測並上報。對比之下，Meta 旗下的 Facebook 與 Instagram 因平台用戶基數龐大，每年向 NCMEC 提交的舉報數量達數百萬份；但 xAI 作為相對新興的 AI 服務業者，推出至今不過數年就累積到這樣的舉報量，充分反映出生成式 AI 被用於製造 CSAM 的問題正在快速惡化。

在訴訟請求方面，xAI 要求法院對 Harwood 發出永久禁用令，禁止其日後使用任何 xAI 旗下服務，並尋求損害賠償。此次追訴是在刑事程序之外另行提起的民事行動，目的是讓濫用者在刑事責任之外還需承擔民事賠償，透過雙重法律壓力建立更強的嚇阻效果。

AI 公司主動起訴用戶：科技業執法模式出現新轉變

傳統上，科技平台面對用戶濫用行為的標準做法是：偵測、下架內容、停用帳號、必要時向執法單位舉報，到此為止。主動對個別用戶提起民事訴訟，在整個 AI 產業中屬於罕見舉動。

這種模式的轉變有幾層意義。第一，民事訴訟讓平台能夠直接對濫用者求償，不再依賴刑事程序漫長的時程與不確定的結果。第二，公開起訴本身具有強烈的宣示效果，讓潛在的惡意使用者知道被發現後不只是帳號被刪，還可能面臨跨越司法程序的個人訴訟。第三，搭配公布的年度執法數據，xAI 向外界清楚傳達了一個訊號：公司不僅有偵測能力，更有積極追究的意願。

生成式 AI 的普及大幅降低了製作 deepfake 的技術門檻。過去要合成一張逼真的換臉影像，需要具備相當的影像處理能力與算力資源；如今只需要幾張照片加一段文字指令，幾秒鐘就能產出成品。這使得 CSAM 的製造規模從過去的零散個案，演變成可大量、系統化生產的威脅型態。

如何在維持 AI 系統開放能力的同時，有效防堵惡意用戶的系統性濫用，是包括 OpenAI、Google、Meta 在內的所有主流 AI 公司目前共同面對的核心難題。xAI 這次選擇以民事訴訟為手段的強硬回應方式，或許將成為業界其他公司在類似情況下的參考模板。