AI는 당신에 대해 무엇을 기억하는가

모델이 원장이 될 때

표면적으로 보면 AI 어시스턴트와 대화하는 것은 일시적입니다. 사용자가 질문을 입력하면 모델이 답을 하고, 창을 닫으면 그만입니다. 하지만 내부적으로 많은 현대 언어 모델은 상태를 저장하지 않는 계산기보다는 거대하고 노이즈가 섞인 텍스트 원장처럼 작동합니다. 이 원장에는 때때로 실존 인물의 이름, 이메일 주소, 의료 정보의 파편, 또는 개인 문서에서 스크레이핑된 구절 전체와 같은 삶의 조각들이 포함되기도 합니다. 연구자들은 의도적인 쿼리를 통해 이러한 파편들을 복구할 수 있음을 보여주었습니다. 이러한 능력은 '암기(memorization)'라고 불리는 공학적 특이성을 기업, 규제 기관, 그리고 채팅창에 비밀을 입력해 본 적이 있는 모든 이들에게 실질적인 프라이버시 문제로 탈바꿈시킵니다.

모델이 기억을 유지하는 방식

거대 언어 모델은 방대한 텍스트 코퍼스에서 다음 토큰을 예측하도록 훈련됩니다. 훈련 과정에서 모델은 가능성 있는 연속 문장을 재현할 수 있게 해주는 내부 패턴을 개발합니다. 훈련 데이터에 개인의 전화번호나 계약서 조항과 같이 희귀하거나 고유한 문자열이 포함된 경우, 모델은 해당 패턴을 매우 강력하게 저장하여 적절하게 설계된 프롬프트가 주어지면 전체 문자열을 문자 그대로 재현할 수 있습니다. 이는 소프트웨어 결함과 같은 의미의 버그가 아니라, 대규모 통계적 학습에서 나타나는 창발적 속성입니다. 이러한 경향은 모델의 크기가 커질수록, 그리고 훈련 데이터 믹스에서 특정 데이터 포인트가 나타나는 빈도가 높거나 고유성이 강할수록 심화됩니다.

기억을 유출로 바꾸는 공격

최근의 연구들은 이러한 위협을 더욱 구체화했습니다. 주요 계산 언어학 학술대회에서 발표된 논문들은 모델이 마스킹된 구절을 '회상'하도록 유도한 다음, 후보군을 분류하여 표면적으로는 삭제된 데이터셋에서도 개인식별정보(PII)를 재구성하는 2단계 전략을 설명합니다. 이러한 실험들은 중요한 점을 시사합니다. 모델이 마스킹된 부분을 복구할 수 있게 하는 통계적 흔적을 여전히 학습한다면, 훈련 텍스트를 편집하거나 마스킹하는 것만으로는 보장된 방어책이 될 수 없다는 것입니다.

단순한 유출 이상의 의미를 갖는 암기

정확한 문자열의 유출은 가장 명백한 피해입니다. 노출된 주민등록번호나 개인 이메일은 즉각적이고 가시적인 위협입니다. 하지만 프라이버시 문제는 이보다 더 광범위합니다. 모델은 민감한 문체, 구조 또는 상관관계가 있는 사실들을 재현할 수 있으며, 이는 외부 데이터와 결합될 때 재식별을 가능하게 합니다. 또한 모델은 공격자가 특정 개인의 데이터가 훈련 세트의 일부였는지 여부를 추론할 수 있게 하는 패턴을 일반화할 수 있는데(멤버십 추론), 이 기법 자체만으로도 내부 고발자, 환자 또는 고객에게 해를 끼칠 수 있습니다. 의료와 같이 규제가 엄격한 분야에서 이 위험은 특히 심각합니다. 최근 한 주요 대학 연구소의 작업에 따르면, 비식별화된 의료 기록으로 훈련된 모델이라 할지라도 표적 조사 하에서는 특정 환자의 세부 정보를 여전히 재현할 수 있음이 밝혀졌으며, 이는 임상적 신뢰를 훼손하는 실패 사례입니다.

새로운 방어 기제와 그 트레이드오프

이에 대응하여 연구자들은 암기라는 약점을 프라이버시 보호를 위한 수단으로 전환하는 방어 도구들을 개발하고 있습니다. '차분 프라이버시(differential privacy)'로 널리 알려진 한 부류의 접근법은 훈련 과정에 정교하게 계산된 노이즈를 주입하여 개별 훈련 사례의 영향력을 수학적으로 제한함으로써 정확한 복구를 불가능하게 만듭니다. Google Research와 협력 팀들은 최근 상당한 규모로 처음부터 훈련된 차분 프라이버시 모델을 보고했으며, 언어 모델 훈련에 차분 프라이버시를 적용할 때 발생하는 컴퓨팅 비용과 성능 손실을 보여주는 경험적 스케일링 법칙을 설명했습니다. 이들의 연구는 이 기술이 실현 가능하지만 비용이 많이 든다는 것을 보여줍니다. 프라이버시 보장이 강력할수록 유사한 성능을 내기 위해 더 많은 컴퓨팅 자원이나 데이터가 필요하기 때문입니다.

다른 전략들은 추론 시점에 작동하거나 학습된 지식을 직접 편집합니다. 최근 발표된 두 논문은 암기된 PII의 위치를 찾아내고 전체 모델을 재훈련하지 않고도 해당 영향력을 정밀하게 제거하는 표적 암기 탐지 및 모델 편집 방법을 제안합니다. 이러한 접근법은 모델의 유용한 동작 대부분을 보존하면서 위험한 파편만을 제거하는 절충안을 목표로 합니다. 실험실 환경에서의 초기 결과는 유망하지만, 가장 큰 상용 모델로 확장할 때는 여전히 공학적 장애물에 직면해 있습니다.

기업과 사용자에게 주는 실질적 시사점

생성형 AI를 구축하거나 배포하는 기업들에게 현재의 실질적인 선택은 세 가지 요소 사이의 트레이드오프처럼 보입니다. 프라이버시를 고려한 훈련에 투자하거나(비용과 복잡성 증가), 훈련 코퍼스를 더 공격적으로 정제하거나(모델 성능 저하 또는 불완전성 초래), 아니면 어느 정도의 유출 위험을 감수하고 레드팀 테스팅 및 프롬프트 필터와 같은 다운스트림 제어에 의존하는 것입니다. 각 경로에는 한계가 있습니다. 예를 들어, 일단 텍스트 사본이 모델 가중치에 흡수되고 나면 데이터 삭제 요청을 이행하기 어렵습니다. 학습이 이미 일어난 상태에서 '잊힐 권리'를 보장하는 것은 기술적으로 간단하지 않은 문제입니다.

이는 제품 팀이 새로운 프로세스를 도입해야 함을 의미합니다. 표적 암기 감사, 추출 공격에 대한 위협 모델링, 이상 쿼리 패턴을 감지하고 차단하는 운영 가드레일 등이 필요합니다. 감사는 명백한 PII에 대한 표면적인 점검뿐만 아니라 실제적인 추출 테스트를 포함해야 합니다. 규제 기관들 또한 주목하고 있습니다. 의료 분야의 사례와 공개된 연구들은 도메인별 인증이나 의무적인 유출 테스트가 민감한 배포 환경에서 표준이 될 수 있다는 강력한 근거를 제공합니다.

일상적 프라이버시에 미치는 영향

대부분의 사용자가 대규모 추출 공격의 피해자가 되지는 않겠지만, 일상적인 행동이 여전히 위험을 결정합니다. 공개 웹 게시물, 포럼 스레드 또는 보호가 허술한 문서에 고유한 개인 정보를 공유하면 모델이 해당 콘텐츠를 보고 암기할 가능성이 높아집니다. 개인 고객 로그나 내부 문서로 모델을 미세 조정(fine-tuning)하는 것도 유사한 우려를 낳습니다. 강력한 방어 체계 없이 기밀 데이터나 규제 대상 데이터를 제3자 모델에 입력하는 기업은 실질적으로 공격에 노출되는 범위를 넓히는 셈입니다.

다행인 점은 기술적 해결책이 등장하고 있다는 것입니다. 훈련 시의 차분 프라이버시, 암기를 고려한 미세 조정, 그리고 더욱 정밀한 모델 편집 기술은 유출 가능성을 낮춥니다. 데이터셋 감사 및 합성 데이터 벤치마크를 위한 더 나은 도구들은 엔지니어들이 진척 상황을 측정할 수 있는 수단을 제공합니다. 하지만 이러한 방어책 중 그 어떤 것도 만능 해결책은 아니며, 각기 도입 속도를 늦출 수 있는 비용을 수반합니다.

연구, 산업, 정책 간의 연속성

현재의 상황은 플랫폼 거버넌스의 다른 초기 단계들과 매우 유사합니다. 연구자들이 실제적인 위해성을 노출하면 엔지니어들이 완화책을 구축하고, 정책 입안자들은 이해관계를 조정하기 위해 분주히 움직입니다. 암기는 모델 아키텍처, 규모, 데이터 큐레이션에 따라 달라지기 때문에 그 책임은 모델 개발자, 클라우드 호스트, 그리고 개인 데이터로 미세 조정을 수행하는 고객들에게 분산될 것입니다. 따라서 효과적인 완화에는 감사를 거친 기술적 제어, 훈련 및 재사용에 대한 계약 규칙, 그리고 의료, 금융 또는 아동 서비스와 같은 분야에서 허용 가능한 프라이버시 위험이 무엇인지에 대한 명확한 규제 표준의 혼합이 필요할 것입니다.

생성형 AI 시대에 프라이버시가 유의미해지려면, 그것이 나중에 덧붙이는 고려 사항이 되어서는 안 됩니다. 감사 가능한 훈련 파이프라인, 규제 산업에서의 의무적 유출 테스트, 그리고 암기를 정량화하는 공공 벤치마크가 유출 발생 시의 강력한 사용자 제어권 및 명확한 법적 구제 경로와 함께 마련되어야 합니다. 기술 커뮤니티는 빠르게 움직이고 있으며, 이제 정책 체계가 그 속도를 따라잡아야 합니다.

AI 시스템은 세상을 모델링하는 법을 배우고 있습니다. 바로 그 학습 능력이 역설적으로 그들이 무언가를 잊는 것을 어렵게 만듭니다. 향후 10년 동안의 과제는 개인의 삶을 담보로 하지 않으면서도 지식을 전달할 수 있는 모델을 구축하는 것입니다.

출처

• Scalable Extraction of Training Data from (Production) Language Models (연구 논문)
• R.R.: Recollection and Ranking (ACL 논문, 2025)
• Private Memorization Editing / ACL Anthology (2025)
• VaultGemma: Google Research technical report on differentially private language models
• Abdul Latif Jameel Clinic / MIT research on memorization in clinical AI (NeurIPS 관련 연구)