IT업계 핫 이슈! 생성형 AI 보안 위험, 어떻게 관리할까?

안녕하세요, 프리모아입니다.

작년부터 지금까지 계속 화두가 되고 있는 IT 기술 분야가 있다면 무엇일까요?

 

바로, 생성형 AI입니다.

OpenAI의 챗gpt, 구글의 바드, 그리고 최근엔 네이버에서도 Cue: 라는 생성형 AI를 출시했습니다. 그만큼 일상적으로, 업무적으로 사용자가 늘었을 뿐만 아니라 기업에서도 유의미한 비즈니스 모델로 생각하고 있는 것 같습니다.

 

사실 개인적인 이유로 생성형 AI를 활용할 때는 개인정보에 대해 유의하며 사용하지만, 업무 목적으로 활용할 때는 사람들이 업무자동화와 효율성을 위해 입력 데이터에 대해 큰 고민 없이 작성하는 경우가 많습니다.

 

때문에 생성형 AI는 많은 장점에도 불구하고 기업에서는 보안 문제를 야기할 수 있고, 이는 해결까지 비용이 많이 드는 문제가 될 수 있습니다. 예측할 수 있는 보안 위협에 대해 알아보고 리스크를 완화하기 위한 대응 방법을 알아보겠습니다.

 

그 전에, 생성형 AI / 인공지능 / 업무 자동화 프로그램 제작이 필요하다면?

프리모아에서 관련 포트폴리오 확인부터 하고 적합한 개발사를 매칭받아보세요!

 

 

 

---

 

ChatGPT를 포함한 다양한 생성형 AI의 빠른 도입은 기업이 비즈니스를 수행하고 고객 및 공급업체와 상호 작용하는 방식에 있어 근본적인 변화를 가져왔습니다. 마케팅 콘텐츠 작성, 고객 서비스 향상, 소프트웨어 응용프로그램을 위한 소스코드 생성, 비즈니스 보고서 작성과 같은 다양한 비즈니스 니즈를 충족하고 있습니다.

 

생성형 AI는 비용 절감, 작업 속도 및 품질 향상을 가져오기 때문에 기업과 개인 모두가 업무에 활용하는 것이 전반적인 트렌드가 되었습니다.

하지만, 모든 새로운 기술이 그렇듯, 기술의 빠른 도입은 조직의 취약한 부분을 위협하는 요인이 되어 위협이 될 수 있습니다. 보안에 신경쓰지 않고 생성형 AI 활용하는 것은 기업에 치명적인 결과를 초래할 수 있습니다.

 

 

 

 

 

기업에서 생성형 AI 활용 시 발생할 수 있는 보안 위협

 

 

기업 환경에서 생성형 AI 사용의 위험성을 이해하는 것은 이 기술의 장점을 누리면서 기업 내부 규정을 준수하고 보안 위반을 피하는 데 중요합니다. 생성형 AI 도입을 계획할 때 아래 위험 요소를 명심하시길 바랍니다.

 

Image by Freepik

 

1. 민감한 업무 정보 노출

 

기업 내부 구성원들이 ChatGPT와 다른 AI 챗봇 등을 사용함에 있어 입력하는 모든 데이터에 주의를 기울여야 합니다.

 

최근 주목받은 사례 중 하나는 삼성 직원들이 ChatGPT에 데이터 유출을 했던 사례입니다. 삼성 엔지니어는 해당 기업에서만 사용하는 기밀 코드를 ChatGPT 모델에 업로드하는 일이 있었습니다. 또한 민감한 업무 관련 정보를 포함한 회의록 생성 및 업무 보고서 요약에도 해당 서비스를 사용했습니다.

 

사실 위 사례는 수많은 민감정보 유출 사례 중 하나에 불과합니다. 수많은 기업과 직원들이 생성형 AI를 사용함으로써 비슷한 실수를 범하기 때문입니다. 내부에서만 사용하는 코드, 저작권 자료, 기업의 영업 비밀, 업무 정보 등 다양한 민감 정보를 유출 할 수 있습니다.

 

 

2. AI 도구 자체의 보안 취약성

 

생성형 AI 도구 그 자체도 완벽하지 않기 때문에 다른 소프트웨어와 마찬가지로 기업을 사이버 위협에 노출시킬 수 있는 취약점이 있습니다.

 

예를 들어, 올해 상반기 OpenAI는 ChatGPT를 일시적으로 사용 중단하여 버그를 수정했습니다. 해당 버그로 인해 일부 사용자가 다른 활성 사용자의 채팅 기록에서 채팅 제목을 볼 수 있었습니다. 또한 동시에 활동 중인 두 사용자가 있다면 새로 생성된 대화의 첫 번째 메시지를 다른 사용자의 채팅 기록에서 볼 수도 있었습니다. 

 

이 버그는 ChatGPT Plus 구독자 1.2%에 해당하는 사용자들의 결제 관련 정보(이름, 이메일 주소, 신용 카드 마지막 네 자리)를 노출 했습니다. 

 

 

3. 데이터 오염 및 도난

 

생성형 AI는 대량 데이터를 기반으로 정보를 제공합니다. 이 때 대량 데이터는 다양한 출처에서 나온 것으로 인터넷 상에 공개되어 있는 자료이거나, AI와의 대화 상호 작용에서 수집한 데이터일 수 있습니다.

 

누군가 악의적인 목적을 가지고 AI모델 개발 초기 단계에 검증되지 않은 악성 정보를 주입할 수도 있습니다. 이 과정을 거친 모델은 결과적으로 잘못된 응답 결과를 도출하게 됩니다. 때문에 이 경우 해당 생성형 AI는 데이터 무결성을 의심받게 됩니다.

 

또 다른 문제는 생성형 AI 모델을 훈련하는데 사용된 데이터 세트를 도난당하는 경우입니다. 충분한 암호화 및 데이터 액세스 제어가 없으면 모델의 훈련 데이터에 포함된 민감 정보가 노출될 수 있습니다.

 

 

 

4. 규정 준수 의무 위반

 

기업에서 AI 챗봇을 활용할 때 IT 리더는 관련 내부 규정을 위반할 위험이 어떤 것이 있는지 고려해야 합니다.

보통 위험 요소에는 아래 6가지를 확인해야 합니다. 

- 부정확한 응답 사용

 

- 개인 또는 민감한 데이터 유출

 

- 논란적 이슈에 대한 편향된 데이터 사용

 

- 지적 재산 및 저작권이 있는 결과물 사용

 

- 챗봇 사용에 관한 각 국가 내 법령 준수 여부

 

- 데이터 수집 시 발생 가능한 개인정보 노출

 

IT 리더가 해당 요소를 확인해서 사내 규정에 맞게끔 수정하든, 구성원에게 주의사항을 전달해 보안 위험이 없도록 해야 합니다.

 

 

 

 

 

 

기업에서 생성형 AI 보안 위협에 대비하는 방법

 

생성형 AI와 관련된 다양한 보안 리스크에 대응하기 위해 기업에서 실행할 수 있는 방법에 대해 소개해드리겠습니다.

 

Image by jcomp on Freepik

 

1. 데이터 분류, 익명화 및 암호화

 

기업에서 생성형 AI 모델을 훈련하거나 통합하기 전에 데이터를 분류해야 합니다. 어떤 데이터가 챗봇에게 허용될 수 있는지, AI 모델 훈련에 사용할 수 있는 데이터를 결정하고 그 외의 정보는 AI시스템과 공유하지 않아야 합니다.

 

마찬가지로, 훈련 데이터에서 민감 데이터를 익명화하여 노출되지 않도록 해야 합니다. AI 모델과 그에 대한 모든 연결에 대해 데이터를 암호화하고 강력한 보안 정책과 제어를 통해 조직의 민감 정보를 보호해야 합니다.

 

 

 

2. 직원 교육 및 내부 사용 정책 수립

 

직원 교육은 생성형 AI 관련 사이버 공격의 위험을 완화하기 위한 가장 중요한 보호 조치입니다. 생성형 AI 사용에 책임이 따르기 위해서는 조직 차원에서 직원들에게 기술 사용과 관련된 위험에 대해 교육해야 합니다.

 

조직에서는 보안 및 허용 사용 정책을 개발하여 직원들에게 일하는 동안 생성형 AI를 사용하는 데 필요한 지침을 설정할 수 있습니다. 구체적인 내용은 조직에 따라 다를 수 있어, 일반적인 차원에서 설명드리겠습니다.

 

우선 AI 생성 콘텐츠를 무조건적으로 신뢰해서는 안되며, 인간은 AI 도구가 생성한 모든 것을 검토하고 수정해야 합니다.

 

AI 사용 및 보안 정책은 챗봇에 연결할 수 있는 데이터와 그렇지 않은 데이터에 대해 구체적으로 언급해야 합니다. 예를 들어, 개발자들은 지적 재산, 저작권 자료, PII* 또는 PHI**를 AI 도구에 공급해서는 안 됩니다.

 *PII (Personally Identifiable Information) : 개인식별정보 ex. 주소, 은행 계좌번호, 전화번호 등

**PHI (Protected Health Information) : 보호된 건강정보

 

 

3. 보안을 위한 생성형 AI 도구 검토

 

생성형 AI를 운영 환경에 배포하기 전에 보안 감사 및 정기적인 침투 테스트를 수행하여 보안 취약점을 식별해야 합니다.

보안 부서에서는 AI도구에게 사이버 공격의 예제를 제공하여 공격 시도에 대응할 수 있도록 훈련 시킬 수 있습니다. 이는 해커가 조직의 AI 시스템을 성공적으로 이용할 가능성을 줄입니다.

 

 

4. 직원들의 민감 데이터 접근제어

 

기업에서 최소 권한의 원칙을 적용하여 AI 훈련 데이터 및 기본 IT 인프라에 대한 액세스 권한이 있는 직원만 데이터에 접근할 수 있도록 해야 합니다. 

 

신원 및 액세스 관리 도구를 사용하면 직원들의 액세스 자격 증명과 권한을 중앙 집중화하고 제어할 수 있습니다. 마찬가지로, 다중 인증을 구현하면 AI 시스템 및 데이터 액세스를 안전하게 보호할 수 있습니다.

 

 

5. 기본 네트워크 및 인프라 안전성 확인

 

AI 시스템을 전용 네트워크 세그먼트에 배포해야 합니다. AI 도구에 호스트 액세스를 제한하는 별도의 네트워크 세그먼트를 사용하면 보안과 가용성이 모두 향상됩니다.

 

클라우드에서 AI도구를 호스팅하는 경우 엄격한 보안 제어를 시행하고 유효한 규정 준수 인증을 적용하는 신뢰할 수 있는 클라우드 제공업체를 선택하시길 바랍니다. 클라우드 인프라로부터 모든 연결이 암호화되었는지 확인해야 합니다.

 

 

 

6. 규정 준수 사항 확인 (Ex. 공급업체 정기 감사)

 

기업에서도 AI 도입이 증가함에 따라 생성형 AI 기술과 관련된 더 많은 규정이 생길 것으로 예상하고 있습니다.

 

AI 시스템 사용 관련하여 산업에 영향을 미칠 수 있는 규제를 주의 깊게 모니터링 해야 합니다. 만약 제 3자 공급업체로부터 도입한 AI 도구를 사용하는 경우, 정기적으로 공급업체의 보안 시스템과 취약점 평가를 검토해야 합니다. 공급업체의 시스템 상 보안 취약점이 기업 내부 IT 환경에 침투하지 않도록 하는 데 도움이 됩니다.

 

 

 

 

---

 

생성형 AI의 업무적 활용에 있어 기업 내부 IT 보안 환경을 지키는 방법에 대해 알아보았습니다.

업무 효율성을 위해 IT 기술을 적극 활용하는 것도 좋지만 기업 내부 제도적인 부분과 구성원 개인의 노력이 모두 뒷받침되어야 안전하게 업무를 진행할 수 있습니다. 

 

IT 기술 도입, 서비스 구축을 하는 부분도 마찬가지 입니다. 사회적으로, 대중적으로 ‘업무 자동화 프로그램으로 효율성 높이는 게 좋대’라고 해서 빠르게 프로그램을 개발하고 도입하는 것도 중요할 수는 있지만 안정성에 대한 검토 없이 IT 개발을 진행하면 추후 큰 문제가 발생할 수 있습니다. 

 

그렇기에 프리모아라는 IT 기술 파트너를 통해 충분히 IT 컨설팅을 받고 적합한 개발사나 팀을 찾게 되는 것이랍니다.

새로운 IT 기술 도입, 현재 IT 서비스 고도화 등

IT개발 관련 고민이 있으시면 언제든 프리모아에 편하게 상담해주시길 바랍니다.