최근 원자력 등 주요 산업분야의 협력사를 대상으로 외부 해커조직의 사이버 공격이 증가하고 있어, 한수원에서는 이에 대한 위험성을 알리고 회사 관련 기술정보 탈취를 예방하고자 온라인 보안교육 이러닝 개설을 안내드리니 교육을 통하여 소속 임직원이 기술보호 인식을 제고할 수 있도록 협조하여 주시기 바랍니다.
【주요 산업분야 협력사 해킹 피해 사례 】
■ ‘원전 협력사’ 대상 전산설비의 취약점을 악용하여 보관중인 자료 일부를 절취
■ ‘건설 분야 직능단체’ 대상 악성코드를 대량 유포 후 기술자료 절취
■ ‘정보보안제품 취약점’을 악용해 기계 분야 협력업체 ‘파일절취형 악성코드’ 유포
1. 교육과정 안내
가. 과 정 명: 협력사 자료관리 보안교육 (온라인 이러닝 교육)
나. 신청방법: 한수원 인재개발원 e-Campus(https://www.e-khnp.com) 개인별 수강 신청(붙임1)
다. 교육대상: 협력사 임직원 중 한수원 관련 업무(자료) 취급 전원
라. 상세내용
- (학습) 용역 등 외주사업 자료관리 보안교육, 사이버 공격에 의한 기술유출 등 총 7개 영역
- (활용) 본 교육과정을 사내 보안교육 과정으로 활용가능 (필요시 교육이수증 발급가능)
- (운영기간) 2025. 2. 17. ∼ 12. 31.
- (문의) [시스템] ☎ 051-745-6097, [콘텐츠] ☎ 054-704-5623/5625
2. 기타 요청사항
가. 용역, 공사, 구매 등 계약종료 후 보관 중인 한수원 기술정보는 반드시 폐기 조치
나. 인터넷망에 연결된 정보시스템을 이용하여 불가피하게 한수원 자료를 송수신·저장하는 사업 수행 시 보안대책 수립 및 이행
※ 「정보보안계약특수조건」, ’24. 9. 1. 입찰 공고분부터 의무 적용 (붙임2)
다. 챗GPT, 딥시크 등 생성형 AI 서비스에 한수원 관련 비공개 업무자료 입력금지(붙임3)
붙임 1. (공문) 한수원 협력사 대상 온라인 보안교육 이수 협조요청
2. 인재개발원 이러닝 학습자 매뉴얼 (협력회사용)
3. 정보보안계약특수조건 전문 (4차 개정)
4. 챗GPT 등 생성형 AI 활용 보안 가이드라인
5. 해킹조직 기술절취 주의 관련 사이버안보 보안권고문
6. 2025년 사이버 위협 전망 보고서. 끝.
붙임 3. 정보보안계약특수조건 전문(4차 개정).pdf
PDF 첨부 본문
정보보안계약특수조건
일부개정 2024. 7. 17.
제1조(목적) 이 정보보안 계약특수조건은 한국수력원자력(주)(이하 '한수원'이라 한다.)와 계약상대자가 체결
하는 계약에 있어 계약일반조건 외에 계약 체결 시 준수하여야 할 제반 보안사항을 규정함을 목적으로
한다.
제2조(정의) ① '보안사고'란 계약상대자등이 계약에 의한 업무를 수행하는 중 내·외부자에 의한 자료유출
및 외부 공격자의 사이버 위협으로 인한 침해사고 등으로 한수원에 피해를 주는 사고를 말한다.
② '계약상대자등'이란 계약상대자 또는 계약상대자측 작업자(하수급인·재하수급인 및 각 작업자 포함)를
말한다. <개정 2024.7.17.>
③ '한수원 자료'란 다음 각 호의 어느 하나에 해당하는 자료 중 한수원의「문서관리지침」 및 「기술정
보관리지침」에 의거 사외공개에 해당되지 않는 자료를 말한다. <개정 2024.7.17.>
1. 발주자가 계약상대자등에게 제공한 자료
2. 한수원에 제출한 계약 결과물에 포함된 자료
④ '자료유출'이란 '한수원 자료'가 외부로 유출된 것을 말한다.
⑤ '정보시스템'이란 PC·서버·모바일기기 등 단말기, 보조기억매체, 전산·통신장치, 정보통신기기, 응용프
로그램 등 정보의 수집·가공·저장·검색·송수신에 필요한 하드웨어 및 소프트웨어 일체를 말한다.
⑥ '정보자산'이란 '정보시스템'을 포함한 전자정보, 문서 등을 말한다.
⑦ '휴대용저장매체'란 디스켓·CD·외장형 하드디스크·USB메모리 등 정보를 저장할 수 있는 것으로 PC
등의 정보시스템과 분리할 수 있는 기억장치를 말한다.
⑧ '업무전산망'(이하 '업무망'이라 한다)이란 한수원의 네트워크 중에서 업무용으로 사용되는 영역으로,
인터넷망과 분리된 내부전산망(이하 '내부망'이라 한다)을 말하고, 망 미분리 사업소는 인터넷서비스도 병
행 제공되는 내부전산망을 포함한다.
⑨ ‘인터넷서비스망’(이하 ‘인터넷망’이라 한다)이란 인터넷을 사용할 수 있도록 외부와 연결되어 있는 다
음 각 호의 망을 말한다. <개정 2024.7.17.>
1. ‘한수원 협력사 인터넷서비스망’(이하 '협력사 인터넷망'이라 한다)
한수원에서 계약상대자등에 제공하여 인터넷을 사용할 수 있도록 연결되어 있는 인터넷 전용망
2. ‘외부 인터넷서비스망’(이하 ‘외부 인터넷망’이라 한다)
한수원 외부에서 계약상대자등이 인터넷을 사용할 수 있도록 자체적으로 연결한 망
⑩ '출입규정 위반'이란 한수원 시설에 출입할 때 원자력시설등의 방호 및 방사능 대책법 또는 한수원 출
입관리지침에 의한 출입규정을 위반하여 출입하는 것을 말한다. <신설 2020.12.30.>
제3조(보안준수 사항 등) ① 계약상대자등은 한수원 자료가 무단으로 유출되는 것을 방지하고, 외부 위협으
로부터 한수원의 정보자산을 보호할 수 있도록 하여야 한다.
② 계약상대자등이 계약을 수행하는 과정에서 침해사고, 자료유출과 같은 보안사고가 발생하였을 경우 한
수원은 정확한 사고 발생 경위 파악을 위해 국가기관 또는 외부 전문기관에 조사를 의뢰할 수 있다. 이
경우 계약상대자등은 원활한 조사가 이루어질 수 있도록 적극 협조하여야 한다. <개정 2024.7.17.>
③ 한수원은 필요 시 계약상대자등을 대상으로 보안점검, 정보보안 관리실태 평가를 시행하고, 관련 법
령, 규정, 해당 계약조건 위반 시에는 개선조치 요구를 할 수 있으며, 계약상대자등은 이에 대해 특별한
사유가 없는 경우 협조하여야 한다.
④ 계약상대자등은 협력사 인터넷망 및 외부 인터넷망에 연결된 PC, 전자우편 등의 정보시스템에 한수원
자료를 보관하여서는 아니 된다. <개정 2024.7.17.>
⑤ 제4항에도 불구하고 계약상대자등이 한수원 사업관리 부서와 합의하여 한수원 외부에서 계약사업 수행을
위하여 불가피하게 외부 인터넷망에 연결된 PC, 전자우편 등의 정보시스템을 사용하여 한수원 자료를 저
장 및 송수신 하여야 할 경우 다음 각 호의 사항에 따라 보안관리계획을 수립하여 한수원 사업관리 부서
의 승인 후 계약기간(하자보증기간 포함) 동안 이행하여야 한다. <개정 2024.7.17.>
1. 계약사업 착수 시 다음 각 목의 관리적·기술적·물리적 보안대책이 포함된 보안관리계획을 수립 후
한수원 사업관리 부서의 승인을 받을 것
가. ‘전산설비관리대장’을 작성하여 지정된 설비에서만 한수원 자료 저장 및 송수신
나. ‘자료인계인수대장’을 작성하여 한수원 자료의 저장 및 송수신 시 이력 관리
다. 문서 암호화 또는 파일 암호설정, 다중인증 전자우편 사용, 공유폴더 사용 금지 등 자료 내용 유출 방지
라. 계정 비밀번호 설정 및 주기적 변경, 운영체제·백신 업데이트, 악성코드 점검 등 PC 보안관리
마. 자료 방치 및 휴대용저장매체 사용 통제, 사무실 출입문, 책상 서랍 및 캐비넷 시건 등 물리적 보안
바. 계약사업 수행과 관련된 정보시스템을 운영 시 악성코드·취약점 점검 및 해킹 방지 등 보안관리
2. 계약사업 수행 시 보안관리계획에 따른 보안대책 이행 및 월별 자체 점검 수행
3. 계약사업 준공 시 외부 인터넷망에 연결된 정보시스템에서 한수원 자료 완전 삭제 및 증빙 제출
⑥ 계약상대자등은 한수원 시설을 출입할 때 한수원 「출입관리지침」을 준수하여야 한다. <신설
2020.12.30.>
제4조(계약상대자등의 행위제한 등) ① 계약상대자등은 계약기간(하자보증기간 포함) 중 다음 각 호의 어느
하나에 해당하는 행위를 하여서는 아니 된다. <개정 2024.7.17.>
1. 한수원 정보시스템에 대한 구조, 데이터베이스 등의 정보 유출 및 유출시도
2. 한수원 정보시스템에 대한 해킹 및 해킹시도
3. 한수원 정보시스템 내 인위적인 악성코드 유포 및 유포시도
4. 한수원 관련 개인정보·신상정보 목록 유출 및 유출시도
5. 원전 시설사진, 비공개 항공사진·공간정보 등의 정보 유출 및 유출시도
6. 원전 설계도면 등 주요 도면 유출 및 유출시도
7. 계약 결과물에 포함되거나 발주자가 제공한 한수원 자료에 대한 외부 유출 및 유출시도
8. 계약 수행 과정에서 생산한 자료에 대한 악의적 사용 및 개인목적 사용
9. 비인가 원격작업 등을 통한 해킹 및 해킹시도 또는 자료 유출 및 유출시도
10. 인가되지 않은 작업자의 한수원 통제구역 무단 침입 및 내부 시스템 접근 및 접근 시도
11. 한수원 업무망 접속 사용자 계정관리 미흡 및 오남용으로 인한 자료유출 및 유출시도
12. 인터넷 자료공유사이트(웹하드·P2P 등)또는 메일, 메신저 등을 이용하여 자료유출 및 유출시도
13. 한수원 업무망과 계약상대자등의 인터넷망 혼용 사용으로 자료유출 및 유출시도
14. 한수원에서 인가하지 않은 휴대용저장매체 무단 사용으로 자료 유출 및 유출시도
15. 한수원 업무망 및 인터넷 사용PC의 보안관련 프로그램을 삭제하여 자료유출 및 유출시도
16. 계약상대자등의 단말기를 한수원 업무망에 무단 연결하여 해킹 및 해킹시도 또는 자료유출 및
유출시도
17. 한수원 자료가 보관된 PC 보안관리 소홀(부팅·화면보호 패스워드 미부여, 비밀번호 노출, 문서 암
호화 미처리, 시건장치 미장착 등)로 인한 자료유출 및 유출시도
18. 한수원 자료 방치, 관리소홀(캐비넷·서류함·책상 등을 개방한 채 퇴근 등)로 인한 자료유출
19. 제3조 제5항에 따른 외부 인터넷망에 연결된 정보시스템 사용 시 보안관리계획 미수립 또는 미이행
으로 인한 자료유출 및 유출시도
② 계약상대자등은 계약기간(하자보증기간 포함) 중 별표 1 “계약상대자등 보안위규 처리기준”의 “위규사
항”에서 정한 행위를 하여서는 아니 된다. <개정 2024.7.17.>
③ 계약기간(하자보증기간 포함) 중 한수원 시설에 출입하는 계약상대자등은 별표 1 「계약상대자등 보 안
위규 처리기준」의 '위규사항'에서 정한 출입규정 위반 행위를 하여서는 아니 된다.<신설 2020.12.30.>
제5조(부정당업자 지정 및 위약벌 부과 등) ① 계약상대자등이 계약의 이행과 관련하여 제3조의 보안준수
사항 또는 제4조의 행위제한 사항을 위반한 경우에는 별표 1의 “계약상대자등 보안위규 처리기준”에 따
라 조치 요구 및 별표 2 “보안 위약벌 부과기준”을 적용하여 계약상대자의 부정당업자 지정, 보안 위약
벌 부과를 할 수 있다. 다만, 계약상대자등이 그 행위를 방지하기 위하여 상당한 주의와 감독을 게을리하
지 아니한 경우에는 그러하지 아니하다. <개정 2024.7.17.>
② 계약상대자는 계약상대자등이 제3조의 보안준수 사항 또는 제4조의 행위제한 사항을 위반하여 한수원
에 손해를 입힌 경우 보안 위약벌 납부와 별도로 해당 손해를 배상하여야 한다. <개정 2024.7.17.>
제6조(등록취소 및 입찰참가 제한 등) ① 원전비리 방지를 위한 원자력발전사업자등의 관리·감독에 관한 법
률상 협력업체에 해당하는 계약상대자가 제5조 제1항에 해당하는 보안위규 행위를 한 경우 등록취소 또
는 입찰제한 등의 제재조치를 취할 수 있다. 다만, 계약상대자 측 작업자에 의한 경우에는 계약상대자가
그 행위를 방지하기 위하여 상당한 주의와 감독을 게을리하지 아니한 경우에는 그러하지 아니하다. <개
정 2024.7.17.>
② 계약상대자의 입찰제한 세부기준은 원전비리 방지를 위한 「원자력발전사업자등의 관리·감독에 관한
법률 시행령」 [별표 1] 개별기준에 따른다.<개정 2020.12.30.>
제7조(계약 해제·해지 등) 계약상대자등이 계약의 이행과 관련하여 보안 사고를 발생시켰거나 또는 제4조
제1항의 각 호 해당행위를 한 경우, 한수원은 당해 계약을 해제 또는 해지할 수 있다. 다만 보안준수의
무를 이행하였음에도 불구하고 발생한 불가항력적인 보안사고 또는 당해 계약의 이행정도 등에 비추어
해지할 경우 계약의 목적을 달성하기가 어렵다고 인정되는 경우에는 그러하지 아니할 수 있다.
제8조(하도급 계약) ① 계약상대자는 업무의 일부를 하도급하는 경우에는 하수급자도 한수원 자료가 무단으
로 유출되는 것을 방지하고 외부 위협으로부터 한수원의 정보자산을 보호할 수 있도록 하여야 하고, 이
를 위하여 다음 각 호의 내용을 하도급 계약서에 명시하여야 한다. <개정 2024.7.17.>
1. 제3조의 보안준수 사항 및 제4조의 행위제한 사항
2. 하수급자가 보안 사고를 발생시켰거나, 제4조 제1항 각 호의 어느 하나에 해당하는 행위를 한 경우
하도급 계약 해제 또는 해지 가능
3. 제3조 제2항에 따른 보안사고 발생 시 정확한 사고 발생 경위 파악을 위한 조사 협조
② 한수원은 하수급자가 보안 사고를 발생시켰거나, 제4조 제1항 각 호의 어느 하나에 해당하는 행위를
한 경우에는 계약상대자에게 하수급자의 교체를 요구할 수 있고, 이 경우 계약상대자는 정당한 사유가
없는 한 하수급자를 교체하여야 한다.
③ 위 2항에도 불구하고, 한수원은 하수급자의 교체를 요구하지 않고, 제7조에 따라 당해 계약을 해제 또
는 해지할 수 있다.
부칙
제1조(시행일) 이 계약조건(제1차 개정)은 2018년 4월 2일 입찰 공고분부터 적용한다.
제2조(다른 법령과의 관계) 이 계약조건에 명시되지 않은 사항은 원전비리 방지를 위한 원자력발전사업자
등의 관리·감독에 관한 법과 동법 시행령, 시행고시 및 국가 「정보보안 기본지침」, 「개인정보보호
법」, 한국수력원자력 「정보보안업무 세부운용지침」,「비밀세부분류지침」,「기술정보관리 지침」,「용
역사업 보안관리 지침」등 관련 법령 및 규정에 따른다.
부칙 <2020.12.30.>
제1조(시행일) 이 계약조건(제2차 개정)은 2021년 2월 1일 입찰 공고분부터 적용한다.
제2조(다른 법령과의 관계) 이 계약조건에 명시되지 않은 사항은 원전비리 방지를 위한 원자력발전사업자등
의 관리·감독에 관한 법과 동법 시행령, 시행고시 및 국가「정보보안 기본지침」, 「개인정보보호법」,
한국수력원자력 「정보보안업무 세부운용지침」,「비밀세부분류지침」,「기술정보관리 지침」,「용역사업
보안관리 지침」등 관련 법령 및 규정에 따른다.
부칙 <2022. 9.21.>
제1조(시행일) 이 계약조건(제3차 개정)은 2022년 11월 1일 입찰 공고분부터 적용한다.
제2조(다른 법령과의 관계) 이 계약조건에 명시되지 않은 사항은 원전비리 방지를 위한 원자력발전사업자등
의 관리·감독에 관한 법과 동법 시행령, 시행고시 및 국가 「정보보안 기본지침」, 「개인정보보호법」,
한국수력원자력 「정보보안업무 세부운용지침」,「비밀세부분류지침」,「기술정보관리 지침」,「용역사업
보안관리 지침」등 관련 법령 및 규정에 따른다.
부칙 <2024. 7.17.>
제1조(시행일) 이 계약조건(제4차 개정)은 2024년 9월 1일 입찰 공고분부터 적용한다.
제2조(다른 법령과의 관계) 이 계약조건에 명시되지 않은 사항은 「원전비리 방지를 위한 원자력발전사업자
등의 관리·감독에 관한 법」과 동법 시행령 및 「공기업·준정부기관 계약사무규칙」, 「국가 정보보안 기
본지침」, 「개인정보보호법」, 한국수력원자력 「정보보안업무 세부운용지침」,「비밀세부분류지침」,
「문서관리지침」,「기술정보관리 지침」,「용역 등 외주 사업 보안관리 지침」등 관련 법령 및 규정에
따른다.
[별표 1] 계약상대자등 보안위규 처리기준
계약상대자등 보안위규 처리기준
□ 심각에 해당하는 위규사항 및 처리기준은 계약사업 수행 장소 및 한수원 정보시스템 사용 여부 등과 무관하게 적용한다.
□ 중대, 보통, 경미에 해당하는 위규사항 및 처리기준은 한수원 사내 상주하거나, 한수원 정보시스템을 사용하는 경우에만 적용한다.
그럼에도 불구하고 제3조 제4항 및 제5항의 보안준수 사항을 위반할 경우 중대 위규사항으로 보아 해당 처리 기준을 적용할 수 있다.
구분 위 규 사 항 처리기준
◦ 계약상대자에 대한
부정당업자 지정 및
입찰참가자격 제한
◦위규자 및 직속 감독자
1. 제4조(계약상대자등의 행위제한 등) 제1항 각 호의 어느 하나에 해당하는
심각 등 징계
행위
◦재발 방지를 위한
조치계획 제출
◦위규자 대상
특별보안교육 실시
1. 비공개(누출금지 대상정보) 정보 관리 소홀
가. 비공개 정보를 책상 위 등에 방치
나. 비공개 정보를 휴지통ㆍ폐지함 등에 유기 또는 이면지 활용
다. 개인정보․신상정보 목록을 책상 위 등에 방치
라. 기타 비공개 정보에 대한 관리소홀
2. 사무실ㆍ보호구역 보안관리 허술
가. 통제․제한구역 출입문을 개방한 채 퇴근
나. 인가되지 않은 작업자의 한수원 정보시스템 접근
다. 통제․제한구역 내 장비·시설 등 무단 사진촬영 ◦위규자 및 직속 감독자
등 징계
3. 전산정보 보호대책 부실
가. 업무망 인터넷망 혼용사용, 보안 USB 사용규정 위반
◦재발 방지를 위한
중대 나. 웹하드·P2P 등 인터넷 자료공유사이트를 활용하여 용역사업 관련
자료 수발신 조치계획 제출
다. 개발·유지보수 시 비인가 원격작업 사용
라. 저장된 비공개 정보 패스워드 미부여 ◦위규자 대상
마. 인터넷망 연결 PC 하드디스크에 비공개 정보를 저장 특별보안교육 실시
바. 외부용 PC를 업무망에 무단 연결 사용
사. 보안관련 프로그램 강제 삭제
아. 사용자 계정관리 미흡 및 오남용(시스템 불법접근 시도 등)
4. 중요 출입규정 위반(한수원 원자력본부)
가. 타인의 출입증으로 출입
나. 출입증을 타인에게 대여 또는 양도
다. 경비인력 또는 보안관계자를 사기 또는 기망하여 출입
라. 유효기간 경과, 전출, 퇴직 등으로 효력이 다한 미반납 출입증으로 출입
구분 위 규 사 항 처리기준
1. 당사 제공 중요정책ㆍ민감 자료 관리 소홀
가. 주요 현안ㆍ보고 자료를 책상 위 등에 방치
나. 정책ㆍ현안자료를 휴지통ㆍ폐지함 등에 유기 또는 이면지 활용
2. 사무실 보안관리 부실
가. 캐비닛ㆍ서류함ㆍ책상 등을 개방한 채 퇴근
나. 출입키를 책상 위 등에 방치
3. 보호구역 관리 소홀
가. 통제ㆍ제한구역 출입문을 개방한 채 근무
나. 보호구역내 비인가자 출입허용 등 통제 미실시 ◦위규자 및 직속 감독자
사유서 / 경위서 징구
보통 4. 전산정보 보호대책 부실
가. 휴대용저장매체를 서랍ㆍ책상 위 등에 방치한 채 퇴근 ◦위규자 대상 특별보안교육
나. 비인가 메신저 무단 사용 실시
다. PC를 켜 놓거나 보조기억 매체(CD, USB 등)를 꽂아 놓고 퇴근
라. 부팅ㆍ화면보호 패스워드 미부여 또는 “1111” 단순숫자 부여
마. PC 비밀번호를 모니터 옆 등 외부에 노출
바. 비인가 보조기억매체 무단 사용
5. 중요 출입규정 위반(한수원 원자력본부 외)
가. 타인의 출입증으로 출입
나. 출입증을 타인에게 대여 또는 양도
다. 경비인력 또는 보안관계자를 사기 또는 기망하여 출입
라. 유효기간 경과, 전출, 퇴직 등으로 효력이 다한 미반납 출입증으로 출입
1. 업무 관련서류 관리 소홀
가. 진행 중인 업무자료를 책상 등에 방치, 퇴근
나. 복사기ㆍ인쇄기 위에 서류 방치
2. 근무자 근무상태 불량
가. 각종 보안장비 운용 미숙 ◦ 위규자 서면ㆍ구두
나. 경보·보안장치 작동 불량 경고 등 문책
경미
3. 전산정보 보호대책 부실
◦ 위규자 사유서 /
가. PC내 보안성이 검증되지 않은 프로그램 사용
경위서 징구
나. 보안관련 소프트웨어의 주기적 점검 위반
4. 출입증 관리 소홀 및 절차 위반
가. 유효기간 경과, 전출, 퇴직 등으로 효력이 다한 출입증을 한수원 정
보담당부서에 기한내 미반납 (미반납 출입증당 1건으로 적용)
나. 출입증 발급신청 및 승인기준 절차 위반
[별표 2] 보안 위약벌 부과 기준
보안 위약벌 부과 기준
□ 위규 수준별 위약벌 세부 내용
위규 수준
구분
A급 B급 C급 D급
위 규 심각 1건 중대 1건 보통 2건 이상 경미 3건 이상
위약벌 부정당업자 지정 및
입찰참가자격 제한, 계약금의 4% 이하 계약금의 2.5% 이하 계약금의 0.5% 이하
비 중
계약금의 5% 이하
위약벌
10억원 8억원 5억원 1억원
상 한
1. 위규 수준은 [별표 1] 참고
2. 계약상대자가 한수원과 다수의 계약을 맺고 있는 경우에는 직접 위규사항이 발생한 계약을 대상으로 한다.
3. 계약상대자는 계약상대자등이 제3조의 보안준수 사항 또는 제4조의 행위제한 사항을 위반하여 한수원에 손해를
입힌 경우 보안 위약벌 납부와 별도로 해당 손해를 배상하여야 한다.
붙임 4. 챗GPT 등 생성형 AI 활용 보안 가이드라인.pdf
PDF 첨부 본문
챗GPT 등
생성형 AI 활용
보안 가이드라인
챗GPT 등
생성형 AI 활용
보안 가이드라인
목차
챗GPT 등 생성형 AI 활용 보안 가이드라인
1. 개요 1
1.1. 생성형 인공지능 기술 소개 1
1.2. 생성형 인공지능 기술의 기본 개념 - GPT를 사례로 3
1.3. 해외 주요국 동향 8
2. 생성형 인공지능 기술의 대표적인 보안 위협 10
2.1. 개요 10
2.2. 잘못된 정보 11
2.3. 생성형 AI 모델 악용 13
2.4. 유사 AI 모델 서비스 빙자 15
2.5. 데이터 유출 16
2.6. 플러그인 취약점 19
2.7. 확장 프로그램 취약점 21
2.8. API 취약점 23
3. 안전한 생성형 인공지능 기술 사용 가이드라인 25
3.1. 개요 25
3.2. 서비스 사용 주의사항 26
3.3. 서비스와의 대화 시 주의사항 28
3.4. 서비스 플러그인 사용 주의사항 33
3.5. 서비스 확장 프로그램 사용 주의사항 35
3.6. AI 모델 생성기반 공격 대처 방안 37
4. 생성형 인공지능 기반 정보화사업 구축 방안 및 보안 대책 39
4.1. 개요 39
4.2. 구축 유형에 따른 생성형 AI 기술 도입시 고려사항 40
4.3. AI 모델 API 활용 및 민간 AI 모델 도입 방안 42
4.4. 자체 데이터 세트 및 AI 모델 구축 단계별 보안 위협 대응 방안 47
5. 부록 50
5.1. 약어 51
※ 챗GPT 등 생성형 AI 활용 보안수칙 52
1. 개요
1.1. 생성형 인공지능 기술 소개
•생성형 인공지능 기술이란 인공지능 기술의 한 종류로서 이미지, 비디오, 오디오, 텍스트
등을 포함한 대량의 데이터를 학습하여 사람과 유사한 방식으로 문맥과 의미를 이해하고
새로운 데이터를 자동으로 생성해 주는 기술을 의미한다.
•기존 AI 기술이 회귀(regression), 분류(classification), 군집화(clustering) 등 판별적
(discriminative) AI 기술이었다면, 생성형 AI 기술은 이용자가 요구한 질문이나 과제를
해결하기 위해 주어진 데이터를 기반으로 패턴과 규칙을 학습하고 이를 통해 새로운
컨텐츠를 생성하는 기술이다.
•생성형 인공지능 기술 중 하나인 대규모 언어모델(Large Language Models; LLMs)은
일반적으로 수백억 개 이상의 파라미터를 포함하는 인공지능 모델을 의미하며 복잡한
언어 패턴과 의미를 학습하고 다양한 추론 작업에 대해 우수한 성능을 보유하고 있다.
•최근 주요 생성형 대규모 언어모델은 <표 1>과 같으며 대다수의 모델은 API 등을 통해
제한적으로만 접근 가능하다. 대규모 언어모델 기반의 대표적인 AI 서비스로는 Stable
Diffusion (Stability AI; 2022), Midjourney (Midjourney; 2022), ChatGPT (OpenAI;
2022), Bard (Google, 2023), Firefly (Adobe, 2023) 등이 있다.
표 1 . 최근 주요 생성형 대규모 언어모델
공개일 모델명 기관 파라미터 (개) 학습 토큰 (개) 공개 여부
2020.05 GPT-3 OpenAI 1,750억 3,000억 비공개
2021.10 GShard Google 6,000억 1조 비공개
2022.01 LaMDA Google 1,370억 2.81조 비공개
2022.05 OPT Meta AI 1,750억 1,800억 공개
2022.02 AlphaCode DeepMind 410억 비공개 비공개
2022.03 InstructGPT OpenAI 1,750억 비공개 비공개
2022.03 Chinchilla DeepMind 700억 1.4조 비공개
챗GPT 등 생성형 AI 활용 보안 가이드라인 1
2022.03 InstructGPT OpenAI 1,750억 비공개 비공개
2022.03 Chinchilla DeepMind 700억 1.4조 비공개
2022.04 PaLM Google 5,400억 7,680억 비공개
2022.09 Sparrow DeepMind 700억 비공개 비공개
2023.02 LLaMA Meta 650억 1.4조 공개
2023.03 GPT-4 OpenAI 비공개 비공개 비공개
2023.03 PanGu-Σ Huawei 1.085조 3,290억 비공개
2021.09 HyperCLOVA NAVER 820억 5,616억 비공개
2021.11 KoGPT Kakaobrain 60억* 2,000억 공개
2021.12 EXAONE LG 3,000억 6,000억 비공개
2023.06 (예정) MI:DEUM KT 300억 비공개 -
2023.07 (예정) HyperCLOVA X NAVER 2,040억 5,600억 -
* KoGPT는 파라미터 수가 100억 개 미만이지만, 동향 분석을 위해 추가
챗GPT 등 생성형 AI 활용 보안 가이드라인 2
1.2. 생성형 인공지능 기술의 기본 개념 - GPT를 사례로
•GPT(Generative Pre-trained Transformer)는 대규모 언어모델로서 도서, 웹 문서 등에서
수집한 방대한 텍스트 데이터베이스를 기반으로 학습하여 언어의 통계적 패턴을 모방
하고, 이를 토대로 설득력 있는 문장을 생성하는 기술이다.
•GPT는 2018년 OpenAI에서 처음 제안하였으며, 2019년 GPT-2, 2020년 GPT-3가 각각
발표되면서 점차 학습에 사용되는 데이터의 크기 및 모델의 파라미터(매개변수) 수가
증가하는 추세를 보이고 있다(<그림 1>, <표 2>).
- 파라미터를 확장시 보다 많은 정보를 학습하고 복잡한 문제를 해결할 수 있게 되는데
특히 GPT-3는 이전의 AI 모델이 가지고 있던 파라미터를 크게 확장하면서 알고리즘의
성능을 혁신적으로 증가시켰다.
Chat GPT
GPT GPT-2 GPT-3 GPT-3.5 GPT-4
(2018.06) (2019.02) (2020.06) (2022.1) (2023.03)
단어와 문맥을 웹 스크랩 문서로 100배 이상 규모 GPT-3 모델 개선, 이미지 입력 가능,
이해하여 학습, 비지도 학습 확장, 미세조정 없이 사람과이 대화 기반 더 복잡한 작업
자연스러운 으로 여러 작업에서 하위 작업에서 친화적 상호 작용 수행, 답변 안정성
문장 생성 최첨단 성능 최첨단 성능 수행 개선
그림 1. GPT 모델 군(family)의 발전 동향
표 2. 각 GPT 버전에 대한 세부적인 내용
항목 GPT GPT-2 GPT-3 GPT-3.5 GPT-4
학습 데이터 크기 (GB) 5GB 40GB 570GB 비공개 비공개
학습 데이터 수집 기간 ~2015 ~2017.12 ~2019.10 ~2021.09 ~2021.09
파라미터 수 (개) 1.17억 15억 1,750억 1,750억 비공개
최대 입력 길이 (토큰*) 512 1,024 2,048 4,096 32,768
모델 공개 여부 공개 공개 제한 (API) 제한 (API) 제한 (API)
* 1,000개 토큰은 약 750단어에 해당
챗GPT 등 생성형 AI 활용 보안 가이드라인 3
•GPT-3.5 및 GPT-4는 OpenAI의 AI 챗봇 서비스인 챗GPT를 통해 각각 2022년 11월과
2023 년 3 월에 공개되었다. GPT - 3 . 5 는 2022 년에 공개된 InstructGPT 와 유사한
방식으로 개발되었으며, 이 모델은 GPT-3를 강화학습(Reinforcement Learning from
Human Feedback; RLHF) 방식을 통해 미세 조정한 모델이다.
- 이로 인해, 이전 버전의 AI 모델들보다 더욱 자연스러운 대화가 가능해졌으며, 사람이
원하는 답변을 더 잘 생성할 수 있게 되었다.
- GPT-4는 GPT-3.5보다 한 단계 발전한 모델로서, 고수준 추론 작업에 탁월한 성능을
보이며, 더 긴 응답을 생성할 수 있고, 이미지와 텍스트를 동시에 입력으로 받아
텍스트를 반환할 수 있는 멀티모달(multi-modal) 모델이다.
챗GPT 등 생성형 AI 활용 보안 가이드라인 4
| 사례 | 챗GPT 구조와 동작 방식
•GPT 모델 군은 모두 트랜스포머 디코더(decoder) 블록을 여러 층으로 쌓은 형태를 가지고
있다. 이 모델들은 사전 학습(pre-trained) 과정을 통해 이전 단어(token)를 보고 다음
단어를 예측하는 방식으로 학습된다.
•GPT 버전에 따른 구조 차이는 <그림 2>와 같다.
GPT-1 GPT-2 GPT-3 GPT-3.5 GPT-4
(1.17억 개 파라미터) (15억 개 파라미터) (1,750억 개 파라미터) (1,750억 개 파라미터) (파라미터 수 비공개)
디코더 디코더 디코더 디코더 디코더
12개 48
블럭 개
디코더 블
512개 럭 96 96
개 개 비
토큰입력
디코더
블 블
공 ?
1,024개 토큰입력 개
럭 럭
디코더 디코더 디코더
2,048개 토큰입력 4,096개 토큰입력 32,768개 토큰 입력
그림 2. GPT 버전에 따른 모델 구조 차이
•또한, <그림 3>에서 알 수 있듯이 GPT-3 이전의 모델들은 입력에 대한 다음 단어를 예측
하지만, GPT-3.5 이후 버전의 모델들은 사용자의 질의 입력에 답변하는 챗봇 시스템으로
동작한다는 점에서 주요 차이점이 존재한다.
사용자 입력
파워포인트 단축키
GPT-3 이전 GPT-3.5 이후
"파워포인트 단축키"로 시작하는 가장 적절한 "파워포인트 단축키"라는 질문에 어떻게 답변해야
문장은 뭘까? 할까?
출력(KoGPT2) 출력(GPT-4)
파워포인트 단축키를 누르면 자동으로 해당 포인트를 적립해 파워포인트(PowerPoint)를 사용하면서 시간을 절약하고
준다. 또한 이달 말까지 '스마트폰으로 간편하게' 이벤트도 생산성을 높이기 위해 단축키를 사용할 수 있습니다. 다음은
진행한다. 몇 가지 유용한 PowerPoint 단축키입니다.
이벤트 기간 동안 스마트폰을 이용해 스마일페이 가맹점에서 1. F5 - 프레젠테이션 시작
결제하면 최대 1만원까지 할인 혜택을 받을 수 있다. ~(후략) 2. Shift + F5 - 현재 슬라이드에서 프레젠테이션 시작
3. Ctrl + M - 새로운 슬라이드 삽입 ~(후략)
그림 3. GPT-3 이전 모델과 GPT-3.5 이후 모델의 동작 방식 차이
챗GPT 등 생성형 AI 활용 보안 가이드라인 5
•챗GPT 서비스는 <그림 4>와 같은 흐름으로 동작한다.
- 사용자가 입력한 데이터는 OpenAI 서버에 존재하는 비공개 모델인 GPT-3.5 또는
GPT - 4 에 입력되고, 해당 모델은 입력을 분석하고 적절한 응답을 생성한 후 이를
사용자에게 반환한다.
- 이 러한 과정에서 사용자 입력과 서버 응답은 필요에 따라 챗 GPT 확장 프로그램
(extension) 또는 챗GPT 플러그인(plug-in)을 거쳐 사용자에게 출력될 수 있다.
GPT-3.5
사용자 사용자 입력
GPT-4
서버 응답 챗GPT openAI 서버 챗GPT
확장 프로그램 플러그인
그림 4. 플러그인 및 확장 프로그램을 고려한 데이터 흐름도 관점의 챗GPT 서비스 동작 방식
•챗GPT 플러그인은 챗GPT 서비스 이용 과정에서 최신 정보에 액세스하거나 계산을 실행하고,
타사 서비스와의 상호 작용을 가능하게 해 주는 역할을 수행한다.
•챗GPT 플러그인은 브라우징(browsing), 코드 인터프리터(code interpreter), 검색
(retrieval), 그리고 서드 파티(third-party) 플러그인 등 4가지 항목으로 구분된다. 이러한
플러그인들은 각각 다른 기능과 역할을 수행하여 챗GPT 서비스의 다양한 기능과 확장성을
제공한다.
- 브라우징 기능은 챗GPT가 웹에서 최신 정보를 검색하고 접근할 수 있도록 지원한다.
챗 GPT 는 검색 정보를 보여주며, 관련된 참조 링크도 함께 제공하여 사용자에게
비교적 최근의 데이터에 대한 정보를 제공한다.
- 코드 인터프리터 기능은 챗GPT가 파이썬(Python) 코드를 바로 실행할 수 있도록
지원한다. 이를 통해 챗GPT는 그래프를 그리거나, CSV 또는 엑셀 데이터 파일을
챗GPT 등 생성형 AI 활용 보안 가이드라인 6
업로드하여 데이터 분석을 수행하며, 이미지를 포함하여 실시간으로 파일 편집이 가능
하다.
- 챗GPT 플러그인 중 검색 항목은 챗GPT에 내장된 검색기능을 강화하고 확장하는 역할을
수행한다. 이 항목은 챗 GPT 가 웹에서 실시간으로 정보를 검색하고, 해당 정보를
사용자에게 제공할 수 있도록 한다. 검색 결과에는 요약된 내용, 관련 링크, 이미지,
비디오 등이 포함될 수 있다.
- 챗GPT는 외부 개발자가 특정 기능을 확장할 수 있도록 하기 위해 제한적으로 서드
파티 플러그인 개발을 허용하고 있다. 대표적인 서드 파티 플러그인은 <표 3>과 같다.
표 3. 챗GPT에서 제공하는 서드 파티 플러그인 일부
기관 설명
익스피디아(Expedia) 호텔·항공권 등 여행에 관한 온라인 예약 처리
피스컬노트(FiscalNote) 법률, 정치, 규제 데이터 및 정보에 관한 데이터 세트 제공
인스타카트(Instacart) 지역 식료품점에서 상품 주문 및 배달
카약(KAYAK) 항공편, 숙박, 렌터카 검색 및 여행지 추천
오픈테이블(OpenTable) 레스토랑 검색 및 예약
쇼피파이(Shopify) 온라인 쇼핑몰과 브랜드의 상품 검색 및 구매
슬랙(Slack) 클라우드 컴퓨팅 기반 팀 협업 툴
울프람(Wolfram) 간단한 수학 연산 수행 및 그래픽 결과 시뮬레이팅
자피어(Zapier) 웹 애플리케이션과 함께 자동화 워크플로우 제공
•챗GPT 확장프로그램은 외부 프로그램에서 챗GPT의 기능을 사용할 수 있도록 제공하는
서비스로, 챗GPT에서 외부의 기능을 사용하도록 하는 플러그인과는 대조된다.
•구글 크롬(Chrome) 웹 브라우저를 기준으로, 사용자는 크롬 웹 스토어에서 원하는 챗GPT
확장 프로그램을 설치할 수 있으며 이때 챗GPT의 확장 프로그램은 챗GPT를 서비스하는
OpenAI에서 직접 관리하지 않으므로, 확장 프로그램 악용사례에 유의해야 한다.
챗GPT 등 생성형 AI 활용 보안 가이드라인 7
1.3. 해외 주요국 동향
•(EU) 유럽 연합은 2023년 5월 11일 인공지능에 대한 세계 최초의 규제 프레임워크인
‘인공지능 법(AI Act)’제정의 첫 단계로서 해당 법 초안을 유럽의회 상임위원회에서 통과시켰다.
- EU 인공지능 법에 따르면, 챗 GPT 등 대규모 언어모델 및 생성 AI 와 같은 이른바
‘기초 모델(foundation models)' 제공업체 개발자는 모델을 공개하기 전에 안전 점검,
데이터 거버넌스 조치 및 위험 완화 조치를 적용해야 한다.
- 시스템을 훈련하는데 사용되는 학습 데이터 셋을 공개하고 생성 AI가 만든 콘텐츠는
인간이 생성한 것이 아님을 밝혀야 한다는 조항을 추가하였다.
•(미국-EU) 미국과 유럽연합은 2023년 5월 31일 챗GPT와 같은 생성형 인공지능의
부작용을 줄이기 위한 ’자발적 행동강령‘을 마련하기로 하였다.
•(미국) 美 백악관 과학 기술 정책실(Office of Science and Technology Policy)은 2023년
8월 개최되는 데프콘(DEFCON)에서 챗GPT를 비롯한 생성형 인공지능 시스템을 공개
평가하여 잠재적인 취약점(potential harms)을 테스트한다고 밝혔다.
- 여기서는, 대규모 언어모델을 포함한 다양한 생성 AI에 내재한 혼란(confabulations),
탈옥, 편견과 같은 위험을 발견하고, 기업 개발자가 발견된 문제를 해결하도록 장려
하는 것을 목표로 한다.
•(캐나다) 캐나다 개인정보 보호 규제당국(Canada privacy regulators)은 2023년 5월 26일
챗GPT의 모기업인 OpenAI의 데이터 수집 및 사용에 관한 공동 조사를 시작하였다.
- 연방 개인정보 보호 규제기관은 퀘벡, 브리티시 컬럼비아, 앨버타의 규제 기관과 함께
OpenAI가 챗GPT를 통해 사용자(residents)의 개인정보 수집, 사용 및 공개에 대한
동의를 얻었는지 여부를 조사할 것이라고 밝혔다.
•(이탈리아) 이탈리아 개인정보 감독기구(Italian Data-Protection Authority; Italian
DPA)는 3월 31일, 챗GPT의 개인정보 수집, 처리 및 사용자 연령 확인 부재로 인해 개인
정보 보호 규정(GDPR) 위반 사유로 판단하여 챗GPT의 사용을 금지하는 조치를 취했다.
챗GPT 등 생성형 AI 활용 보안 가이드라인 8
- 그러나 이후 4월 28일, OpenAI가 DPA의 요구사항을 이행함에 따라 이탈리아 정부는
챗GPT의 접속 차단을 해제하였다.
- OpenAI는 가입 시 이탈리아에서 사용자의 나이를 확인할 수 있는 도구를 제공하고,
유럽 연합 사용자가 모델 학습을 위해 개인 데이터를 사용하는 것에 반대할 권리를
행사할 수 있는 새로운 양식을 제공하는 등 이탈리아 DPA에서 제기한 문제를 해결
하거나 명확히 하였다.
•(일본) 일본 내각부는 2023년 4월 22일 OpenAI의 챗GPT와 유사한 생성형 인공지능
챗봇의 확산에 대응하기 위해 경제산업성, 총무성, 문부과학성, 디지털청 등 관계 부처가
참여하는 ‘AI 전략팀’ 신설 계획을 발표하였다. 이 전략팀은 2023년 4월 24일 회의에서
AI의 업무 활용과 관련된 과제를 정리하고 부처 간 의사소통을 강화하는 방안을 논의한
바 있다.
챗GPT 등 생성형 AI 활용 보안 가이드라인 9
2. 생성형 인공지능 기술의 대표적인 보안 위협
2.1. 개요
•챗GPT와 같은 대규모 언어모델 등 생성형 AI 기술(이하 ‘AI 모델’)의 보안 위협으로
는 ( 1 ) 잘못된 정보, (2) AI 모델 악용, (3) 유사 AI 모델 서비스 빙자, (4) 데이터 유출,
(5) 플러그인 취약점, (6) 확장 프로그램 취약점, (7) API 취약점 등이 존재한다(<표 4> 참조).
표 4. 대규모 언어모델 등 생성형 AI 기술의 대표적인 보안 위협
대표 보안 위협 주요 원인 가능한 보안 위협
•편향 •사회적 혼란 조장
잘못된 정보 •최신 데이터 학습 부족 •고위험 의사 결정
•환각 현상 •잘못된 의사 결정 유도
•피싱 이메일 및 인물 도용
•사이버 보안 위협 코드 작성
•대화형 서비스를 악용한 사이버 범죄
AI 모델 악용 •적대적 시스템 메시지
커뮤니티 활성화
•사회 공학적 영향
•가짜 뉴스 생성
유사 AI 모델 •스쿼팅 URL 및 확장 프로그램
•유사 악성 서비스 접근 유도
서비스 빙자 •가짜 애플리케이션
•훈련 데이터 유출
•데이터 합성 과정의 문제
•데이터 불법 처리 우려
•과도한 훈련 데이터 암기 문제
데이터 유출 •기밀 유출
•대화 과정에서 개인정보 및 민감
•대화 기록 유출
정보 작성
•데이터베이스 해킹 및 회원 추론 공격
•AI 모델의 적용 범위 확장
•새로운 도메인에서의 모델 오작동
•안정성 확인 미흡
플러그인 취약점 •‘에이전트’화 된 AI 모델의 악용
•해커 공격 범위 확장
•멀티모달 악용
•취약점이 있는 서비스와 연결
•개인정보 수집
확장 프로그램 •확장 프로그램 내부의 악성 서비스 설치
•시스템 공격
취약점 •서비스 제공 업체의 보안 조치 미흡
•호스팅 서버 및 스토리지 시스템 위협
•미흡한 API 키 관리 •API 키 탈취
API 취약점
•데이터와 명령 사이의 불분명한 경계 •악의적인 프롬프트 주입
챗GPT 등 생성형 AI 활용 보안 가이드라인 10
2.2. 잘못된 정보
•위협의 주요 원인(<그림 5> 참조)
1) 편향
학습 데이터의 불균형 또는 데이터 내의 직·간접적인 편향은 AI 모델의 편향으로
이어질 수 있으며, 이는 모델이 만들어내는 결과물에 영향을 미쳐 사용자에게 사실과
다른 정보를 제공할 수 있다. 예를 들어, AI 모델이 편향된 텍스트 데이터를 학습한다면,
해당 모델이 특정 그룹이나 주제에 대해 편견이 있는 결과를 생성할 수 있다.
2) 최신 데이터 학습 부족
특정 생성형 AI 모델은 최종 학습 데이터 시점까지의 정보만 가지고 있기 때문에 학습
이후에 발생한 사건이나 정보에 대해서는 알지 못하거나, 부정확한 정보를 제공할 수
있다. 특히 AI 모델은 현재 진행 중인 사건이나 빠르게 변화하는 정보에 대해서는 정확한
답변을 생성하는데 제한이 있을 수 있다.
3) 환각 현상
환각(Hallucination) 현상은 AI 모델의 결과물이 정확한 것처럼 생성되었으나 실제로는
거짓인 경우를 말한다. 즉, AI 모델은 새로운 콘텐츠를 생성할 수 있는 능력으로 인해
잘못된 정보나 존재하지 않는 정보를 생성할 수 있다는 특징을 가지고 있다. 이러한 환각
현상은 AI 모델의 신뢰성을 저하시키는 원인이 될 수 있다.
편향(Bias) - 최근 사건에 대한 질문
- 생명, 안전에 대한 질문
잘못된
최신 데이터 학습 부족
정보 전달
환각(Hallucination) AI 모델 실제 사실과 다른 답변
사용자
그림 5. AI 모델의 잘못된 정보 제공
챗GPT 등 생성형 AI 활용 보안 가이드라인 11
•대표 보안 위협
1) 사회적 혼란 조장
AI 모델의 악용 혹은 환각 현상 등에 따라 잘못된 결과물은 사회적 혼란을 조장하거나
해커에 의해 악용될 수 있다. 특정 집단을 대상으로 하는 혐오 결과물 생성 및 민감한
사회적 이슈에 대해 논란을 조장하는 결과물 생성 등이 예가 될 수 있다.
2) 고위험 의사 결정
많은 생성형 AI 서비스들은 고위험 정치적 의사 결정이나, 법률 또는 건강 관련 조언을
제공하는 경우 인공지능 서비스 활용을 제한하는 이용 정책을 수립하고 안내하고 있다.
또한, 「지능정보화 기본법 시행령」 제16조 2항에서는 “국민의 생명 또는 신체안전
등에 밀접한 지능정보기술”을 ‘지능정보기술을 이용하는 사람의 생명·신체를 보호
하는데 현저한 지장을 줄 우려가 있는 지능정보기술’로 정의하고 있으므로, 대규모 언어모
델 등 생성형 AI 사용에 충분한 주의가 필요하다.
3) 잘못된 의사 결정 유도
생성형 AI 서비스 사용시 검증되지 않은 결과물의 공유는 조직·개인의 잘못된 의사
결정을 유도할 수 있다.
챗GPT 등 생성형 AI 활용 보안 가이드라인 12
2.3. AI 모델 악용
•위협의 주요 원인
1) 적대적 시스템 메시지
AI 모델은 사용자의 요청에 따라 다양한 유형의 출력을 생성할 수 있다. 이러한
유연성은 해커가 모델에 적대적 시스템 메시지를 보내 유해한 답변을 생성하는 데 사용할
수 있다는 위험성을 내포하고 있다. 사용자에 요청에 대한 적절한 제약 조건 없이
AI 모델이 사용될 경우, 심각한 결과를 초래할 수 있다.
적대적 시스템 메시지 - 폭력적 컨텐츠
- 피싱 이메일
- 멀웨어 생성
유해 콘텐츠 -…
AI 모델 해커
그림 6. AI 모델의 적대적 시스템 메시지 생성
•대표 보안 위협
1) 피싱 이메일 및 말투 도용
AI 모델은 사용자가 제공하는 텍스트 스타일을 흉내 내는 데 매우 효과적이며, 이를
통해 피싱 이메일을 생성하거나, 특정 개인이나 단체의 말투를 도용하는 데 악용될 수
있다. 이렇게 생성된 정교한 피싱 이메일은 기존의 보안 시스템을 속이고, 사람들이 이를
진짜로 인식하게 만들 수 있다.
2) 사이버 보안 위협 코드 작성
AI 모델은 소프트웨어 코드를 생성할 수 있다. 이는 AI 모델이 악성 코드 작성에 이용될
수 있음을 의미한다. 해커는 이를 통해 보안 시스템을 회피하는 데 필요한 복잡한
악성 코드를 작성할 수 있으며, 이로 인해 정보 보안에 심각한 위협이 될 수 있다.
챗GPT 등 생성형 AI 활용 보안 가이드라인 13
3) AI 모델을 악용한 사이버 범죄 커뮤니티 활성화
일부 사이버 범죄 커뮤니티는 AI 모델을 이용하여 악성 소프트웨어를 재현하거나,
범죄 행위에 대한 지침을 생성하고 있다. 이로 인해 이러한 커뮤니티의 활동이 활성화
되고, 사이버 범죄의 위험성이 더욱 증가하게 된다.
4) 사회 공학적 영향
AI 모델은 사실적이고 믿기 쉬운 콘텐츠를 생성한다. 이를 통해 사용자는 다른 사람들을
조작하거나 사기를 칠 수 있는 잠재적인 도구를 얻을 수 있다. 이는 사회 공학적 공격을
더욱 쉽게 만들고, 사람들이 피해자가 될 위험성을 증가시킨다.
5) 가짜 뉴스 생성
생성형 AI 모델은 가짜 뉴스를 생성하는 데 사용될 수 있다. 특히, 챗GPT 등 대규모
언어모델은 인간이 생성하는 수준의 현실적이고 설득력 있는 결과물을 생성함으로써
허위 정보를 퍼뜨리는 데 악용이 가능하다.
챗GPT 등 생성형 AI 활용 보안 가이드라인 14
2.4. 유사 AI 모델 서비스 빙자
•위협의 주요 원인(<그림 7> 참조)
1) 유사 악성 서비스 접근 유도
해커들은 정상적인 AI 모델 서비스인 것처럼 모사된 악성 AI 서비스 URL 제공을 통해
악성코드를 내포한 악성 서비스를 퍼뜨릴 수 있다. 사용자는 반드시 공식 웹사이트를
통해서 AI 모델 서비스에 접근하여야 하며, 비정상적 경로를 통해 악의적 목적을 가진
유사 AI 서비스에 접근할 경우, 악성 확장 프로그램을 다운로드하는 등 피해를 볼 수 있다.
도메인명 - 악성 프로그램 설치
- Open AI - 사용자 정보 도용
- 챗GPT -…
해커 악성 AI 모델 사용자
그림 7. 악성 AI 모델을 통한 사기 행위
•대표 보안 위협
1) 스쿼팅 URL 및 확장 프로그램
해커는 신뢰할 수 있는 AI 모델의 이름을 도용하여 사용자의 실수로 스쿼팅 URL에
접속하거나, 악성 확장 프로그램을 설치하도록 유도할 수 있다. 이후 해커는 스쿼팅
URL 및 악성 확장 프로그램을 통해 사용자의 개인정보를 도용하거나 악성 코드를 전파
할 수 있다.
* 스쿼팅 : 사이버 스쿼팅 또는 도메인 스쿼팅을 포함한 유사 이름 위협을 의미함 (예: 철자가 조금
다른 URL을 불법 취득하여 여기에 실수로 접속한 사용자를 위협하는 행위)
2) 가짜 애플리케이션
최근 챗GPT 등 생성형 AI 모델에 대한 관심이 증가함에 따라, 특정 서비스 이름을
도용한 가짜 애플리케이션도 증가하고 있다. 이러한 가짜 애플리케이션은 사용자의 개인
정보를 도용하거나 사용자 기기에 악성코드를 설치하는 등의 악의적인 목적으로 활용될
수 있다. 이로 인해 대화내용 및 카드번호와 같은 민감한 정보가 유출되거나 악성코드에
감염될 수 있으므로 사용자는 이러한 위험에 주의를 기울여야 한다.
챗GPT 등 생성형 AI 활용 보안 가이드라인 15
2.5. 데이터 유출
•위협의 주요 원인(<그림 8> 참조)
1) 데이터 합성 과정의 문제
AI 모델 학습에 사용되는 매우 방대한 양의 훈련 데이터에는 기관 내 다양한 주요
정보가 포함될 수 있다. AI 모델은 여러 단계의 추론 과정을 거치면서 입력 데이터에
따라 가장 신뢰도가 높은 문자열을 합성하여 답변하는데, 합성된 문자열은 AI 모델이
자체 생성할 수도 있지만 예상치 못하게 기존 훈련 데이터의 부분 혹은 전체를 그대로
답변에 포함할 가능성이 있다.
2) 과도한 훈련 데이터 암기 문제
AI 모델이 훈련 데이터를 과도하게 암기하면 추론 과정에서 훈련 데이터에 대한
신뢰도가 더욱 높아지므로 내부 정보를 유출하는 경향이 커지게 된다. 훈련 데이터 내
민감정보와 개인정보의 비식별 처리를 했더라도 AI 모델의 출력문과 외부 정보와의
결합을 통해 비식별화된 정보를 추측할 수 있다.
3) 대화 과정에서 개인정보 및 민감 정보 작성
외부 AI 모델 서비스를 이용할 경우, 사용자는 내부 업무정보나 개인정보를 입력할 수
있으며 이는 다양한 보안 위험을 초래할 수 있다. 사용자가 입력한 정보는 AI 모델의
훈련 데이터로 사용될 수도 있으며, 다른 정보와 결합되어 타인의 요청에 따라 추론
작업에 활용되거나 해당 정보가 모델에 학습되어 타인과의 대화 과정에서 해당 중요
정보가 유출될 수 있다.
-다양한 정보 합성 및 암기 합성 및 암기된
-데이터 불법 처리 우려 데이터 유출
데이터 수집 AI 모델 사용자
그림 8. 데이터 수집 및 AI 모델 자체에 의한 데이터 유출
챗GPT 등 생성형 AI 활용 보안 가이드라인 16
AI 모델 모델 제공자 서버 및
개인정보 및 데이터베이스
민감 정보
사용자
서드파티 플러그인 서드파티 서버 및
데이터베이스
회원 추론 공격 서버 및 데이터베이스 해킹
해커
그림 9. 사용자의 민감 정보 입력 및 해커에 의한 데이터 유출
•대표 보안 위협
1) 훈련 데이터 유출
AI 모델은 수집된 훈련 데이터를 일부 암기할 수 있으며, 이는 정보의 유출 위험을
가지고 있다. 중요한 URL, 개인정보, 연락처, API 키와 같은 민감한 정보들이 모델
내에서 데이터를 처리하고 응답을 생성하는 과정에서 외부에 노출될 수 있으며, 이로
인해 더 심각한 보안 위협 상황을 초래할 수 있다.
2) 데이터 불법 처리 우려
최근 국가들은 대규모 언어모델 기반 생성형 AI 기술과 관련, 데이터의 불법 처리에 대해
우려를 표명하고 있다. 이탈리아 정부를 비롯하여 일부 국가들은 AI 모델 개발 및 운영
회사들에게 데이터 처리에 대한 법적 준수와 개인정보 보호 규정(GDPR 등)을 엄격히
준수할 것을 요구하고 있으며, 이에 따라 일시적인 서비스 중단이나 조사를 요구하는
경우도 있다.
3) 기밀 유출
생성형 AI 서비스를 사용하는 과정에서 개인 또는 기관의 기밀 정보를 AI 모델에 제공
하면, 이러한 정보가 다른 사용자에게 유출될 위험이 있다. 이는 사용기관의 중요한 내부
정보가 외부 공개되거나 개인정보가 노출될 수 있는 위험을 초래할 수 있다. 따라서
챗GPT 등 생성형 AI 활용 보안 가이드라인 17
사용자는 AI 모델을 사용할 때 기관의 기밀 정보를 입력하지 않아야 하며, 기관 정보
보안 책임자는 이러한 정보 유출 방지를 위해 적절한 보안 대책 및 수단을 마련해야 한다.
4) 대화 기록 유출
일부 AI 서비스에서 타인의 대화 기록이 다른 사용자에게 보이는 버그 현상이 발생한
사례가 있었다. 이 사례에서는 대화 기록과 함께 금융 관련 정보, 이름, 이메일 결제 정보,
카드 정보, 카드 4자리 숫자 정보 등이 일반 사용자에게 노출되었다. 이처럼 AI 서비스
시스템 오류로 인해 개인·민감정보가 타인에게 노출될 수 있는 위협이 있다.
5) 데이터베이스 해킹 및 회원 추론 공격
대규모 언어모델 기반 AI 서비스를 이용하는 사용자의 질문은 데이터로 남고, 모델 혹은
서비스를 제공하는 자(회사)는 이를 확인할 수 있다. 또한 최악의 경우 해커가 해당 모델
혹은 서비스 제공자의 데이터베이스를 해킹하거나 모델에 대한 회원 추론
(membership inference) 공격을 수행하여 기밀성(confidentiality)을 침해할 수 있다.
챗GPT 등 생성형 AI 활용 보안 가이드라인 18
2.6. 플러그인 취약점
•위협의 주요 원인(<그림 10> 참조)
1) AI 모델의 적용 범위 확장
AI 모델은 플러그인을 통해 다양한 데이터와 플랫폼과 결합되어 활용 범위가 확장되고
있다. 이를 통해 단순한 질문-답변 시스템을 넘어서 모델의 기능을 확장하거나 특정
작업을 수행하기 위한 추가적인 기능을 제공할 수 있다. 또한, 모델 입력 데이터의
전처리, 결과의 후처리, 외부 서비스 통합 등 다양한 기능을 수행할 수도 있으나 이러한
확장성은 동시에 새로운 취약점을 초래하여 보안위협이 증가될 수 있다.
2) 안정성 확인 미흡
AI 모델의 새로운 기능 도입 시에는 사전 해당 기능의 안정성을 검증하는 과정이 필요
하다. 그러나 AI 모델의 빠른 기능 확장과 발전 속도로 인해 사전 안정성 검증이 충분히
이루어지지 않을 수 있다. 이는 AI 모델이 예상치 못한 방식으로 작동하거나 새로운
보안 위협에 노출될 위험이 있음을 의미한다.
3) 해커 공격 범위 확장
생성형 AI 모델의 플러그인 기능은 해커에 의해 새로운 공격 도구로 악용될 우려가 있다.
모델이 생성하는 다양한 컨텐츠와 제공 정보를 이용하여, 사기·도용·피싱·개인정보
유출·악성코드 작성 등 공격 행위를 고도화할 수 있으며, 플러그인과 취약 서비스에
존재하는 취약점을 공격하여 AI 모델과 연동된 다른 시스템의 보안을 위협할 수 있다.
4) 취약점이 있는 서비스와 연결
AI 모델이 플러그인을 통해 다른 서비스와 연결될 때, 해당 서비스에 존재하는 보안
취약점이 사용자에게 전파될 수 있다. 이는 AI 모델이 연결된 서비스의 취약점을 통해
해커가 AI서비스 사용자 시스템 내부에 접근하여 정보를 유출하거나, 시스템 오작동을
유발하여 악의적인 결과물 생성을 유도하여 사용자를 속이는 등의 위협이 존재할 수
있다.
챗GPT 등 생성형 AI 활용 보안 가이드라인 19
AI 모델
해커 에이전트화된 멀티 모달 악용
적용 범위 확장
AI 모델 악용
안전성 확인
AI 모델 미흡
플러그인
취약 서비스 새로운 도메인에서의
취약 서비스 기반 플러그인 모델 오작동
그림 10. 플러그인 취약점
•대표 보안 위협
1) 새로운 도메인에서의 모델 오작동
생성형 AI 모델이 새로운 도메인에 적용될 때(예, 뉴스 기사를 학습했던 모델을
의학 분야에 적용하는 경우 등), 모델이 예상치 못한 실수를 하거나 잘못된 동작을 수행할
수 있다. 이로 인해 사용자에게 부정확한 정보를 제공하거나, 시스템의 안정성을
해치거나, 악용되어 부정적인 결과를 초래할 수 있다.
2) ‘에이전트’화된 AI 모델의 악용
사용자가 챗GPT 등 생성형 AI 서비스를 특정 업무를 지원하는 신뢰성 높은 시스템으로
간주하고 활용할 경우, 해커는 이 점을 악용하여 사용자의 AI 모델이 부정확하거나
위험한 정보를 생성하거나, 악성코드를 전파하는 등에 악용할 수 있다.
3) 멀티모달 악용
AI 모델은 플러그인을 통해 이미지와 음성 등 다양한 형태의 데이터를 처리할 수 있다.
이는 모델이 텍스트 정보뿐만 아니라 시각적이고 음성적인 콘텐츠를 이해하고 생성할
수 있는 능력을 갖고 있다는 것을 의미한다. 하지만 이로 인해 모델은 단순한 텍스트
정보뿐만 아니라 다양한 형태의 데이터를 악용하여 유해한 행동을 수행할 위험이 있다.
예를 들어, 모델이 악의적인 이미지를 생성하거나 음성 인증 시스템을 속일 수 있는
음성을 생성하는 등의 악용 가능성이 있다.
챗GPT 등 생성형 AI 활용 보안 가이드라인 20
2.7. 확장 프로그램 취약점
•위협의 주요 원인(<그림 11> 참조)
1) 확장 프로그램 내부의 악성 서비스 설치
AI 모델 확장 프로그램은 입력 데이터를 전처리하거나, 결과를 후처리하여 특정 요구
사항에 맞게 가공하는 기능을 제공하는 등 사용자에게 높은 활용성과 편의성을 제공
하려는 목적으로 개발되었다. 하지만 이러한 확장 프로그램은 해커에게 유용한 공격
수단으로도 사용될 수 있다. 해커는 확장 프로그램에 백도어(backdoor)를 설치하거나,
코드를 변조하여 원래 기능 외에도 개인정보 수집, 시스템 취약점 공격 등의 악용을
수행할 수 있다.
2) 서비스 제공업체의 보안 조치 미흡
생성형 AI 서비스 제공업체가 적절한 사이버 보안 대책을 적용하지 않거나 업데이트를
제대로 수행하지 않으면 해커나 악의적 사용자가 저장된 사용자 데이터에 무단으로
액세스함으로써 개인정보 유출, 데이터 변조 등의 위험이 발생할 수 있다. 또한, 악성
코드가 유입되어 전체 시스템에 악영향을 미칠 수 있으며 저장된 데이터 손실이 발생
하여 주요 정보나 업무에 심각한 영향을 줄 수 있다.
악성 서비스 설치
개인정보 수집
해커 악성 확장 프로그램
시스템 공격
서비스 제공업체의 호스팅 서버 및
보안조치 미흡 스토리지 시스템 위협
취약한 서버 및
서비스 제공업체
스토리지 시스템
그림 11. 확장 프로그램 취약점
챗GPT 등 생성형 AI 활용 보안 가이드라인 21
•대표 보안 위협
1) 개인정보 수집
사용자가 AI 모델 확장 프로그램을 사용하는 동안 악성 플러그인이 설치되거나
사용자의 권한을 남용하여 부적절한 작업을 수행함으로써 발생할 수 있다. 이를 통해
사용자의 모든 행동이 무단으로 모니터링될 수 있으며, 사용자의 개인정보가 침해될
수 있다. 수집된 정보는 악의적인 목적으로 사용될 수 있으며, 예를 들어 사용자의 신원
도용, 금융 손실 등의 사이버 범죄에 악용될 수 있다.
2) 시스템 공격
취약한 확장 프로그램을 악용하는 해커는 시스템을 공격하는데 확장 프로그램을 이용할
수 있다. 예를 들어, 해커는 악의적인 확장 프로그램을 설치한 사용자를 대상으로
랜섬웨어 공격을 수행할 수 있으며, 사용자 시스템을 좀비 PC로 만들어 DDoS 공격을
발생시키는 데 악용할 수 있다.
3) 호스팅 서버 및 스토리지 시스템 위협
AI 모델 확장 프로그램은 안전한 서버와 스토리지 시스템에서 호스팅 되어야 한다.
호스팅 및 스토리지 제공업체가 적절한 사이버 보안 조치를 적용하지 않거나, 지속해서
이를 업데이트하지 않을 경우 해커의 호스팅 서버 침입으로 인한 내부 주요 데이터
유출, 서버 마비, 서비스 중단 등이 발생할 수 있으며 호스팅 서버의 자원을 악용하여
다른 침해 행위에 악용될 수 있다.
챗GPT 등 생성형 AI 활용 보안 가이드라인 22
2.8. API 취약점
•위협의 주요 원인(<그림 12> 참조)
1) 미흡한 API 키 관리
API 키는 소프트웨어 개발자가 서드파티 애플리케이션과 서비스 간에 통신을 수행하기
위해 사용되는 인증 수단이다. 미흡한 API 키 관리는 취약점을 노출시킬 수 있으며,
데이터 및 시스템 보안을 위협할 수 있다.
2) 데이터와 명령 사이의 불분명한 경계
AI 모델은 일반적인 프로그래밍 언어와는 달리 데이터와 명령을 명확하게 구분하지
않는 특성을 가지고 있다. 이로 인해 AI 모델은 입력된 데이터를 명령으로 오인하거나
명령을 잘못 이해하여 예상하지 못한 응답을 생성할 수 있다. 예를 들어 해커는 공격
명령이나 악의적 의도를 숨긴 데이터를 입력으로 제공하여 AI 모델이 부적절한 응답을
생성하도록 할 수 있다.
프롬프트
API 키 탈취
주입 공격
프롬프트 해커 API 키
그림 12. API 취약점
대표 보안 위협
1) API 키 탈취
AI 모델 API는 인증을 위해 API 키를 사용하며, 이 키를 적절하게 관리하지 않으면
다양한 보안 위협이 발생할 수 있다. 우선, API 키가 노출되면 악의적인 사용자가
해당 키를 이용하여 민감한 정보에 접근하거나 비인가된 작업을 수행할 수 있다. 또한,
API 키가 보호되지 못한다면 인증 및 권한 부여 프로세스의 취약점으로 악용되어
인가되지 않은 액세스 또는 권한을 탈취한 공격자의 시스템 침입 등이 이루어질 수 있다.
챗GPT 등 생성형 AI 활용 보안 가이드라인 23
2) 악의적인 프롬프트 주입
데이터와 명령 사이에 명확한 경계가 존재하지 않는 AI 모델의 특성으로 인해 발생하며,
해커가 악의적인 목적으로 AI 모델의 API를 호출할 때 제어할 수 없는 프롬프트를
주입하여 민감한 정보를 탈취할 수 있다. 이를 통해 공격자는 API 키를 탈취하거나
민감한 정보에 접근할 수 있다. 이 공격은 다양한 형태로 이루어질 수 있는데 예를 들어
해커는 프롬프트에 악의적인 코드나 명령을 삽입함으로써 AI 모델이 예상치 않은 작업을
수행하도록 유도할 수도 있다.
챗GPT 등 생성형 AI 활용 보안 가이드라인 24
3. 안전한 생성형 인공지능 기술 사용 가이드라인
3.1. 개요
•본 장에서는 챗GPT와 같은 대규모 언어모델 등 생성형 AI 기술(이하 ‘AI 모델’)의 안전한
사용을 위한 기본 지침을 제공하여 각급기관의 정보화·정보보안 담당자들이 보다
효율적이고 안전하게 서비스를 이용하도록 하는데 그 목적이 있다.
•본 가이드라인을 참고하여 관련 서비스 잠재적인 위험을 최소화하고, 올바른 활용을
통해 업무의 효율성을 높일 수 있을 것으로 기대한다.
•본 가이드라인은 관련 기술을 효율적이고 안전하게 사용하는 방법을 안내하기 위해
FAQ 형식으로 구성하였으며, (1) 서비스 사용 주의사항, (2) 서비스와의 대화 시 주의
사항, (3) AI 모델 플러그인 사용 주의사항, (4) AI 모델 확장 프로그램 사용 주의사항,
(5) AI 모델 생성기반 공격 대처 방안을 포함한다. 전체적인 구성은 <표 5>와 같다.
표 5. AI 모델 및 관련 서비스 사용 가이드라인 구성
가이드라인 주제 포함 내용
•서비스 접근
서비스 사용 주의사항
•계정 관리법
•답변 검증 (정확성 및 유해성)
•개인정보 및 민감 정보 처리
서비스와의 대화 시 주의사항 •AI 모델이 생성한 데이터 관리
•책임감 있는 사용
•업무에서 올바르게 AI 모델 활용하기 (이용목적 및 협업)
•올바른 서비스 플러그인 사용 및 관리
AI 모델 플러그인 사용 주의사항
•개인정보 및 민감 정보 처리
AI 모델 확장 프로그램 •올바른 서비스 확장 프로그램 사용 및 관리
사용 주의사항 •개인정보 및 민감 정보 처리
•AI 모델 생성기반 공격 정의
AI 모델 생성기반 공격 대처 방안
•AI 모델 생성기반 공격 대처
챗GPT 등 생성형 AI 활용 보안 가이드라인 25
3.2. 서비스 사용 주의사항
•서비스 접근
서비스에 어떻게 접근해야 하는가?
서비스 접근은 AI 모델 사용의 첫 단계로 중요한 보안 요소이다. 안전한 사용을 위해
다음 사항을 준수해야 한다.
» 서비스 사용 시 공식 사이트를 통한 접속
공식 사이트 사용
» 피싱 공격 및 허위 사이트 방지를 위한 SSL 인증서 유무 확인
» 암호화된 Wi-Fi 및 VPN 사용 등을 통한 안전한 네트워크 환경 확보
안전한 네트워크 환경
» 공공 Wi-Fi 등 암호화되지 않은 네트워크 사용 시 보안에 유의
» 최신 웹 브라우저 사용 및 정기 업데이트 수행
웹 브라우저 보안
» 브라우저 보안 설정 검토 및 광고, 악성코드 차단 프로그램 사용
» 기관 내부(업무)망에서의 서비스 사용시 별도 내부 전용 서비스로
한정하여 사용
내부망 사용 제한
» 기관 인터넷망에서의 서비스 사용시 기관 민감데이터 미활용
등 유의 사용
적절한 버전 사용 » 최신 버전 서비스 이용을 통한 보안 취약점 해소
챗GPT 등 생성형 AI 활용 보안 가이드라인 26
•계정 관리법
계정은 어떻게 관리해야 하는가?
서비스를 사용하기 위해서는 계정 보안을 강화하는 것이 중요하다. 계정 보안을
위해 다음과 같은 보호 조치를 취해야 한다.
» 강력한 비밀번호 설정(충분한 길이 및 대소문자, 숫자, 특수
강력한 비밀번호 문자 혼합)
설정 및 관리
» 정기적인 비밀번호 변경 및 재사용 금지
이메일 인증 » 이메일 인증을 통한 본인 인증 완료
» 이용 로그인 계정의 이중 인증(2FA) 설정을 통한 계정 침입
이중 인증 (2FA) 설정
방지
챗GPT 등 생성형 AI 활용 보안 가이드라인 27
3.3. 서비스와의 대화 시 주의사항
•답변 검증 (정확성 및 유해성)
1 서비스 답변의 정확성은 어떻게 검증해야 하는가?
1 인공지능 기반 예측형 서비스는 항상 정확한 정보를 제공한다고 보장할 수 없다.
따라서, 중요한 결정이나 작업을 수행하기 전에 다른 출처를 참조하거나 검색
등 다른 방법을 활용하여 정보의 정확성을 확인 및 점검하는 것이 필요하다.
» 인터넷 검색, 전문가 의견 자문 등 다양한 출처 참조를 통한
다중 출처 비교
AI 모델 답변 정확성 검증
공식 문서 및
» 공식 문서 및 정책 참조를 통한 AI 모델 답변 신뢰성 검증
정책 참조
» 서비스 결과 데이터에 대한 최신 여부 확인을 통한 AI 모델 답변
최신 데이터 확인
유효성 검증
» 사용자의 상식 및 기본 지식 검토를 통한 AI 모델 답변 현실성
답변 현실성 검토
검증
챗GPT 등 생성형 AI 활용 보안 가이드라인 28
2 서비스 답변의 유해성은 어떻게 피할 수 있는가?
2 사용자는 서비스가 생성한 결과물을 항상 주의 깊게 검토하고, 부적절한 내용이나
유해한 요소가 포함되어 있는지 확인해야 한다. 또한, 관련 규정을 준수하고
있는지에 대해서도 주의를 기울여야 한다.
결과물 검토 » AI 모델 답변 검토를 통한 유해성 차단
사용자 정의 필터 설정 » 사용자 정의 필터 설정을 통한 사용자 기준에 맞는 답변 생성
서비스 제공자의 필터링 » 서비스 제공자의 필터링 기능 활용을 통한 유해 답변 필터링 및
기능 활용 안전한 사용 환경 유지
» 사용자 신고 기능 활용을 통한 유해한 서비스 학습 데이터 및
사용자 신고 기능 활용
알고리즘 개선 참여
» 기관 차원의 사용자 교육 및 인식 향상을 통한 신중한 서비스
교육 및 인식 향상
사용 당부 및 유해 답변 전파 차단
법률 및 규정 숙지 » 법률 및 규정 숙지를 통해 서비스 사용 시 법적 문제 발생 방지
사용 목적 검토 » 서비스 사용 목적 적절성 검토를 통한 올바른 사용
» 타인의 저작물 인용 및 사용 시 출처 표기 및 저작자 동의 선행
지적 재산권 존중
» 부적절한 방식으로 타인의 저작물 사용 및 수정 금지
챗GPT 등 생성형 AI 활용 보안 가이드라인 29
•개인정보 및 각급기관 내 민감 정보 처리
서비스와 대화 시 개인정보 및 소속기관 내 민감 정보는 어떻게 처리해야 하는가?
서비스와 대화 시 주민등록번호, 신용카드 정보, 비밀번호 등의 개인정보뿐만 아니라
소속기관의 내부 민감 정보를 입력하지 않도록 주의해야 한다. 기술 취약점으로 인해
개인정보 침해, 금융적 손실뿐만 아니라 각급기관의 내부 주요 정보가 유출될 위험이
있기 때문이다.
데이터 제어 설정 » 데이터 제어 설정을 통한 채팅 기록 및 모델 학습 비활성화
» 개인정보 침해 및 악용 방지를 위한 민감한 개인정보(건강,
종교, 정치적 성향 등) 입력 금지
개인정보 입력 금지
» 금융적 손실 및 신용도 피해 방지를 위한 금융 관련 정보(신용
카드 번호, 은행 계좌 정보, 비밀번호 등) 입력 금지
» 기관 내부자료 등 민감정보 입력 금지로 기관 정보 유출 차단
기관 내 민감 정보
입력 금지 » 가 명화 및 익명화를 통한 실제 개인정보와 기관과의 관계
유추 가능성 차단
» AI 모델과 대화 중 보안 관련 질문 발생 시 답변 자제
보안 질문 회피
» 필요시 고객 지원 센터 문의를 통한 올바른 절차 준수
» 계정 침해 위협 방지를 위한 인증 정보(사용자 이름, 비밀번호,
인증 정보 입력 금지
인증 코드 등) 입력 금지
챗GPT 등 생성형 AI 활용 보안 가이드라인 30
•서비스가 생성한 데이터 관리
서비스가 생성한 데이터는 어떻게 관리해야 하는가?
서비스 제공자의 데이터 취급 정책을 준수해야 한다. 데이터 보관 기간이 지난 후에는
서비스 제공자가 제공하는 방법을 통해 데이터를 삭제해야 한다.
» 올바른 데이터 관리 및 보호를 위한 서비스 제공자의 데이터
데이터 보관, 삭제 정책 보관 및 삭제 정책 숙지
이해 및 준수 » 불필요한 데이터 누출 위협 감소를 위한 데이터 보관 기간
만료 후 서비스 제공자가 제공하는 방법에 따라 데이터 삭제
» 데이터 보관시 암호화와 접근 제어 등의 보안 메커니즘 사용
여부 확인
» 데이터 백업과 복원 방안 마련 여부 확인
» 데이터 보관 및 관리시 관련 법적 규정 및 개인정보보호법 등의
데이터 관리 및 보안 규정 준수 여부 확인
» 데이터 사용 및 이동에 대한 로그 기록 및 감사 추적 기능 제공
여부 확인
» 데이터 유출 등 침해사고 발생 시 대응 방안 수립 여부 및 대응
매뉴얼 존재 여부 확인
챗GPT 등 생성형 AI 활용 보안 가이드라인 31
•책임감 있는 서비스 사용
서비스를 책임감 있게 사용하는 방법은 무엇인가?
서 비스는 많은 유용한 기능을 제공하지만, 사용자는 책임감 있는 방식으로
서비스를 사용해야 한다. 사기, 디도스 공격(DDoS), 스팸, 협박 등 악의적 행위를
목적으로 이 서비스를 사용하지 말아야 한다.
» 서비스 사용 시 윤리적 가치 고려 및 상호 존중
윤리적 사용 » 서비스 사용시 윤리적 가치 고려를 통해 긍정적 사용자 경험
및 유익 결과 지향
» 악의적 행위(사기, DDoS. 스팸, 협박 등) 저지를 통한 법적
악의적 행위 금지
문제 방지 및 서비스 이용 경험 보호
서비스 약관 준수 » 서비스 제공자의 이용 약관 숙지 및 준수
•업무에서의 올바른 서비스 활용(이용목적 및 협업)
서비스의 이용목적을 어떻게 구별할 수 있는가?
서비스를 사용할 때 개인적인 용도 및 업무 용도를 구분해야 한다. 업무용으로 사용
시 소속 기관의 보안 정책을 준수해야 하며, 개인정보 및 기관 내부 정보활용을 금
지하여야 한다.
서비스 이용 목적 명확화 » AI 모델 사용시 개인적 이용과 업무용 이용 구분 필요
계정 분리 » 사적 이용과 업무용 이용 별도의 계정 사용 권장
챗GPT 등 생성형 AI 활용 보안 가이드라인 32
3.4. 서비스 플러그인 사용 주의사항
•올바른 서비스 플러그인 사용 및 관리
1 안전한 서비스 플러그인을 사용하려면 어떻게 해야 하는가?
1 서비스 플러그인을 사용할 때는 반드시 정식 배포 이후에 사용해야 한다. 또한,
플러그인 제공 업체의 신뢰성을 확인해야 하고, 악성 플러그인 또는 취약 프로그램과
연결된 플러그인 사용을 주의해야 한다.
» 신뢰 가능한 소스에서 플러그인 다운로드 및 설치
정식 배포된 플러그인 사용
» 정식 배포 플러그인을 통한 품질 보증 및 안전성 확보
» 플러그인 제공업체 신뢰성 확인 필요(보안 조치 및 지속 업데이트
플러그인 제공 업체 여부, 고객 지원 종류 등)
신뢰성 확인
» 신뢰할 수 없는 업체 플러그인 사용 시 데이터 노출 가능성 존재
» 정상 플러그인 여부 확인 후 사용
악성 플러그인 주의
» 외부 데이터에 접근 가능한 플러그인의 악의적 활용 주의
취약 프로그램과 연결된 » 취약 서비스 기반 플러그인 사용 금지
플러그인 주의 » 연결 서비스 취약점 및 업데이트 버전 수정 내역 확인
2 서비스 플러그인을 어떻게 관리해야 하는가?
2 정기적으로 플러그인을 업데이트하고 사용하지 않거나 필요하지 않은 플러그인은
제거해야 한다. 또한, 플러그인을 설치하기 전, 해당 플러그인이 사용 중인
웹 브라우저 및 시스템과 호환되는지를 확인하고, 정상적인 플러그인이더라도
어떤 권한을 가지고 있는지, 어떤 데이터에 접근하는지를 수시 확인해야 한다.
챗GPT 등 생성형 AI 활용 보안 가이드라인 33
업데이트 알림 활성화 및 » 업데이트 알림 활성화 및 업데이트 정보 주기적 확인을 통한
주기적 확인 최신 버전 유지
사용 빈도/성능 저하 점검 » 사용 빈도 낮은 플러그인 제거
및 삭제 » 성능 저하 플러그인 제거
플러그인 권한 확인 » 플러그인 권한 검토 및 부적절한 권한 거부
접근 데이터 확인 » 플러그인 접근 데이터 주기적 확인
•개인정보 및 민감 정보 처리
서비스 플러그인을 사용할 때 개인정보나 민감 정보는 어떻게 처리해야 하는가?
플러그인을 통해 서비스가 외부 데이터에 접근할 수 있으므로, 플러그인이 접근하는
데이터를 보호하여야 한다. 또한, 플러그인이 데이터를 어떻게 처리하는지 이해하고,
개인정보 보호를 위한 적절한 조치를 취해야 한다.
개인정보 및 민감 정보 » 플러그인 접근 데이터에 대한 가명화 및 익명화
보호 조치 » 플러그인 접근 데이터에 대한 인증 및 권한 관리 설정
플러그인의 데이터
» 플러그인 제작사의 데이터 처리 방식 이해
처리 이해
챗GPT 등 생성형 AI 활용 보안 가이드라인 34
3.5. 서비스 확장 프로그램 사용 주의사항
•올바른 서비스 확장 프로그램 사용 및 관리
1 안전한 서비스 확장 프로그램을 사용하려면 어떻게 해야 하는가?
1 서비스 확장 프로그램을 사용할 때는 반드시 제작자를 확인하고, 공식 출처에서
다운로드 받아야 한다. 이때 요구되는 권한을 주의 깊게 검토해 불필요한 권한을
요구하는 확장 프로그램은 개인정보 유출이나 데이터 손상의 위험이 있으므로
사용을 피해야 한다. 또한, 다른 사용자들의 확장 프로그램 사용 후기와 평가를
참고하여 플러그인의 안전성과 효과를 확인할 필요가 있다.
» 신뢰할 수 있는 출처(공식 웹 사이트, 검증된 다운로드 사이트 등)를
신뢰할 수 있는 출처에서 사용한 확장 프로그램 다운로드
다운로드
» 불법 사이트 및 알 수 없는 출처의 확장 프로그램 설치 금지
권한 목록 확인 및
» 확장 프로그램 요구 권한 목록 확인 및 불필요한 권한 거부
불필요한 권한 거부
사용자 리뷰 및 » 사용자 리뷰 및 전문가 평가 확인을 통한 확장 프로그램 신뢰성
전문가 평가 확인 검증
보안 소프트웨어와 » 보 안 소프트웨어를 통한 악성 확장 프로그램에 대한 경고
함께 사용 기능 설정
2 서비스 확장 프로그램을 어떻게 관리해야 하는가?
2 정 기적인 업데이트와 제거가 필요하다. 확장 프로그램 업데이트를 통해 각종
보안 취약점이 업데이트될 수 있고, 불필요한 확장 프로그램은 시스템 성능
저하 및 보안 취약점을 초래할 수 있다.
챗GPT 등 생성형 AI 활용 보안 가이드라인 35
업데이트 알림 활성화 및
» 업데이트 알림 활성화 및 주기적 확인을 통한 최신 버전 사용
주기적 확인
사용 빈도/성능 저하 점검 » 사용 빈도 낮은 확장 프로그램 제거
및 삭제 » 시스템 성능 저하 확장 프로그램 제거
•개인정보 및 민감 정보 처리
서비스 확장 프로그램을 사용할 때 개인정보나 민감 정보는 어떻게 처리해야 하는가?
확장 프로그램은 사용자의 데이터에 접근할 수 있으므로, 데이터 보호 측면에서
확장 프로그램을 사용할 때 개인정보나 민감 정보를 공유하지 않아야 한다. 또한,
확장 프로그램이 데이터를 어떻게 처리하는지 이해하고, 개인정보 보호를 위한
적절한 조치를 취해야 한다.
» 확장 프로그램 제작자의 개인정보 처리 방침을 통한 데이터
데이터 처리 방식 확인
저장 및 전송 방식, 보안 정책 확인
» 확장 프로그램의 데이터 접근 권한 제한
데이터 공유 주의
» 개인정보 및 민감 정보 수집 확장 프로그램 사용 금지
» 확장 프로그램 제작자의 보안 기능 확인
개인정보 보호 조치
» 필요시 데이터 가명화, 익명화, 인증 및 권한 관리 설정
» 개인정보 및 민감 정보 관련 법률 및 규정 준수
데이터 처리 방침 준수 » 적절한 데이터 보호기술 사용
» 필요시 데이터 가명화, 익명화 적용
챗GPT 등 생성형 AI 활용 보안 가이드라인 36
3.6. AI 모델 생성기반 공격 대처 방안
•AI 모델 생성기반 공격 정의
AI 모델 생성기반 공격이란 무엇인가?
I 모델은 생성기반 공격에 사용될 수 있다. 생성기반 공격은 인공지능 모델이 생성한
A
텍스트를 이용하여 악의적인 목적을 달성하는 공격이다. 이러한 공격은 편견, 혼란 및
불신 조장, 피싱 및 사기를 통한 개인정보 및 기밀정보 탈취, 사람들의 신념을 조작
하거나 특정 의견을 전파하는 사회적 공학 공격 등 다양한 목적으로 수행되어 정부,
기업 및 개인에게 심각한 영향을 미칠 수 있다.
•AI 모델 생성기반 공격 대처
AI 모델 생성기반 공격에 어떻게 대처해야 하는가?
사용자들은 AI 모델 생성기반 공격에 대해 비판적으로 접근하고, 편견이나 허위
정보를 퍼뜨리는 목적으로 사용되는 콘텐츠를 구별할 수 있어야 한다. 또한, 다양한
도구를 사용하고 보안 전문가와 인공지능 개발자들이 함께 시스템을 구축하여
이러한 공격에 대응해야 한다.
인공지능 생성 콘텐츠 » AI 모델 생성 콘텐츠 특성(급격한 주제 전환, 논리적 모순 등)
특징 파악 이해를 통한 사람 작성 콘텐츠와 구별
인공지능 생성 콘텐츠 » 인공지능 생성 콘텐츠 감지 도구(GPTZero, DetectGPT 등)를
감지 도구 사용 사용한 AI 모델 생성 여부 구별
» 생성기반 공격 대응체계 구축을 통한 실시간 공격 감지 및 대응
공격 대응체계 구축
» 인공지능 기반 보안 솔루션 도입 및 수동 감시
챗GPT 등 생성형 AI 활용 보안 가이드라인 37
» 사실 여부 확인 및 객관적 분석을 통한 비판적 콘텐츠 수용
인공지능 생성 콘텐츠
위험 인지 » 감정적 자극 유도 및 소셜 미디어 서비스 콘텐츠에 대한 비판적
자세 견지
» 생성기반 공격 관련 정책 수립
보안 정책 및 교육 강화
» 기관 차원의 생성기반 공격 교육을 통한 사용자 인식 향상
챗GPT 등 생성형 AI 활용 보안 가이드라인 38
4. 생성형 인공지능 기반 정보화사업 구축 방안 및 보안 대책
4.1. 개요
•본 장에서는 각급기관에서 OpenAI 챗GPT 등 생성형 대규모 언어모델(이하 ‘AI 모델’)을
기반으로 안전한 서비스를 구축·활용하기 위한 가이드라인을 제공하고자 한다. 이를
통해 관련 API 사용과 서비스 구축 및 운영 과정에서 발생하는 보안 위협을 최소화하도록
한다.
•AI 모델은 의료, 복지, 금융, 교육 등 다양한 분야에서 활용될 수 있으며, 대국민 서비스
또는 각급기관의 효율적 업무를 위한 내부 업무 시스템 등의 형태로 구축될 수 있다. 본
가이드라인은 이러한 AI 모델 기술 활용간 국내·외 민간 업체에서 개발된 AI 모델을 활용
하거나, 자체 AI 모델을 구축하는 경우에도 적용될 수 있다(<그림 13> 참조).
•본 가이드라인은 (1) 구축 유형에 따른 AI 모델 도입 시 고려사항, (2) AI 모델 API 활용
및 민간 AI 모델 도입 방안, (3) 자체 데이터 세트 및 AI 모델 구축 단계별 보안 위협 대응
방안을 다루고 있다. 이외 사항은 「국가 정보보안 기본지침」 등 관련 규정을 준수하여야
한다.
생성형 AI 모델 기반 공공서비스
국가기관 내부 업무망
의료 시스템 복지 시스템
자체 AI 모델 API 키 API 키
구축 금융 시스템 교육 시스템
기반 AI 모델 서비스 사용자
대민 서비스 내부 행정 시스템
사업자
API기반 공공서비스 서버 구축 주의사항
입력 데이터 데이터 데이터 API 키 데이터 유효성
데이터 보안
검증 익명화&가명화 오남용 방지 관리 및 기밀성 보장
보안 요구사항 접근 제한 및 프로토콜 오류 및 지속적인 모니터링과
시스템 보안
준수 인증 보안 예외 처리 업데이트
그림 13. 생성형 인공지능 API 기반 공공서비스 구축 시 주의사항
챗GPT 등 생성형 AI 활용 보안 가이드라인 39
4.2. 구축 유형에 따른 생성 AI 기술 도입 시 고려사항
(가) 내부 행정 업무 활용 시스템 도입 (내부망 구축 시)
【기본 고려사항】
•AI 모델을 기관 내부망에 구축하여 각급기관의 행정 업무 등에 활용할 경우 각급 기관의
비공개 데이터를 비롯한 민감 정보가 AI 모델을 통해 처리되기 때문에 신중한 구축 방안
수립이 필요하다.
•AI 모델을 적용·활용하기 위한 내부 업무 시스템은 인터넷 등 외부망과 분리된 상태로
운영되어야 한다.
【기관 자체 구축·정부 자원 활용 시】
•기관에서 생성형 AI 모델 기반 인공지능 서비스를 개발하기 위해서 정부 기관 소유의 정보
시스템을 통해 추진할 수 있으며, 기관 자체의 AI 모델을 학습·강화·가공 등 지속 개발·
서비스할 수 있다.
- 이 경우 全 절차에서 AI 모델 학습에 이용되는 기관 데이터 및 사용자 질의문·생성물
등 개발·운용 시 발생하는 데이터는 기관 외부로 직접적으로 이동할 수 없다. 다만,
보안성이 담보된 안전한 망연계시스템 활용 등 망분리 관련 보안대책을 준수하는
경우 해당 기관 외부로 데이터가 전달될 수 있다.
【클라우드컴퓨팅 기술·환경 활용 시】
•내부 행정업무를 클라우드컴퓨팅 기술을 활용해 운용하는 기관의 경우, 「국가 클라우드
컴퓨팅 보안 가이드라인」의 보안등급 구분 및 보안대책을 준수하여 개발·운영할 수 있다.
- 이때, 인터넷을 기반으로 서비스되는 관련 기술은 사용될 수 없으며, 기관 내부 행정망 이외의
네트워크에 연결되어 있거나 물리적 영역 분리가 이루어지지 않은 경우 이용할 수 없다.
【국가정보원 보안성 검토 절차 준수】
•국가정보보안기본지침」 제15조 제1항 제19호에 의거, 첨단 정보통신기술을 활용한 정
보화사업을 추진하기 위해서는 국가정보원의 사전 보안성 검토 절차를 준수하여야 한다.
챗GPT 등 생성형 AI 활용 보안 가이드라인 40
(나) 대민서비스 등 외부 업무 활용 시스템 도입(외부·전용망 구축 시)
【기본 고려사항】
•AI 모델 기반 AI 서비스를 기관망 외부·전용망에 구축하여 대민서비스 및 홈페이지 등
외부 공개 업무에 활용할 경우 AI 모델 학습에 필요한 기관 데이터 유출이 야기될 수
있으므로 충분한 주의가 필요하다.
【기관 자체 구축·정부 자원 활용 시】
•기관에서 생성형 AI 모델 기반 인공지능 서비스를 개발하기 위해서 정부 기관 소유의
정보시스템을 통해 추진할 수 있으며, 기관 자체의 AI 모델을 학습·강화·가공 등 지속
개발·서비스할 수 있다.
- 이때 정부 기관 소유 정보시스템상에서 상용 AI 모델을 도입하여 관련 서비스를 개발
하고자 하는 경우, 학습에 이용되는 데이터 및 사용자 질의문 등 개발·운용 시 발생하는
모든 데이터에 대한 기관 자체 보안등급 분류를 통해 상용 AI 모델을 도입할 수 있는지
여부를 판단하여야 하며, 개발 이후에도 주기적 데이터 등급 지정·점검을 통해 철저한
관리가 필요하다.
【클라우드컴퓨팅 기술·환경 활용 시】
•클라우드컴퓨팅 기술을 활용해 관련 서비스를 개발하려는 기관의 경우, 「국가 클라우드
컴퓨팅 보안 가이드라인」의 보안등급 구분 및 보안대책을 준수하여 개발·운영할 수 있다.
•클라우드컴퓨팅 서비스 내에서 제공되는 관련 상용 서비스를 활용하여 개발할 수 있으며,
AI 모델 학습에 이용되는 기관 데이터 및 사용자 질의문 등 개발·운용 시 발생하는 모든
데이터는 기관 소유로서 민감한 내부 정보는 AI 모델 학습에 활용되지 않도록 해야 하며
이를 위한 데이터 관리에 주의를 기울여야 한다.
【국가정보원 보안성 검토 절차 준수】
•「국가정보보안기본지침」 제15조 제1항 제19호에 의거, 첨단 정보통신기술을 활용한
정보화사업을 추진하기 위해서는 국가정보원의 사전 보안성 검토 절차를 준수하여야 한다.
챗GPT 등 생성형 AI 활용 보안 가이드라인 41
4.3. AI 모델 API 활용 및 민간 AI 모델 도입 방안
•AI 모델 API의 데이터 보안 고려사항
- AI 모델 API 활용 시 데이터 보안을 위해 (1) 입력 데이터 검증, (2) 개인정보 처리, (3) 데이터
오남용 방지, (4) API 키 관리 등의 사항을 고려해야 한다.
» API 호출 시 입력되는 데이터에 대한 유효성 검사를 수행하여
SQL 주입(SQL Injection), XSS(Cross-site Scripting) 공격
입력 데이터 검증 등 위해 행위 방지
» API 호출 시 입력되는 데이터에 대한 기관 내부 정보 혹은
개인정보 포함 여부를 확인
» 「개인정보 보호법」 등 개인정보의 처리에 관한 규정을 준수하여
데이터 처리
개인정보 처리 » 민감한 정보를 처리하기 전에 사용자의 동의 수집
» 데이터 가명화 및 익명화를 통해 데이터 누출 시 개인을 직접적
으로 식별 또는 연관 불가토록 조치
» API에 전달하는 사용자 입력 데이터 최소화
» API를 통해 반환되는 결과를 항상 검토하고, 안전성 및 정확성을
확인
데이터 오남용 방지 » 불필요한 데이터 저장 및 공유 금지
» 필요한 최소한의 기간만 사용자 입력과 API 응답 결과를 저장
하고, 보관 기간 이후에는 기관 및 API 양측 서버간 데이터
완전 삭제
» API 키를 암호화된 파일에 보관하여 보안 강화
» API 키를 사용하는 프로젝트, 애플리케이션, 사용자에 대한
접근 권한 최소화 및 정기 점검
API 키 관리
» 정기 및 수시 API 키 갱신으로 보안성 유지
» API 키 사용 내용을 지속 모니터링하여 허가되지 않은 사용이
나 악의적 활동을 신속 발견·대응
챗GPT 등 생성형 AI 활용 보안 가이드라인 42
•AI 모델 기술 API의 서버 보안 고려사항
- AI 모델 API의 서버 보안 고려사항으로는 (1) 보안 요구사항 준수, (2) 접근 제한 및 인증,
(3) 예외 및 오류 처리, (4) 사용량 관리, (5) 기타 고려사항이 있다.
» 「개인정보보호법」, 「전자정부법」, 「사이버안보 업무규정」 등
국내 보안 관련 법률과 규정을 정확히 이해하고 이에 따라
보안 요구사항 준수
시스템을 설계하고 운영
» API를 사용하기 전 반드시 이용약관을 확인하고 이를 준수
» 사용자, 역할, 권한에 따라 시스템의 특정 부분에 대한 접근
제어
접근 제한 및 인증
» 기본 인증, 이중 인증(2FA), 생체 인증 등 다양한 방법을 통해
사용자의 신원 보장 및 무단 접근 방지
» 올바른 예외 처리를 통해 시스템이 예외 상황에서도 안정적으로
작동하도록 시스템 신뢰성 확보
예외 및 오류 처리
» 시스템의 안정성을 유지하고, 예상치 못한 문제로부터 시스템을
보호하기 위해 발생한 오류를 적절하게 처리
» API 사용량을 추적하여 필요에 따라 사용량 제한 또는 사용
패턴 최적화
사용량 관리 » 사용량을 제한하여 특정 사용자가 시스템을 과도하게 사용
하여 다른 사용자의 서비스 이용을 방해하는 행위 방지
» 사용 패턴 최적화를 통해 서비스 비용 효율 최대화
챗GPT 등 생성형 AI 활용 보안 가이드라인 43
» HTTPS, SSL/TLS 등의 보안 프로토콜을 사용하여 데이터를
안전하게 전송
» API 키 관리, 토큰 기반 인증, OAuth 등을 통해 API를 보호
» 서버 자체의 보안을 위해 OS, 네트워크, 데이터베이스 등의
시스템 보안 유지
» 시스템의 이상 행동을 감지하고, 보안 문제를 조기에 발견·
대응하기 위해 로그 수집, 분석, 및 모니터링
기타 고려사항
» 코드 주입, XSS, CSRF 등의 공격을 방지하기 위해 안전한
코딩 기법 사용
» 최소한의 권한 원칙 적용 및 권한 변경 철저 관리
» 직원의 보안 교육을 지속적으로 실시하여 조직 내부에서 발생
할 수 있는 보안 위협 대비
» 시스템 장애나 보안 사고의 신속하고 효과적인 대응을 위해
사고 대응 프로세스 정의 및 데이터 백업과 복구 전략 수립
챗GPT 등 생성형 AI 활용 보안 가이드라인 44
•AI 모델 API 및 상용 AI 모델 도입 전략
[도입을 위한 기술 검토]
- AI 모델 API 및 상용 AI 모델 도입 이전에 해당 모델이 조직의 요구사항과 일치하는지
확인해야 한다. 이를 위해 (1) 기술적 특성, (2) 성능, (3) 보안, (4) 비용 등 다양한
측면에서 모델을 검토해야 한다.
» AI 모델의 출력 품질과 유용성 향상을 위해 훈련 데이터 관리
» AI 모델의 출력 형태를 확인하고, 조직의 요구사항과 알맞은
출력 형태의 모델 선택
» API, 미세 조정 또는 사전 학습 등 AI 모델의 사용 형태를 사전
기술적 특성
검토하여 알맞은 방법 도입
» 조직의 요구사항에 알맞은 미세 조정 가능 여부 확인
» AI 모델 사용 형태 및 크기 등 모델 구동에 필요한 리소스 사전
파악
» AI 모델 출력결과 정확성 확인
성능 » AI 모델 결과 응답 속도 및 지연 시간 측정
» AI 모델 출력결과 일관성 확인
» 상용 AI 모델 제공자의 개인정보처리방침 및 사용자 약관을
참고하여 데이터의 수집 및 처리 방법 확인
» A I 모델 제공업체에 대한 국내 IT 보안에 대한 법적 요구
보안
사항 준수 확인
» AI 모델 제공업체의 보안 인프라 및 긴급 위기 대비태세 등
관련 정책 여부 확인
비용 » API 사용 및 민간 AI 모델 도입에 합리적 비용 고려
챗GPT 등 생성형 AI 활용 보안 가이드라인 45
[테스트 전략]
- AI 모델 도입 전에는 반드시 해당 모델 결과에 대한 정확성, 적절성 등에 관한 테스트
거쳐야 한다. 이를 위해 모델의 성능을 측정하는 (1) 테스트 케이스를 설계하고, (2) 모델의
출력을 사람이 검토할 수 있는 방안을 마련해야 한다.
» AI 모델이 기능적으로 필요한 모든 요구사항을 충족하는지 확인
» AI 모델이 극단적이거나 예상치 못한 입력에 대해 적절하게
테스트 케이스 설계 반응하는지 확인
» AI 모델이 부적절하거나 위험한 요청을 적절하게 거부하거나
처리하는지 확인
» AI 모델이 정확한·일관된·적절한 정보를 제공하는지 확인
AI 모델 출력 검토 » AI 모델에 대한 미세 조정이 가능한 경우, 사용자의 피드백을
통해 AI 모델의 성능을 평가하고 개선시킬 수 있는지 확인
[시스템 통합 전략]
- AI 모델을 기존 시스템과 연계하기 위한 전략이 필요하며, 이를 위해 시스템의 아키텍처를
이해하고, 모델을 통합·연계하기 위한 기술적 요구사항을 파악해야 한다.
» 시스템에 대한 문서화된 정보 검토 및 시스템 관계자 인터뷰
수행
시스템 아키텍처 이해
» 데 이터 흐름 및 프로세스 시각화를 통해 시스템 아키텍처
이해
» 기술적 요구사항을 정의 및 시스템과 모델 간 인터페이스 설계
기술적 요구사항 파악
» 통합 테스트 계획 수립으로 기술적 요구사항 파악
챗GPT 등 생성형 AI 활용 보안 가이드라인 46
4.4. 자체 데이터 세트 및 AI 모델 구축 단계별 보안 위협 대응 방안
데이터 수집 / 전처리 모델 학습 평가 및 테스트 배포 및 서비스
- 민감 콘텐츠 필터링 - 모델 성능 vs. 개인정보 - 어뷰징 질문의 답변 거부 - 개인정보 유출 대책 마련
- 중복/유사한 데이터 제거 - 차등 정보보호 적용 - 제한된 답변 반환 - 데이터의 기계학습 해제
그림 14. AI 모델의 구축 단계에 따른 보안 위협의 대응 방안
•데이터 수집/전처리 단계
[자동화된 민감 데이터 전처리]
- 개발자는 자동화된 콘텐츠 필터링 도구를 적용하여 원시 데이터에 각급기관의 기밀정보
및 개인정보 등 민감 데이터가 포함되지 않도록 완전히 제거(sanitize)해야 한다. 이때
근래의 대규모 언어모델을 학습하기 위해 사용되는 데이터 세트는 그 크기가 방대할뿐더러
상당한 비정형 데이터가 포함되어 있으며, 수동으로 필터링하는 것은 상당한 시간이
소요될 수 있어 자동화된 데이터 전처리 도구를 마련· 활용한다.
[중복/유사 학습 데이터 제거]
- 개발자는 학습 데이터를 구축할 때 중복된 텍스트를 제거하는 것이 필요하다. 이는
대규모 언어모델이 훈련 데이터에 단어, 문자 또는 문서 수준에서 중복된 내용이 있을
경우, 모델이 이를 암기하고 예측에 활용하려는 경향이 있기 때문이다. 중복 데이터를
사용하게 되면, 정보 노출, 데이터 추론 등을 통해 훈련 데이터의 기밀성이 침해될 뿐
아니라, 민감한 개인정보가 노출될 수 있다.
•모델 학습 단계
[AI 모델 성능 고려한 기밀 정보 유출 차단 전략 수립]
- 개발자는 AI 모델의 성능과 기밀 정보의 유출 가능성에 대한 상충 관계를 적절히 조절
할 수 있는 학습 전략을 수립해야 한다. 공격자는 AI 모델이 사용한 학습 데이터와
평가 데이터 간의 손실 차이를 분석하여 특정 데이터가 훈련에 사용되었는지를 추론할
수 있다. 따라서, 개발자는 이러한 구별 가능성(distinguishable)을 최소화하여 기관 내
주요 정보 혹은 개인정보 유출 가능성을 줄이는 한편, AI 모델의 성능이 지나치게 저하
되지 않게 주의해야 한다.
챗GPT 등 생성형 AI 활용 보안 가이드라인 47
[정보 유출 방지를 위한 방안 마련]
- 개발자는 AI 모델의 학습 데이터에 의도하지 않게 포함될 수 있는 기관 내 주요 정보
또는 개인정보를 보호하기 위해, 학습 과정에서 임의의 노이즈(noise)를 삽입하여
정보 노출의 위험도를 낮춰주기 위한 정보보호 알고리즘(differential privacy)을 적용할
수 있다.
•평가 및 테스트 단계
[어뷰징 질문에 대한 답변 거부]
개발자는 AI 모델이 의도하지 않은 질문에 대한 답변을 거부할 수 있도록 신중한 미세
조정 방식을 고려해야 한다. 예를 들어, 내부 정보의 유출 유도 또는 혐오 발언, 선정성
등과 같이 사회적으로 논란이나 거부감을 일으킬 수 있는 답변은 거부하거나, 윤리적인
규범에 따라 조정되어야 한다. 또한 빈 프롬프트(입력이 공백 문자열로만 이루어진 경우)를
받았을 때는 메시지가 끊긴 것으로 간주하고 답변을 다시 확인해달라는 응답을 반환
하여 훈련 데이터 추출 공격을 예방할 수 있다.
[AI 모델의 출력 결과 제한]
- 개발자는 입력에 대한 AI 모델의 모든 출력을 사용자에게 그대로 전달하는 것을 제한
해야 한다. 만약 입력에 대한 AI 모델의 모든 출력 결과를 사용자에게 전달한다면,
공격자는 이러한 쿼리를 반복하여 수행함으로써 비공개 모델의 복제본을 생성할 수
있다. 이를 방지하기 위해 사용자에게 반환하는 각 단어의 신뢰도에 노이즈를 추가
하여 교란하거나, 사용자가 가장 선호할 것으로 예상되는 단일 또는 일정 개수의 답안을
반환하는 형태로 응답을 제한해야 한다.
•배포 및 서비스 단계
[정보 유출 대책 마련]
- 개발자는 AI 모델이 생성한 데이터에 개인정보 또는 비공개 업무자료 등 민감한
정보로 의심되는 표현이 등장할 경우를 대비하여 적절한 대응체계를 사전에 준비해야
한다. 각급기관은 국가정보원의 「국가 정보보안 기본지침」 및 개인정보보호위원회의
「개인정보 유출 대응 매뉴얼」 등을 참고하여 자료유출 등 사고 발생 대비 대책을 마련
챗GPT 등 생성형 AI 활용 보안 가이드라인 48
하여 시행하는 것을 권고한다.
[데이터의 기계학습 해제]
- 대규모 언어모델이 민감한 데이터를 암기 및 유출하는 현상을 확인하고, 학습 데이터
세트에서도 이러한 민감 정보를 발견했을 때, 개발자는 기계학습 해제( machine
unlearning) 등의 방법을 이용한 모델 재학습을 고려해야 한다.
챗GPT 등 생성형 AI 활용 보안 가이드라인 49
5. 부록
5.1. 약어
2FA Two-Factor Authentication
AI Artificial Intelligence
API Application Programming Interface
CSV Comma Seperated Value
DDoS Distributed Denial of Service
DNS Domain Name System
EDPB European Data Protection Board
EU European Union
GDPR General Data Protection Regulation
GPT Generative Pre-trained Transformer
HTTPS Hypertext Transfer Protocol Secure
IP Internet Protocol
IT Information Technology
LLMs Large Language Models
ML Machine Learning
MS Microsoft
NIST National Institute of Standards and Technology
NLP Natural Language Processing
PII Personally Identifiable Information
RBAC Role-Based Access Control
RLHF Reinforcement Learning from Human Feedback
SQL Structured Query Language
SSL Secure Sockets Layer
URL Uniform Resource Locator
챗GPT 등 생성형 AI 활용 보안 가이드라인 50
VPN Virtual Private Network
Wi-Fi Wireless Fidelity
XSS Cross Site Scripting
챗GPT 등 생성형 AI 활용 보안 가이드라인 51
챗GPT 등 생성형 AI 활용
보안수칙
민감한 정보(非공개 정보, 개인정보 등) 입력 금지
* 설정에서 「대화 이력&학습」 기능 非활성화
생성물에 대한 정확성·윤리성·적합성 등 再검증
가짜뉴스 유포·불법물 제작·해킹 등 범죄에 악용 금지
생성물 활용 시 지적 재산권·저작권 등 법률 침해·위반 여부 확인
악의적으로 거짓 정보를 입력·학습 유도하는 등 非윤리적 활용 금지
연계·확장프로그램 사용 시 보안 취약여부 등 안전성 확인
로그인 계정에 대한 보안설정 강화 및 보안관리 철저
* ‘다중 인증(Multi-Factor Authentication)’ 설정 등
챗GPT 등
생성형 AI 활용
보안 가이드라인
붙임 5. 해킹조직 기술절취 주의 관련 사이버안보 보안권고문.pdf
PDF 첨부 본문
2024. 8. 5
북한 해킹조직의 건설ᆞ기계 분야 기술절취 주의
요약(Summary)
대한민국 국가정보원ㆍ검찰청ㆍ경찰청ㆍ국군방첩사령부ㆍ사이버작전사령부 등
사이버안보 정보공동체(이하 정보공동체)는 북한 해킹조직이 우리나라의 건설ㆍ
기계 분야를 대상으로 자행한 사이버공격의 위험성을 알리고 피해 예방 및
완화를 위해 합동 사이버 보안권고문을 배포합니다. 북한 해킹 활동에 사용된
공격 전략ㆍ기술ㆍ절차(TTPs) 및 침해지표(IoCs)를 포함하였습니다.
북한은 올해 1.15 개최한 제14기 제10차 최고인민회의에서 김정은이 ‘지방발전
20×10 정책’을 공식화한 후, 매년 20개 시ㆍ군에 현대화된 공업공장 건설을
추진하고 있습니다. 북한의 黨ㆍ軍ㆍ政은 앞다퉈 정책 관철을 위해 매진하고
있으며, 북한 해킹조직도 이와 다르지 않습니다. 정보공동체는 건설ㆍ기계 단체
및 지자체 공무원 대상 해킹 공격이 전년 대비 급증한 것을 확인하였으며
북한이 무단 절취한 우리나라의 건설ㆍ기계 및 도시건설 분야 자료들을 공업
공장 건설과 지방발전 계획에 사용할 것으로 추정합니다.
정보공동체는 금번 사이버보안 권고문에 포함된 해킹 활동의 주체를 북한 정찰총국
산하 김수키1) 및 안다리엘2) 해킹조직으로 평가하며, 정찰총국 산하 2개 해킹
조직이 같은 시기에 동일한 정책적 목적을 달성하기 위해 특정 분야를 집중
공격하는 것은 이례적인 것으로 철저한 대비가 필요합니다.
1) 산업계에서는 김수키(Kimsuky)를 루비슬릿(Ruby Sleet), APT43, 벨벳천리마(VelvetChollima) 등으로 명명
2) 안다리엘(Andariel)은 다크서울(Dark Seoul), 싸일런트천리마(Silent Chollima), 오닉스슬릿(Onyx Sleet) 등으로 불림
1
기술적 사항(Technical Details)
다음은 두 해킹조직의 대표적인 건설ㆍ기계분야 해킹공격 사례입니다.
CASE 1 ‘건설분야 직능단체’ 대상 악성코드 대량 유포
2024년 1월 북한 김수키 해킹조직은 우리나라 건설 분야 직능단체 홈페이지를
통해 악성코드를 유포하였습니다. 악성코드는 홈페이지 로그인 시 사용되는 보안
인증 S/W에 은닉되어 있었으며, 이로 인해 홈페이지에 접속한 지자체, 공공기관,
건설기업의 관련 업무 담당자 PC가 감염되었습니다. 분석 결과, 정상 배포
채널을 변조한 ‘공급망 공격3)’과 건설ㆍ설계 전문가가 자주 방문하는 홈페이지를
통해 유포하는 ‘워터링홀4)’이 결합된 공격으로 확인되었습니다.
그림1. 북한 김수키 해킹조직의 악성코드 유포 과정
공격 절차
❶ 공격자는 웹사이트 파일 업로드 취약점을 악용하여 직능단체 홈페이지의 보안
인증 S/W를 변조한 것으로 추정됩니다. 보안인증 S/W는 홈페이지 로그인을
강화하기 위해 설치하는 필수 프로그램(5개)인데, 해커는 이 중 1개를
변조하여 악성코드를 은닉하였습니다.
3) 공격자가 소프트웨어 개발ㆍ유통 등 과정에 침입해 악성코드를 사용자 기기에 감염시키는 공격방식
4) 사용자가 자주 방문하는 웹사이트에 악성코드를 숨겨두고, 사용자가 해당 웹사이트 방문시 악성코드에 감염되는 형태
2
❷ 사용자는 홈페이지 로그인 단계에서 변조된 보안인증 S/W(NX_PRNMAN)
설치파일을 실행하게 됩니다. 특히, 변조된 보안인증 S/W는 합법적인
인증서5)(D2Innovation社 소유)로 서명되어 있어 일부 웹브라우저ㆍ백신의
탐지를 우회할 수 있습니다.
❸ 변조된 보안인증 S/W 설치파일이 실행되면 %APPDATA% 경로에 DLL
형태의 악성코드가 실행되고, 이와 함께 정상적인 프로그램도 실행됩니다.
이 악성코드는 백그라운드 상태에서 정보절취 기능을 수행해 사용자는 악성
행위를 인지하기 어렵습니다. 이 악성코드는 Go 프로그래밍 언어로 작성되었고,
일부 보안업체는 해당 악성코드를 ‘TrollAgent6)’ 라고 명명한 바 있습니다.
❹ 악성코드는 시스템 정보를 수집하고 사용자 화면을 캡처하는 기능을 보유
하고 있으며, 네이버 웨일ㆍ구글 크롬ㆍ마이크로소프트 엣지 등 브라우저에
저장된 정보(자격증명ㆍ쿠키ㆍ북마크ㆍ히스토리 등)를 수집할 수 있습니다.
감염PC에 보관 중인 GPKI 인증서와 SSH 인증키, Sticky Note, 파일질라
정보를 절취하는 기능도 가지고 있습니다.
Key Finding
김수키 해킹조직은 유효한 디지털 인증서를 사전에 절취하여 변조된 S/W파일
(보안인증 S/W)에 서명하고, 정상 보안인증 S/W와 함께 유포하는 등 치밀한
준비 작업을 거쳤습니다. 이 공격은 건설 관련 국가기관ㆍ기업들의 접속 빈도가
높은 홈페이지를 유포 경로로 활용하였고, 정보절취 악성코드에 GPKI 인증서
절취 기능이 포함된 것으로 보아 건설분야 공직자 해킹을 교두보 삼아 주요
건설사업 정보와 사업에 참여한 건설기업의 기술자료 절취를 시도한 것으로
추정됩니다.
5) 합법적인 인증서는 개발자가 S/W 배포시 제3자에 의해 코드가 손상되거나 해킹 당하지 않았음을 증명하기 위해 적용한 ‘코드
서명 인증서’가 유효하다는 뜻. 만약 해커가 사용했다면 인증서의 소유자가 해킹으로 인증서를 탈취당했다는 의미
6) 국내 보안업체 안랩社는 ‘보안 프로그램 설치 과정에서 감염되는 TrollAgent’ 제하 분석보고서 공개(https://asec.ahnlab.com/ko/61666)
3
MITRE7) 공격 매트릭스 for Enterprise Windows(v15)
공격 전술(Tactics) 공격 기술(Techniques) 사용 형태(Description)
드라이브바이 감염(T1189) 웹사이트 감염(워터링홀)
초기 접근(TA0001)
공급망 공격(T1195) 정상적인 배포 파일 변조
실행(TA0002) 사용자 실행:악성파일(T1204.002) 사용자가 설치파일 실행
파일 난독화:패킹(T1027.002) VMProtect 패킹사용
방어회피(TA0004) 합법적인 인증서 및 보안인증 S/W
위장(T1036)
설치파일 사용
파일 및 폴더 탐색(T1083) GPKI 폴더ㆍ파일 탐색
탐색(TA0007)
브라우저 정보 탐색(T1217) 자격증명ㆍ쿠키ㆍ북마크ㆍ히스토리 탐색
로컬저장소 데이터(T1005) CMD 명령을 통한 시스템 정보수집
로컬데이터 보관(T1074.001) 유출자료 파일로 저장
수집(TA0009) 화면캡쳐(T1113) 화면 캡쳐 수집
SSH Key, %APPDATA% Sticky
자동화 수집(T1119)
Note, 파일질라 등 수집
어플리케이션 프로토콜:웹프로토콜
C2와 HTTP 통신
명령 및 (T1071.001)
제어(TA0011) 암호화 채널:비대칭암호화
RSA 암호화
(T1573.002)
유출(TA0010) C2를 통한 유출(T1041) C2 서버에 파일 전송
CASE 2 ‘정보보안제품 취약점’ 악용하여 국내 기계분야 공격
2024년 4월 북한 안다리엘 해킹조직은 국내 정보보안 S/W(VPNㆍ서버보안)에
대한 취약점을 악용해 업데이트 파일을 악성코드로 교체ㆍ실행하는 수법을
사용하였는데, 이를 통해 건설ㆍ기계업체 등에 원격제어 악성코드(DoraRAT)를
유포하였습니다.
7) MITRE ATT&CK는 실제 관찰을 기반으로 한 공격자의 전술ㆍ기술을 공격 단계별로 기술하고 있는 지침서이며, 전 세계적으로
활용되고 있습니다.
4
그림2. 북한 안다리엘의 ‘VPN SW’ 취약점 악용, 악성코드 유포 과정
공격 절차
❶ 공격자는 사전에 VPN 정보보안 S/W의 기능 중 클라이언트와 서버간 통신
프로토콜에 존재하는 취약점(업데이트시 인증 절차가 미흡)을 공격에 사용
하였습니다. 공격자는 정상 서버에서 발신한 것으로 위장된 통신패킷
(HTTP)을 사용자의 PC에 전송합니다. 사용자 PC의 VPN 클라이언트(이하
클라이언트)는 통신패킷 검증 과정 미흡으로 이를 정상 서버가 보내온 통신
으로 인식하게 됩니다.
❷ 클라이언트는 정상 VPN 서버가 아닌, 공격자의 C2 서버로 업데이트 파일을
요청하게 되는데, 공격자는 C2 서버에 VPN 서버로 위장한 프로그램을 동작
시켜 클라이언트를 기만합니다. 이 과정에서 클라이언트 요청 및 서버 응답의
정상 여부, 업데이트 파일의 무결성 체크 등 다수의 검증 단계가 존재하나
이를 모두 우회한 것으로 확인됩니다.
❸ 최종적으로 C2 서버에서 원격제어 악성코드를 사용자 PC에 전송하게 되고,
클라이언트는 업데이트 파일로 인식하고 실행하게 됩니다. 국내 보안업체에서는
원격제어 악성코드를 DoraRAT8) 라고 명명하고 있습니다. 이후 C2 서버로
부터 명령코드를 수신해 악성 기능을 수행합니다.
8) 국내 보안업체 안랩社는 ‘DoraRAT을 이용한 국내 기업 대상 APT 공격 사례 분석’ 분석 보고서 발표(https://asec.ahnlab.com/ko/65495)
5
명령코드 서브 명령코드 기능
download C2에서 파일 다운로드
2 upload 파일 업로드 준비 작업
- 명령 실행
3 - 파일 업로드
6 - 파일 업로드 종료
Key Finding
공격에 사용된 원격제어 악성코드(DoraRAT)는 파일 업ㆍ다운로드, 명령 실행 등
단순하고 경량화된 형태로 만들어졌습니다. 워터링홀 기법으로 유포하다 보니
노출 가능성이 높아 기존에 고도화된 APT 공격에서 보여진 악성코드(Black
RAT9))와 달리 최소한의 기능만 포함한 것으로 보입니다.
또한, 국내 보안업체에 따르면 원격제어 악성코드 감염PC에서 대용량ㆍ다량의
파일 절취가 가능한 ‘파일절취형 악성코드’도 확인되었습니다. 정보공동체는
이 악성코드가 파일 용량이 매우 큰 기계ㆍ설비 관련 설계도를 C2 서버로 전송
하기 위해 설치된 것으로 평가하고 있습니다.
안다리엘은 위에서 언급된 VPN 제품 외에도 서버보안 제품에 대한 취약점도
악용한 것으로 확인되었습니다. 안다리엘이 정보보안제품 등 IT관리 S/W
취약점을 노리는 것은 대량 감염이 가능하고, 제품들이 기본적으로 높은 수준의
시스템 접속ㆍ관리 권한을 가지기 때문입니다.
피해 완화(Mitigations)
이 권고문에 소개된 북한의 해킹사례는 개인의 부주의 때문에 발생한 문제가
아닌, 홈페이지와 정보보안 S/W의 취약점으로 인해 발생하였습니다. 앞으로도
북한 해킹조직은 서비스ㆍ제품에 대한 취약점을 지속 노릴 것으로 전망되는
만큼, 아래와 같이 조직 구성원과 더불어 조직의 ITㆍ보안 담당자의 피해 완화
노력이 중요합니다.
9) 안다리엘이 사용중인 원격제어형 악성코드로 Go언어로 제작되어 원격명령실행, 파일다운로드, 화면캡쳐 등 다양한 악성행위 수행
6
ㆍ조직 구성원 대상으로 지속적인 보안교육이 중요합니다. 일반 구성원ㆍIT조직
대상으로 맞춤형 교육이 필요합니다.
ㆍ사용자는 운영체제ㆍ응용프로그램에 대한 최신 버전을 유지하고, 백신 업데이트
및 실시간 탐지 설정으로 피해를 예방할 수 있습니다.
ㆍS/W 배포에 대해 엄격한 승인 정책은 피해를 완화할 수 있습니다. 최종 배포
단계에서 관리자의 인증을 거치게 되면 자동 배포단계의 취약점을 예방할
수 있습니다.
ㆍ정부의 사이버보안 권고에 관심을 갖고, 자신의 조직에 해당하는 제품이 있으면
즉시 제조사를 통해 조치를 받아야 합니다. 일부 긴급 사안의 경우 제조사가
고객사에 직접 연락을 하는 경우도 있습니다.
ㆍS/W 공급망 보안대책은 국가정보원ㆍ과학기술정보통신부ㆍ디지털플랫폼정부
위원회가 합동으로 마련한 ‘S/W 공급망 보안 가이드라인10)’을 참고하시면 됩니다.
ㆍ개발자는 안전한 소프트웨어를 개발하기 위해 한국인터넷진흥원(KISA)에서
발간한 ‘소프트웨어 개발보안 가이드11)’를 참고할 수 있습니다.
ㆍ건설ㆍ기계 등 직능단체 홈페이지 운영자는 보안관리에 지원이 필요하다면
한국인터넷진흥원(KISA)에 신청하여 보안점검을 받을 수 있습니다.
해킹사고 신고 안내
국가 배후 해킹사고 의심 및 유사사례 발견 시 관련 당국에 문의하시기 바랍니다.
ㆍ국가정보원(www.nis.go.kr, 111)
ㆍ검찰청(www.spo.go.kr, 1301)
ㆍ경찰청(ecrm.police.go.kr, 112)
ㆍ국군방첩사령부(www.dcc.mil.kr, 1337)
10) https://ncsc.go.kr/main/cop/bbs/selectBoardArticle.do?bbsId=InstructionGuide_main&nttld=133991&menuNo=070000&subMenuNo=070300
11) https://kisa.or.kr/skin/doc.html?fn=20220104_2030303_5.pdf&rs=/result/2022-01
7
관련 침해지표(IoC)
CASE 1 ‘건설분야 직능단체’ 대상 악성코드 대량 유포
구분 침해지표(IoC) 비고
드로퍼
19C2DECFA7271FA30E48D4750C1D18C1
NX_PRNMAN.exe
MD5
정보절취
C8E7B0D3B6AFA22E801CACAF16B37355
(TrollAgent)
aerosp.p-e.kr HTTP
kostin.p-e.kr HTTP
netup.p-e.kr HTTP
appofficer.kro.kr HTTP
limsjo.p-e.kr HTTP
C2
coolsystem.co.kr HTTP
ol.neqapa.p-e.kr HTTP
main.winters.r-e.kr HTTP
도메인 맵핑 IP주소
216.189.159.197
(2023.12~2024.2)
CASE 2 ‘정보보안제품 취약점’ 악용하여 국내 기계분야 공격
구분 침해지표(IoC) 비고
fee610058c417b6c4b3054935b7e2730
094f9a757c6dbd6030bc6dae3f8feab3
원격제어
MD5 d92a317ef4d60dc491082a2fe6eb7a70
(DoraRAT)
5df3c3e1f423f1cce5bf75f067d1d05c
afc5a07d6e438880cea63920277ed270
kmobile.bestunif.com TCP
C2
206.72.205.117 TCP
8
붙임 6. 2025년 사이버 위협 전망.pdf
PDF 첨부 본문
사이버 위협 전망
Cyber Security Forecast 2025
Contents
사이버 위협 전망
Cyber Security Forecast 2025
1. 2024년 사이버 위협 사례 분석
1 사이버 사기로 인한 국민 불편 및 금융피해 지속
/
2 SW 공급망 공격은 기본, 복합적인 공격 전술 사용
/
3 랜섬 공격기법 고도화, 고객 정보 빌미로 삼중 갈취 공격 지속
/
2. 2025년 사이버 위협 전망
1 공격자의 생성형 AI 활용 본격화
/
2 디지털 융복합 시스템에 대한 사이버 위협 증가 예상
/
3 글로벌 환경 변화에 따른 사이버 위협 증가 가능성
/
4 무차별 디도스 공격 증가 예상
/
2025년 사이버 위협 전망
1 2
공격자의 생성형 AI 활용 본격화 디지털 융복합 시스템에 대한 사이버 위협 증가 예상
3 4
DDoS
글로벌 환경 변화에 따른 사이버 위협 증가 가능성 무차별 디도스 공격 증가 예상
2024년 사이버 위협 사례 분석
1 2 3
사이버 사기로 인한 SW 공급망 공격은 기본, 랜섬 공격기법 고도화, 고객
국민 불편 및 금융피해 지속 복합적인 공격 전술 사용 정보 빌미로 삼중 갈취 공격 지속
사이버 보안 위협
분석과 전망
국가의 지원을 받는 해킹그룹의 활동 증가, 생성형 인공지능의 악용 가능성 증가 등 최근 사이버
위협은 더욱 지능화, 고도화되고 있다. 이러한 사이버 위협에 체계적으로 대응하기 위해서는 올 한
해 동안 발생한 사이버 침해사고를 면밀하게 분석하고, 향후 발생할 수 있는 위협을 전망하여 기업
내부의 대비 태세를 정비할 필요가 있다.
이에 과학기술정보통신부(이하 과기정통부)와 한국인터넷진흥원(이하 KISA)은 국내·외 사이버
위협 인텔리전스 네트워크*와 함께 올 한 해 발생 했던 사이버 침해사고를 중심으로 3가지
사례를(피싱, SW공급망, 랜섬웨어)을 선정·분석하였고, 2025년도에 예상되는 주요 사이버
위협으로 국민의 일상생활과 다양한 산업분야에 가장 큰 영향을 미치고 있는 ① 인공지능(AI),
② 디지털 융합 확산, 우크라이나-러시아 전쟁 등 ③ 글로벌 환경 변화와 관련된 사이버 위협 및
꾸준히 지속되고 있는 ④ 분산 서비스 거부(DDoS) 공격을 선정하였다.
* 최신 사이버 위협 정보공유 및 침해사고 공동 대응을 위해 KISA와 국내ㆍ외 보안업체가 운영하고 있는 협력 네트워크
• (국내) 안랩, 지니언스, 이글루코퍼레이션, NSHC, S2W, SK쉴더스, 플레인비트
• (해외) Cisco Talos, Google, Microsoft, Splunk, Trend Micro, Zscaler
본 보고서를 통해 기업 보안 담당자들은 앞으로도 지속될 사이버 위협에 대해 다시 한 번 내부 보안
상황을 재점검 해보고 다가 올 위협에 체계적인 보안관리와 선제적인 대응 방안을 수립하여 피해
예방에 도움이 될 수 있기를 기대한다.
01
2024년
사이버 위협
사례 분석
사이버 위협 전망
1 사이버 사기로 인한 국민 불편 및 금융피해 지속
/
2 SW 공급망 공격은 기본, 복합적인 공격 전술 사용
/
3 랜섬 공격기법 고도화, 고객 정보 빌미로 삼중 갈취 공격 지속
/
2024년 사이버 위협 사례 분석
1 사이버 사기로 인한
국민 불편 및 금융피해 지속
Cyber Security Forecast 2025
• 주식투자 유도, 티몬·위메프 환불 등 사회적 이슈를 악용한 스미싱 공격 기승
• QR코드 사용 급증으로 신종 사이버 수법 큐싱(정보무늬 사기) 주의
올 한 해 주식투자 유도, 유명스타 콘서트, 티몬·위메프 환불, 수학능력시험 등 사회적 이슈를
악용한 불법스팸, 스미싱(Smishing), 큐싱(Qshing)* 등 사이버 사기 건수가 대폭 증가하여
서민금융 피해가 지속되고 있다.
* 정보무늬(QR코드)와 피싱(Phishing)의 합성어, 악성코드나 유해 웹사이트에 연결되는 정보무늬를 촬영하면 스마트폰에
악성앱이 설치되어 개인･ 금융 정보를 탈취하거나 소액결제를 유도
주요 사고 사례 및 동향
• 기업 문자발송 시스템 및 계정 해킹을 통한 스팸문자 발송 주의(5월)
• ‘티몬·위메프’ 환불 미끼, 스미싱 주의··· 금융·개인정보 털린다(8월)
• 과태료 내려고 QR코드 열었더니... ‘큐싱’ 피해 당부 주의보(10월)
• 정부, 불법 쓰레기 편지(스팸) 방지 종합대책 발표(11월)
올해 상반기는 스팸과 스미싱이 급격하게 증가했었다. 문자재발송사업자의 큰폭 증가, 스팸과
스미싱 신고방법의 편리성 제고 외에 해킹을 통한 스팸 발송 사례도 있었다. 지난 5월, 특정
기업의 문자 발송 시스템이 해킹되어 성인 및 도박 사이트 방문을 유도하는 대량의 스팸
문자가 발송되는 사건이 발생하였다. 공격자가 문자 발송 서버의 웹 취약점(파일 업로드,
SQL 인젝션)이나 취약한 전사적 자원 관리(ERP) 시스템의 관리자 계정, 문자 발송 솔루션의
취약점을 악용해 시스템을 장악한 사례이다. 이에 대응할 수 있도록 각 기업은 웹 서버의
사이버 위협 전망
01
2024년 사이버 위협 사례 분석
취약점을 신속히 제거하고 관리자 계정에 대한 보안 조치를 강화해야 하며, 솔루션 제조사들은
자체 보안 점검을 통해 잠재적인 취약점을 사전에 제거해야 한다.
또한 사회적 이슈를 악용한 스미싱 공격이 여전히 기승을 부리고 있다. 최근에는 국내
이커머스의 미정산 및 환불 지연 사태를 악용한 스미싱이 유포된 적도 있었다. 스미싱 문자에
포함된 URL을 클릭하면 악성 앱 설치를 유도하거나, 피싱 페이지로 연결되어 아이디와
비밀번호 같은 개인정보가 탈취될 위험이 있다. 악성 앱이 설치될 경우, 스마트폰 내 연락처나
공동인증서와 같은 민감한 정보가 유출되어 2차 피해로 이어질 가능성도 있다.
QR코드는 정보를 빠르게 인식할 수 있도록 설계된 2차원 바코드로, 주로 스마트폰에서 복잡한
인터넷 주소 입력을 간소화하거나 앱 설치 및 실행을 돕는 데 활용된다. 최근 공유형 킥보드,
전단지, 상점 홍보물 등에서 QR코드 사용이 급증하고 있다. 국내에서는 공유형 킥보드에 부착된
정상 QR코드 위에 큐싱 스티커를 덧붙이거나, 피싱 메일과 온라인 광고에 큐싱 링크를 삽입해
악성 앱 설치를 유도하는 피해 사례가 발생하고 있다. QR코드는 외관만으로 진위를 판단하기
어렵기 때문에 사용자의 각별한 주의가 요구된다.
과기정통부(KISA)와 관계부처는 신종 사이버 사기 수법인 큐싱을 선제적으로 예방하기 위해
일상생활에서 QR코드를 자주 이용하는 청소년들을 대상으로 정보무늬 사기(큐싱) 예방 수칙과
대응 요령 등 홍보를 강화하였다.
또한, 지난 11월 과기정통부(KISA)와 방송통신위원회는 “불법스팸 방지 종합대책”으로
▲불법스팸 全 단계에서 부당 이익 환수, ▲대량문자 유통시장 정상화, ▲불법스팸 발송 차단
강화, ▲불법스팸 수신 차단, ▲스팸 차단 거버넌스 구축 등 총 5개의 추진 전략과 12개의 세부
추진과제 발표를 통해 불법스팸 근절과 방지 전략을 마련하였다.
스미싱, 보이스피싱, 피싱 사이트 등 사이버 사기가 의심될 경우, KISA에서 운영하는 보호나라
(www.boho.or.kr) → ‘스미싱 확인서비스’나 ‘전기통신금융사기 통합신고대응센터(☏112)’를
통해 확인하고 신고할 수 있다.
사이버 위협 전망
02
2024년 사이버 위협 사례 분석
2 SW 공급망 공격은 기본,
복합적인 공격 전술 사용
Cyber Security Forecast 2025
• 리눅스 오픈소스 데이터 압축 유틸리티(XZ Utils) 최신버전에서 악성코드 발견
• 다양한 공격 기법(멀버타이징, 제로데이 등)이 결합된 복합적인 사이버 공격 사례 발생
피해 사실조차 알아차리기 어려운 은밀한 소프트웨어(SW) 공급망 공격이 계속되고 있다.
SW 공급망 공격은 신뢰받는 소프트웨어와 업데이트 체계를 악용해 SW 개발-유통-이용 등
SW 공급망 전단계에서 광범위하게 악성코드를 유포하고 보안 프로그램의 탐지를 회피할 수
있어, 사이버 공격자들이 선호하는 방식 중 하나다. 특히 공격자들은 공격 대상의 보안 체계를
우회하기 위해 악성코드 삽입과 해킹을 융합하는 등 여러 공격 기법을 결합한 복합적인 전술을
활용하고 있다.
주요 사고 사례 및 동향
• 건설 관련 홈페이지의 보안 프로그램 설치 파일 변조(1월)
• 리눅스 오픈소스 압축 프로그램(XZ Utils) 최신버전에서 악성코드 발견(3월)
• 국내 무료 SW의 특정 토스트 팝업 광고 프로그램 악용(5월)
지난 3월, 리눅스 및 GNU 그룹에서 기본적으로 제공되는 데이터 압축 유틸리티(XZ Utils)의
최신 버전(5.60, 5.61)에서 백도어가 발견되었다. 공격자는 2021년부터 오픈소스 프로젝트에
참여하며 운영자와 신뢰를 쌓아 의도적으로 악성 코드를 삽입해 배포한 것으로 드러났다.
사이버 위협 전망
03
2024년 사이버 위협 사례 분석
국내에서는 다양한 공격 기법이 결합된 복합적인 사이버 공격 사례가 다수 발생하고 있다. 올해
초, 국내 건설기술 분야의 한 홈페이지에서 로그인을 위해 필요한 보안 프로그램 설치 파일이
변조되어 악성코드가 유포된 사건이 발생했다. 공격자는 공격 대상이 자주 방문하는 홈페이지에
잠복해 악성코드를 퍼뜨리는 워터링홀(Watering Hole) 공격 기법과 함께, 악성코드를
이용하여 국내 소프트웨어 개발사의 유효한 디지털 인증서를 탈취해서 믿을 수 있는 서비스로
위장하는 방법으로 백신을 회피하여 보안 프로그램 설치 파일을 변조하는 방식을 결합한 사이버
공격을 감행하였다.
또한, 지난 5월에는 특정 토스트* 광고 프로그램이 광고 콘텐츠를 내려받을 때 지원이 종료된
취약한 인터넷 익스플로러 모듈을 사용한다는 점을 노리고, 국내 특정 기업의 토스트 팝업 광고
프로그램을 악용한 대규모 사이버 공격을 일으켰다. 공격자는 온라인 광고를 통해 악성코드를
유포하는 멀버타이징(Malvertising) 공격 기법과 지원이 종료된 마이크로소프트의 윈도우
익스플로러 브라우저의 제로데이** 취약점을 결합하여 사이버 공격에 악용하였다.
* 사용자의 화면에 일시적으로 표시되는 작고 간단한 메시지 형태의 팝업 광고
** SW의 보안 취약점이 알려지지 않았거나 제조사의 보안패치가 공개되지 않은 상태
지난 5월, 과기정통부(KISA), 국가정보원, 디지털플랫폼정부위원회가 합동으로 발표한
‘SW 공급망 보안 가이드라인 1.0’을 통해 SW 공급망 보안관리 체계 확산에 대한 기반을
마련하였고, 2025년부터는 ‘SBOM* 기반의 SW 공급망 보안관리체계’를 체계적으로
보급해나갈 계획이다.
* SW 구성요소 명세서(SW Bill of Materials)
사이버 위협 전망
04
2024년 사이버 위협 사례 분석
3 랜섬 공격기법 고도화,
고객 정보 빌미로 삼중 갈취 공격 지속
Cyber Security Forecast 2025
• 파일 암호화, 기밀 자료 유출·공개, 디도스 공격 등 랜섬웨어 그룹 3중 갈취 전술 사용
• 피해 시스템 내부의 합법적 자원(SW)을 공격에 악용하는 자급자족(LoTL) 기법 사용
랜섬웨어는 전 세계 모든 국가와 산업에 심각한 영향을 미치는 사이버 범죄이다. 랜섬웨어
그룹의 경제적 동기(높은 수익성, 투자수익률(ROI) 등)는 랜섬웨어가 효과적인 사이버
공격기법으로 여전히 활용될 수 있는 기반이 되고 있으며, 보안 장비 탐지 우회와 ① 데이터
암호화에 그치지 않고, ② 기업의 기밀 자료를 유출하고 공개를 협박하며, ③ 피해 기업에 대해
디도스(DDoS) 공격 등 3중 갈취 전술을 사용하는 고도화된 공격 기법으로 기업과 이용자들을
압박하고 있다.
주요 사고 사례 및 동향
• 1분기 랜섬웨어 공격 23% 증가... 보안 시스템 우회·합법적 도구 악용 증가(5월)
• 해커 “법무법인 해킹 후, 탈취한 고객정보 공개 협박” 비트코인 요구(9월)
• 상반기 랜섬웨어 피해 비용 평균 20억···진입장벽 낮아지고 방식 고도화(11월)
사이버 위협 전망
05
2024년 사이버 위협 사례 분석
또한 최근 랜섬웨어는 피해 시스템 내부의 합법적인 자원(SW)을 공격에 악용하는
LoTL(Living off the Land)* 기법도 사용하고 있다. LoTL 기법은 윈도우나 유닉스
운영체제에서 기본적으로 제공하는 SW를 악용함으로써 정상적으로 발생하는 트래픽과
공격자의 트래픽 구분을 어렵게 만들며, 내부 시스템으로의 전파 및 횡적이동(Lateral
Movement)** 시 보안 장비의 탐지 우회 가능성을 높여 공격 지속 시간을 연장시킨다.
* 자급자족 공격으로도 불리며, 피해 컴퓨터나 네트워크에 이미 설치된 여러 자원(표준 시스템 도구와 명령어)을
악용하여 공격하는 기법
** 공격자가 초기 접근 권한을 획득한 후, 민감한 데이터나 고가 자산을 찾기 위해 기업망 내부에서 더 깊이 이동하는
것을 의미
랜섬웨어는 공격자들은 피해 기업의 이해 관계자(협력사, 고객 등)와 직접 접촉하여 랜섬웨어
피해 사실을 알리고, 유출된 정보를 이용해 추가적으로 몸값을 요구한다. 이로 인해 피해 기업의
평판과 신뢰도가 심각하게 훼손되며, 랜섬웨어의 피해 범위는 제3자에게까지 확산될 수 있다.
랜섬웨어 공격에 대비하기 위해 각 기업은 공격 표면 관리(ASM, Attack Sur face
Management), 내부 시스템 보안 점검, 백업 등을 강화해야 한다. 또한, 내부 시스템이나
단말기에 저장된 민감한 고객 정보(예: 환자 정보, 의뢰서, 계약서 등)에 대한 안전 조치를
점검하고 강화하는 것이 필수적이다. 이를 통해 공격에 대한 취약점을 최소화하고, 데이터
유출이나 손상을 방지할 수 있다.
KISA는 랜섬웨어 대응 역량이 부족한 지역․ 중소․ 영세기업을 대상으로 무상 보안취약점 점검과
서버 보안점검(내서버돌보미)을 지원 중이며, 한국정보보호산업협회(KISIA)도 랜섬웨어 대응
보안솔루션 패키지 지원사업을 진행 중에 있어, 랜섬웨어 예방 대책이 필요한 기업은 언제든지
도움을 받을 수 있다.
사이버 위협 전망
06
02
2025년
사이버 위협
전망
사이버 위협 전망
1 공격자의 생성형 AI 활용 본격화
/
2 디지털 융복합 시스템에 대한 사이버 위협 증가 예상
/
3 글로벌 환경 변화에 따른 사이버 위협 증가 가능성
/
4 무차별 디도스 공격 증가 예상
/
2025년 사이버 위협 전망
1 공격자의 생성형 AI 활용 본격화
Cyber Security Forecast 2025
• 생성형 AI의 악용이 본격화되며 사이버 범죄 도구로 활용될 가능성 증가
• 기업의 안전한 생성형 AI 사용을 위해 보안 내재화, 보안 모니터링 체계 필요
• 사회적 갈등과 혼란을 부추기는 가짜뉴스 및 게시글을 통한 여론조작 우려
AI 기술의 빠른 발전으로 다양한 생성형 AI 모델과 서비스가 널리 보급되고 있다. 최근에는
저비용과 고효율을 갖춘 소형언어모델(sLLM)이 주목받으면서 AI 활용 범위가 넓어지고 있다.
AI는 혁신과 편리함을 제공하지만, 활용 목적에 따라 악의적으로 사용될 수 있는 양면성을
가지고 있어서 주의가 필요하다.
생성형 AI를 악용한 사이버 위협은 더욱 늘어날 전망이다. 다크웹을 중심으로 FruadGPT(사기),
WormGPT(악성코드 생성)와 같이 사이버 범죄에 특화된 악성 생성형 AI 모델이 다양하게
활용될 가능성이 있다. 또한, ChatGPT와 같은 검증된 서비스를 활용해 맞춤형 스피어피싱
메일을 작성하거나 공격 도구(취약점 탐색, 침투 등)를 개발하는 등의 악용 사례가 증가할
것으로 보인다.
또한 온라인에 공개된 사진과 동영상을 활용해 딥페이크(Deepfake)* 영상을 제작하고 이를
피해자 협박에 사용하는 사례도 증가할 것으로 예상된다.
* 인공지능 기술로 영상이나 이미지를 조작하여 사실처럼 보이게 만드는 합성 기술
사이버 위협 전망
08
2025년 사이버 위협 전망
최근 오픈AI에 따르면 러시아와 중국 등 일부 국가에서 인터넷상 여론 조작 및 정치적 선전을
위해 ChatGPT를 사용한 것으로 나타났다. AI를 활용해 정교하게 작성된 콘텐츠(허위정보)는
진위 구별이 어렵다. 허위정보는 가짜뉴스와 SNS(커뮤니티, 페이스북 등), 유튜브 등
인터넷을 통해 빠르게 확산되고 사람들의 판단에 영향을 끼친다. 이로 인해 특정 집단에 의한
여론조작으로 사회적 갈등과 혼란을 증가시킬 가능성이 크다.
생성형 AI는 기업의 효율과 혁신을 높이는 핵심 도구로 빠르게 자리잡고 있지만 보안 위협도
증가하고 있다. API 키 탈취, 데이터 유출, 플러그인 및 확장 프로그램 취약점 등 대표적인 위험
요소이다. 특히, 생성형 AI가 기업 내부 시스템과 연동되어 구축된 경우 민감 데이터의 노출과
오용 가능성이 커진다. 이에 따라 기업들은 안전한 생성형 AI 사용을 위해 도입 단계에서 보안을
내재화하고, 상시 모니터링 체계를 구축하여 지속적으로 관리해야 한다.
Chat
GPT
사이버 위협 전망
09
2025년 사이버 위협 전망
2 디지털 융복합 시스템에 대한
사이버 위협 증가 예상
Cyber Security Forecast 2025
• 스마트팜, 스마트축산 등 디지털 융복합 시스템을 겨냥한 사이버 공격 확대
• 5G 특화망(이음5G) 활용 확대에 따른 스마트시티 등 사이버 위협 우려
• 주기적인 공격 표면 관리(ASM)로 위험 요소 제거 및 IoT 기기의 보안 강화 필요
디지털 전환이 가속화되면서 정보통신기술(ICT)이 다양한 산업, 기술과 결합한 디지털 융복합
시스템 및 서비스가 확산되고 있다. 최근 언론에 보도되었던 국제 해킹 그룹의 국내 스마트팜*
농가에서 사용하는 원격제어 설비 시스템 해킹 사례는 디지털 융복합 시스템에 대한 사이버
위협이 현실화되고 있음을 보여준다.
* ICT와 농업이 결합해 농작물이나 가축을 자동으로 관리하고 최적의 환경을 조성하는 시스템
자율주행차, 스마트그리드, 스마트 빌딩, 스마트 교통 시스템 등 디지털 융합 기술을 포함한
스마트 시티가 전 세계적으로 확산되고 있다. 국내에서는 5G 특화망(이음5G)*의 활용이
제조, 의료, 자동차, 조선 분야로 확대되며 산업별 디지털 전환이 가속화되고 있다. 따라서 5G
특화망뿐만 아니라 이동통신망 기반의 융합 제품 및 서비스에 대한 보안 위협이 증가할 것으로
보인다.
* 특정 지역이나 한정된 공간에서 사용하기 위해 맞춤형으로 구축된 소규모 5G 네트워크
사이버 위협 전망
10
2025년 사이버 위협 전망
국민의 일상생활과 다양한 산업분야에서 사물인터넷(IoT) 기기가 빠르게 확산되고 있어서 IoT
기기에 대한 사이버 위협은 꾸준히 증가하고 있다. 공격자는 보안이 취약한 IoT 기기를 탐색한
후 악성코드를 감염시킨 후 디도스(DDoS) 공격과 같은 사이버 공격*에 봇넷(Botnet)**으로
악용한다. 또한, IP 카메라, 공유기가 해킹된 경우 개인 사생활이 외부에 노출되거나 범죄에
악용되는 등 심각한 피해를 초래할 수 있다.
* 공격자의 원격 명령에 따라 악성 행위를 수행하는 디지털 기기들의 집합
** 중국 해킹그룹 플랙스 타이푼은 전세계 26만대 IoT 장비로 구성된 봇넷 운영 적발(9월)
따라서 스마트시티, 디지털 융복합 시스템 및 서비스, IoT 기기 등에 대한 설계 및 개발
단계에서부터 사이버 위협으로부터 보호할 수 있는 보안을 내재화하여 안전한 운영 환경을
보장할 필요가 있다. 또한, 운영 중인 디지털 제품 및 서비스의 외부 접점을 지속적으로
모니터링하는 공격 표면 관리(ASM, Attack, Surface, Management)가 필수적이다.
사용자는 IoT 기기의 보안 설정을 강화하고, 보안 인증을 받은 기기를 사용하는 노력이
필요하다.
사이버 위협 전망
11
2025년 사이버 위협 전망
3 글로벌 환경 변화에 따른
사이버 위협 증가 가능성
Cyber Security Forecast 2025
• 트럼프 2기 행정부의 자국 우선주의, 親 가상자산 등 정책 변화에 따른 혼란 예상
• 국가배후 공격그룹과 핵티비스트 그룹의 공격 확대 우려
• 국가 안보실을 중심으로 민·관·군의 사이버 위협 대응 및 협력체계 강화 필요
2025년 1월에는 트럼프 2기 행정부의 출범이 예정되어 있다. 미국은 정부 개입을 최소화한
기술 완화 및 혁신, 자국 우선주의, 가상자산 규제 개선 등 정책변화가 예상된다. 우크라이나-
러시아 전쟁 조기 종전에 대한 기대감으로 핵티비스트(Hacktivist: Hacking+activist)들의
공격 활동이 감소할 수 있으나, 이를 반대하는 측의 불만이 사이버위협으로 나타날 가능성도
있다.
국제정세의 변화는 핵티비스트들 활동에 직접적인 영향을 미칠 가능성이 크다. 글로벌 이슈,
전쟁, 정치적 갈등이 심화될 경우 핵티비스트 그룹은 사이버 공격을 통해 자신의 메시지를
전달하려 할 것이다. 특히, 특정 국가나 단체를 겨냥한 정교한 공격으로 이어질 가능성이 있다.
이러한 공격은 단순한 해킹을 넘어 사회적 혼란을 유발하고 국민들의 불안을 가중시킬 수 있다.
사이버 위협 전망
12
2025년 사이버 위협 전망
미국의 親 (친) 가상자산 정책으로 비트코인 가치 변동성이 확대되어 국가배후 공격그룹과 사이버
범죄 조직의 활동이 증가할 것으로 예상된다. 이들은 가상자산 사업자, 블록체인 기업, 가상자산
이용자, 가상자산 거래소 등을 대상으로 한 공격이 집중될 것으로 보인다. 특히, 이와 같은
가상자산 절취로 인한 경제적 피해가 발생할 수 있다.
또한 양자 기술, 인공지능 등 핵심․ 신흥 기술이 국가 경제 발전과 안보를 좌우하는 핵심 요소로
부상하면서, 원천 기술 보호의 중요성이 강조되고 있다. 보안 관리가 부족하거나 보안이 취약한
협력사를 노린 사이버 공격으로 원천 기술을 절취하려는 시도가 늘어날 것으로 예상된다.
따라서, 미국 정부의 친 가상자산 정책 변화는 국제 사이버 위협 환경에 새로운 변화를 가져올
것으로 보인다. 기업들은 사이버 보안 체계를 상시 점검하고 협력사의 보안 역량을 강화하여
대응 능력을 높여야 한다. 아울러, 국가안보실을 중심으로 민·관·군이 협력하여 공세적 방어
체계와 사이버 억지 전략을 통해 사회적 혼란을 최소화해야 한다.
사이버 위협 전망
13
2025년 사이버 위협 전망
4 무차별 디도스 공격 증가 예상
Cyber Security Forecast 2025
• 핵티비스트 등 다양한 목적의 무차별 디도스 공격 시도 증가 예상
• 보안에 취약한 라우터 장비 대상 디도스 봇넷 구축 우려
• KISA “디도스 사이버대피소”를 활용한 중소기업의 대응체계 강화 필요
디도스(DDoS·분산서비스거부) 공격은 악성코드에 감염된 단말기를 이용해 대규모 트래픽을
발생하여 기업에서 운영 중인 서버의 자원이나 네트워크 대역폭을 고갈시키는 전통적인 사이버
공격 방식이다. 이러한 공격 방식은 단순하지만 공격으로 인해 서비스 중단 시 기업의 서비스
신뢰도 하락이나 금전적인 피해 등이 발생한다.
올해 2월 국내에서 생방송으로 진행된 온라인 게임 대회의 중단이 대표적인 피해 사례이다.
올해 하반기에는 정치적 이념을 내세운 핵티비스트들의 정부기관 디도스 공격 등 다소
무차별적인 공격 성향도 보이고 있다. 특히, 다크웹*에서는 서비스형 디도스(DDoS-as-a-
Service)** 도구가 판매되고 있어 기술적 지식이 부족한 사람도 손쉽게 디도스 공격을 시도할
수 있는 환경이 조성되고 있다.
* 일반적인 검색 엔진으로 접근할 수 없고, 특정 SW와 경로를
통해서만 접근 가능한 네트워크
** 누구나 비용을 지불하면 구축된 인프라를 통해 디도스 공격을
실행할 수 있는 서비스
사이버 위협 전망
14
2025년 사이버 위협 전망
2024년 한국인터넷진흥원에 신고 접수된 디도스 공격 침해사고 건수도 작년 대비 증가하는
추세(23%↑, 24.11월 기준)를 보이고 있어 내년에는 디도스 공격에 대한 주의가 필요할
것으로 보인다. 특히 최근에는 취약한 라우터* 등 네트워크 장비를 악용하여 대규모의 네트워크
트래픽을 유발하거나 데이터 유출 등 공격 사례가 있으므로 기업들의 주의가 필요하며,
라우터와 같은 기업의 중요 네트워크 장비가 악성코드 감염 시 업무 장애나 중요 기밀 정보의
유출 등 심각한 피해가 발생할 수 있으므로 외부에 노출된 중요 네트워크 자산의 경우, 주기적인
보안패치와 비정상 네트워크 활동에 대해 모니터링 등을 강화해야 한다.
* 네트워크 간 데이터를 효율적으로 전달하고 인터넷 연결을 관리하는 장치
2024년도 디도스 증가 추세를 고려할 때, 2025년도에는 정부･ 공공 및 민간 기업을 가리지
않고 지속적인 증가 추세를 보일 것으로 보인다. 기업들은 디도스 공격이 발생하기 전에
인터넷서비스제공자와의 대응 협력 체계를 마련할 필요가 있으며, 정보보호 전문 인력 및 보안
설비 구축을 위한 투자 여력이 부족한 중소기업의 경우 피해 발생 시 아래 KISA의 “디도스
사이버대피소”이용방법을 참고하여 적극적으로 활용해 피해를 최소화할 수 있도록 준비해야
한다.
※ 중소기업 「디도스 사이버대피소」 이용방법
① 네이버 등 포탈 사이트에서 ‘보호나라’ 를 검색
② 검색결과 화면에서 ‘KISA 보호나라 (www.boho.or.kr)’ 접속
③ 메뉴 → 정보보호 서비스 → 온라인 신청 서비스 → DDoS 사이버 대피소 선택
④ ‘서비스 신청하기’를 통해 신청서 작성 및 제출강화 필요
사이버 위협 전망
15
2025년 사이버 위협 전망
맺음말
Cyber Security Forecast 2025
국민의 일상생활과 다양한 산업분야에서 디지털 대전환의 가속화와 AI 기술을 기반으로 한
혁신은 우리의 삶을 보다 편리하게 변화시키고 있다. 그러나 이와 같은 디지털화는 사이버
공격 대상을 기업에서 가정, 기기까지 그 범위를 크게 확대하였다. 이에 따라 공격자들은
다양한 디지털 제품 또는 서비스의 보안 취약점을 악용하여 악성코드 감염, 계정 탈취를
시도하거나 생성형 AI 도구를 악용하여 더욱 은밀하고 예측하기 어려운 공격 수법을 지속적으로
개발･ 활용하면서 대응을 어렵게 만들 것으로 예상된다.
따라서 민간과 공공은 영역의 구분 없이 지금보다 더욱 유기적으로 사이버 위협을 탐지
·공유·대응하는 협력체계를 강화하여 대규모 사이버 공격이나 변화하는 위협 환경에
효과적으로 대응할 수 있어야 한다. 또한 기업들은 랜섬웨어나 공급망 위협 사고 등에 대비하여
협력사와 함께하는 상시 모의침투 훈련이나 보안 교육 등 보다 적극적인 협력체계로 공급망
회복력을 강화하는 것이 더욱 필요할 것으로 분석된다.
마지막으로 기업들은 침해사고가 발생한 경우, 지체없이 과기정통부-KISA에 신고하여
신속하게 사고원인을 분석·제거하여 사업을 정상화하고 KISA의 실전형 모의침투 훈련, 보안
취약점 점검 등 다양한 예방 서비스를 통해 보안 방어력을 더욱 높이는 것이 중요할 것으로
생각된다.
사이버 위협 전망
16
사이버 위협 전망
Cyber Security Forecast 2025
[나주본원] 전라남도 나주시 진흥길 9 한국인터넷진흥원
[서울청사] 서울시 송파구 중대로 135 (가락동) IT벤처타워 TEL. 1544-5118 / 02-405-5118