Series Volume 1 Overview 

The Institute for Convergence Research in Visual Media has been conducting the Global Humanities and Social Sciences Convergence Research Program (Project Title: Affective AI-Based Storytelling and Image Generation for Global Cultural Content) funded by the National Research Foundation of Korea (NRF) from 2025 to 2031.

To systematically compile and disseminate the outcomes of this research, we are preparing the “Emotional AI Global Content Series.”
The first volume, scheduled for publication in 2026, is a collaborative essay collection titled “Emotional AI: Rethinking the Boundaries of Technology, Art, and Humanity.”

Rather than serving as a simple introduction to emotional AI technologies, this volume begins with a fundamental question:  “How can humans and AI coexist through emotion as a medium?”  From this perspective, it aims to create an interdisciplinary platform for reexamining the relationships between humans, machines, and art.

The columns presented here are prepared as previews and summaries of the full manuscripts to be included in the series. New pieces will be published weekly.

We invite you to follow and engage with the evolving discourse on Emotional AI.

4월 3호. 감정을 학습하기

텍스트를 넘어 인간의 상태를 읽는 기술

권혁준

중앙대학교 첨단영상대학원 교수

인공지능은 기본적으로 패턴을 인식하고 학습하는 기술이다. 방대한 데이터 속에서 반복적으로 나타나는 규칙과 상관관계를 찾아내고, 이를 바탕으로 분류하고 예측하며 생성한다. 이미지 속 사물을 구별하고, 음성에서 문장을 인식하고, 텍스트의 의미를 해석하는 일은 모두 이러한 원리 위에서 이루어진다. 오늘날 우리가 AI라고 부르는 대부분의 기술은 결국 데이터 안에 숨어 있는 패턴을 얼마나 정교하게 포착하느냐에 달려 있다고 해도 과언이 아니다.

그동안 AI 연구의 중심에는 주로 언어와 이미지 같은 대상이 있었다. 문장이 무엇을 뜻하는지, 영상 속에서 어떤 장면이 펼쳐지고 있는지를 해석하는 일이 핵심 과제였다. 그리고 이 영역에서 최근의 AI는 눈부신 발전을 이루었다. 이제 AI는 단순한 검색이나 문장 완성의 수준을 넘어, 복잡한 추론을 수행하고, 어려운 시험 문제를 풀며, 인간이 생산한 텍스트와 시각 정보를 상당한 수준으로 이해하고 생성한다. 수능형 문제 풀이, 전문 자격시험 수준의 질의응답, 수학과 과학의 고난도 추론, 이미지 이해와 생성까지, 기존에는 각기 다른 전문 영역으로 여겨졌던 작업들이 하나의 범용 모델 안에서 점차 통합되고 있다. 적어도 언어와 비전 데이터의 처리라는 측면에서 보면, AI는 이미 매우 높은 수준의 성능을 보여주고 있다.

이러한 발전은 AI의 위치 자체를 바꾸어 놓았다. 과거의 AI가 특정 작업을 보조하는 기술에 가까웠다면, 이제는 인간 사회 안쪽으로 깊이 들어와 학습, 업무, 소통, 의사결정의 과정에 직접 관여하는 시스템이 되었다. 사람들은 더 이상 AI를 낯선 기술로만 대하지 않는다. 질문을 던지고, 설명을 듣고, 글을 고치고, 아이디어를 정리하고, 일의 방향을 점검하는 과정에서 AI는 점점 일상적인 도구이자 주요한 지적 자원처럼 사용된다. ChatGPT나 Gemini와 같은 시스템을 전혀 사용하지 않는 사람을 찾기 어렵다는 말이 과장이 아닐 정도로, AI는 이제 인간의 사고와 판단 바로 곁에서 작동하는 기술이 되었다. 

바로 그렇기 때문에 다음 단계의 과제가 중요해진다. 인간은 문장이나 사진만 주고받는 존재가 아니기 때문이다. 우리는 말의 내용과 함께 말투, 속도, 억양, 침묵, 표정, 시선, 반응 방식과 같은 다양한 신호를 함께 주고받는다. 텍스트는 그중 한 층위일 뿐이고, 실제 인간의 소통은 훨씬 더 두껍고 복합적인 정보 구조 위에서 이루어진다. 같은 문장이라도 어떤 표정으로, 어떤 속도로, 어떤 맥락에서 말했는지에 따라 의미는 크게 달라진다. 결국 인간 가까이에서 기능하는 AI라면, 인간이 드러내는 더 넓은 상태 정보까지 함께 해석할 수 있어야 한다. 감성 AI의 필요성은 바로 여기에서 나온다.

이 지점에서 많은 사람들은 곧바로 의문을 가질 수 있다. 감정은 사람마다 다르고, 상황에 따라 달라지며, 문화에 따라서도 표현 방식이 다르다. 기쁨, 불안, 피로, 당혹감 같은 것은 내면의 경험이기 때문에, 이것을 과연 AI가 학습할 수 있는지 의문스럽게 느껴진다. 감정은 정답이 하나로 떨어지는 대상이 아니고, 수식처럼 명확하게 정의하기도 어렵다. 같은 표정이 전혀 다른 감정을 뜻할 수도 있고, 같은 감정이 전혀 다른 방식으로 표현될 수도 있다. 그래서 감성 AI라는 말은 언어 이해나 이미지 인식보다 더 낯설고 더 어려운 개념처럼 들린다.

그러나 공학의 관점에서 보면 감정 역시 학습 가능한 대상이다. 그 이유는 감정 또한 결국 정보이기 때문이다. 물론 감정 자체를 직접 꺼내어 볼 수는 없다. 하지만 감정은 표정의 변화, 시선의 움직임, 음성의 높낮이와 속도, 단어 선택, 문장 길이, 반응 시간, 생체신호와 같은 다양한 형태로 바깥에 드러난다. 다시 말해 감정은 완전히 보이지 않는 것이 아니라, 여러 데이터 층위에 흔적을 남긴다. 관찰 가능한 신호가 있고, 그 신호들 사이에 반복되는 관계가 있다면, 그것은 충분히 학습의 대상이 될 수 있다.

AI가 감정을 인간처럼 느끼고 체험한다고 말할 수는 없지만, 감정과 관련된 신호를 해석하고 그에 맞게 반응하도록 만드는 것은 분명히 가능한 일이다. 이 점에서 감성 AI는 인간적인 영역을 기계로 대체하려는 시도라기보다, 인간이 실제로 주고받는 다양한 상태 정보를 모델링하려는 자연스러운 연구 과제라고 보는 편이 더 정확하다. 

사실 기존의 AI 모델들도 이미 이러한 해석을 어느 정도 수행하고 있다. 오늘날의 대규모 언어모델은 문장의 표면적 의미만 읽는 것이 아니라, 어조와 분위기, 화자의 의도까지 일정 수준 추정한다. 사용자가 짜증을 내고 있는지, 조심스러운 태도로 질문하는지, 확신이 없는 상태인지에 대해 모델이 어느 정도 반응할 수 있는 것은 이런 이유 때문이다. 이미지 모델 역시 얼굴 표정이나 장면의 맥락을 통해 정서적 단서를 포착한다. 슬픔, 긴장, 즐거움과 같은 정서적 분위기는 이미 언어와 이미지의 해석 과정 속에 일정 부분 포함되어 있다.

다만 이러한 해석은 대부분 언어와 이미지 이해의 과정 속에 암묵적으로 포함되어 있을 뿐, 감정을 명시적으로 다루는 형태로 설계된 것은 아니다. 다시 말해 기존 모델은 감정을 부분적으로 읽고 있지만, 그것을 독립된 목표로 정교하게 모델링하고 있는 것은 아니다.

때문에 앞으로의 과제는 이미 부분적으로 가능한 해석을 더 직접적이고 정교한 수준으로 확장하는 데 있다. 보다 미묘한 뉘앙스를 읽고, 더 안정적으로 상태를 추정하며, 그 결과를 실제 상호작용의 개선으로 연결하는 것이 감성 AI가 지향하는 방향이다. 예를 들어 대화형 AI가 사용자의 질문 내용만이 아니라 혼란의 정도, 불만의 신호, 설명을 따라오지 못하고 있는 상태를 함께 파악할 수 있다면, 응답의 방식은 분명 달라질 수 있다. 이러한 차이는 단순한 사용자 편의의 문제가 아니라, 인간과 상호작용하는 시스템의 품질 자체를 결정하는 요소가 된다.

이 과정에서 특히 중요한 것은 개인화와 문화적 맥락이다. 같은 침묵도 어떤 사람에게는 집중의 표시일 수 있고, 다른 사람에게는 불편함의 신호일 수 있다. 같은 웃음도 친밀감의 표현일 수 있고, 긴장을 감추는 방식일 수도 있다. 더구나 감정 표현은 문화권에 따라서도 차이를 보인다. 어떤 사회에서는 감정을 직접적으로 드러내는 것이 자연스럽지만, 어떤 사회에서는 절제된 표현이 더 일반적이다. 어떤 언어에서는 완곡한 표현이 예의의 일부이지만, 다른 언어에서는 오히려 모호함으로 받아들여질 수도 있다.

따라서 감성 AI는 보편적인 패턴만 학습해서는 충분하지 않다. 개인마다 다른 표현 방식과 문화마다 다른 정서 규범을 함께 고려할 수 있을 때, 비로소 인간 가까이에서 자연스럽게 작동하는 AI에 가까워질 수 있다. 결국 감성 AI의 정교함은 단순히 더 많은 데이터를 모으는 데서 나오지 않고, 데이터가 놓여 있는 삶의 맥락을 함께 이해하는 데서 나온다.

앞으로 AI는 더 많은 영역에서 인간과 함께 일하고, 가르치고, 안내하고, 돕게 될 것이다. 이때 필요한 것은 단지 더 많은 지식을 가진 AI가 아니라, 사람의 상태를 더 섬세하게 읽을 수 있는 AI이다. 인간이 드러내는 정서적 신호를 데이터로 읽고, 그 의미를 맥락 속에서 해석하여, 인공지능이 사람에게 더 적절하게 반응하도록 만드는 감성 AI 기술은 인간 가까이에서 작동하는 AI를 가능하게 하는 핵심 기술이라 할 수 있다.

4월 2호. 감정을 읽는 AI는 무엇을 배우는가

감성 알고리즘과 모델의 현재, 그리고 다음 질문

오지형

중앙대학교 첨단영상대학원 교수

우리는 이제 AI 및 기계가 사람의 얼굴을 보고, 목소리의 떨림을 듣고, 문장의 어조를 읽으며 감정을 추정하는 시대에 살고 있다. 누군가는 이를 “감정을 이해하는 인공지능”이라 부르고, 또 누군가는 아직 그 표현이 너무 이르다고 말한다. 실제로 오늘의 감성 AI는 인간의 내면을 완전히 이해한다기보다, 감정이 바깥으로 드러나는 여러 신호를 통계적으로 학습하고 해석하는 기술에 가깝다. 그런데 바로 이 지점이 흥미롭다. 감성 알고리즘은 인간의 감정을 있는 그대로 읽는가, 아니면 데이터 속에서 반복적으로 나타난 감정의 표정을 계산하는가. 

「감성 알고리즘&모델」은 바로 이 질문에서 출발한다. 감성 AI의 핵심은 단순히 ‘기쁨, 슬픔, 분노’를 맞히는 분류기 (classifier)를 만드는 일이 아니다. 오히려 더 중요한 것은 감정을 어떤 형태로 모델링할 것인가의 문제다. 감정을 몇 개의 범주로 나눌 것인지, 혹은 쾌·불쾌 (valence)와 각성도 (arousal) 같은 연속 좌표 위에서 볼 것인지, 얼굴만 볼 것인지 아니면 음성, 텍스트, 몸짓, 장면 맥락까지 함께 읽을 것인지에 따라 전혀 다른 알고리즘이 만들어진다. 결국 감성 모델은 인간 감정의 본질을 그대로 복사한 기술이 아니라, 감정을 어떤 관점에서 정의하고 표현할 것인지에 대한 하나의 이론적 선택이기도 하다.

최근 이 분야는 매우 빠르게 확장되고 있다. 초창기에는 얼굴 표정 인식 (facial expression recognition)이 중심이었다면, 이제는 인물의 주변 장면과 사회적 맥락을 함께 해석하는 문맥 기반 감정 인식 (context-aware emotion recognition), 음성·텍스트·영상 신호를 함께 다루는 멀티모달 감정 인식 (multimodal emotion recognition), 나아가 대규모 언어모델과 비전모델을 결합해 감정의 이유와 상황까지 추론하려는 시도로까지 이어지고 있다. 감정은 더 이상 얼굴 근육의 미세한 움직임만으로 설명되지 않는다. 같은 표정도 상황에 따라 전혀 다른 감정이 될 수 있고, 같은 문장도 목소리와 관계 맥락에 따라 다르게 받아들여진다. 감성 AI가 점점 더 복잡한 모델을 요구받는 이유가 여기에 있다. 

하지만 성능이 높아질수록 질문도 함께 어려워진다. 기계가 학습한 감정은 누구의 감정인가. 데이터셋 (dataset)에 많이 등장하는 문화권의 표정과 언어 습관이 보편적 감정처럼 오인되지는 않는가. 억지 미소, 사회적 가면, 문화적 차이, 감정의 중첩과 모호성은 알고리즘 안에서 얼마나 살아남는가. 감성 AI는 인간을 더 잘 이해하기 위한 기술이 될 수도 있지만, 반대로 인간의 복잡한 감정을 지나치게 단순한 라벨 (label)로 환원하는 장치가 될 위험도 함께 안고 있다. 그래서 감성 알고리즘의 문제는 단지 공학의 문제가 아니라, 인간 이해의 방식에 관한 철학적 문제이기도 하다.

4월 1호. 인공지능은 문화를 어떻게 이해하는가: 문화적 맥락 속 의미와 감성을 반영한 데이터와 평가의 변화

김학구

중앙대학교 메타버스융합학과 교수

우리는 흔히 인공지능이 사람처럼 세상을 “이해한다”고 말한다. 사진을 보고 상황을 설명하고, 질문에 자연스럽게 답하는 모습을 보면, 인공지능이 인간과 유사한 방식으로 의미를 파악하고 있다고 느끼기 쉽다. 그러나 그 이해가 항상 동일한 방식으로 작동하는 것은 아니다. 예를 들어, 누군가에게 행운을 빌기 위해 손가락을 교차하는 제스처의 경우, 미국에서는 긍정적인 의미를 갖지만, 다른 문화권에서는 전혀 다른, 부적절한 의미로 해석되기도 한다. 실제로 해당 제스처는 문화에 따라 “행운을 빈다”는 표현으로 이해되기도 하고, “외설적인 의미”로 받아들여지기도 한다 (그림 1). 이러한 차이는 제스처 인식에만 국한되지 않는다. 여성의 초상화를 두고도, 어떤 문화권에서는 “단정하게 앉아 있는 모습이 만족스럽다”고 묘사되는 반면, 다른 문화권에서는 “복장이 지나치게 노출되어 부적절하다”고 인식되기도 한다 (그림 2). 즉, 같은 이미지를 보더라도 그것이 전달하는 감성과 의미는 문화적 맥락에 따라 크게 달라진다.