1. title 정하기

원하는 형식) 감정-스케치 데이터 셋 구축 및 PEFT를 통한 모델 성능 향상 연구: (최종적인 목표) 미술 치료 도구로써 활용하기.

2. UGRP 최종보고서 작성

1. 연구 동기 -최종 목적지를 미술치료쪽으로 잡는다는 가정하의 연구 동기 미술치료는 감정을 표현하고 심리적 문제를 해결하는 데 효과적인 접근 방식으로, 특히 감정을 잘 표현하지 못하는 사람들에게 큰 도움이 됩니다. 그러나 미술치료의 효과를 극대화하기 위해서는 치료사가 내담자의 감정을 정확히 이해하고 이를 기반으로 적절한 치료 방향을 제시할 수 있어야 합니다. 이때, 감정이 라벨링된 데이터셋을 활용하는 연구는 미술치료의 필요성과 효과를 더욱 높일 수 있는 중요한 기회를 제공합니다.

스케치 데이터셋에 감정이 라벨링된 데이터를 통해 AI 모델은 다양한 감정 표현을 학습할 수 있으며, 이를 통해 미술치료 세션에서 내담자의 스케치를 분석하고 감정을 보다 정확하게 파악할 수 있습니다. 예를 들어, 내담자가 그린 그림에서 특정 감정이 어떻게 표현되었는지를 AI가 분석하면, 치료사는 해당 감정에 대한 보다 깊은 이해를 바탕으로 내담자와의 소통을 원활하게 할 수 있습니다.

또한, 이러한 데이터셋은 치료사에게 실질적인 참고 자료를 제공하여, 다양한 감정에 따른 적절한 접근 방식을 제시하는 데 도움을 줄 수 있습니다. 스케치를 통한 감정 표현은 말로 표현하기 어려운 감정을 시각적으로 전달할 수 있는 효과적인 방법이므로, AI와 미술치료의 결합은 치료의 효과를 높이고, 감정 인식을 강화하는 데 중요한 역할을 할 것입니다.

2. 연구 목표,, 스케치 데이터 수집 이유 및 모 본 연구는 스케치 데이터를 통한 감정 인식의 가능성을 탐색하고, 이를 어떻게 심리치료라는 도메인에 적용할 수 있을지 탐구함으로써, 기존에 인간에게 의존해야만 했던 심리치료 방법을 비 언어적인 방식을 통해서 탈피하는 것을 목표로 두고 있다. 연구의 1차 목표는 스케치 데이터를 수집하고 이를 통해 감정 인식을 위한 분류 모델을 설계하는 것으로, 전이 학습을 적용함으로써 문제를 해결하고자 한다. 본 연구의 첫 번째 단계에서는 스케치 데이터를 수집하는 작업을 진행하게 될 것이다. 이 데이터는 설문 조사를 통해 다양한 참가자들로부터 얻어지며, 참가자들은 자신의 감정 상태를 반영하는 스케치를 제작하게 될 것이다. 이렇게 수집된 스케치는 후속 연구에서 감정 인식 모델을 구축하는 기초 자료로 활용되어, 모델의 학습 과정에서 중요한 역할을 하게 될 것이다. 특히 본 연구가 심리치료 분야에 미칠 잠재적인 영향을 고려해 보았을 때, 추후에 개발될 모델은 치료사와 환자 사이 비언어적 커뮤니케이션의 한 축을 담당할 수 있을 것으로 보인다.

→ 연구 동기 및 목표 모두 최종목표 Fix 시 수정할 예정 3) 연구 내용 1.설문 조사 양식 및 목적 및 내용 2.설문 조사 결과 정리한 표 (각 감정마다 몇개인지 + 예시 및 의도 + 얼마나 드러나는가) 3.JSON 으로 DATA set만든 과정 및 결과 4. 스케치 데이터 기반 감정 분류 모델 구현 과정 및 결과 분할 정복중인 내용 정리{ 초기시도- Emoset 모델을 전체적으로 학습시키려 했으나, 12시간 정도의 학습 후 시스템 오류로 인해 중단! →LoRA(Lo-Rank Adaptation) 및 FL(Few-Shot Learning) 방식을 적용해보기로 결정 모델 배포 방법으로 Hugging Face를 사용하는 방법 - 필요한 토큰 생성, 라이브러리 설치, 클론 및 파일 생성 방법, PTH 파일과 모델 구조 저장의 필요성

데이터셋 관리 - JSON 파일을 활용하여 train/test/validation 데이터셋을 감정별로 분류, push to hub function을 통해 Hugging face에 데이터를 업로드 할때 대용량 파일 업로드 시 네트워크 에러 문제를 해결 가능!

데이터 전처리-데이터 전처리 과정에서 첫 번째 코드에서 Json file에서 감정 라벨 빼고 제거(데이터 전처리), 두 번째 코드가 감정마다 이미지 분류를, 세 번째 코드에서 parquet형식으로 higging face에 업로드 하는 작업을 수행했다.

모델 성능 테스트: Hugging Face에 업로드한 데이터셋을 바탕으로 3개의 테스트를 진행했다. 테스트 결과로 test1에서 70% 이상, test2에서 100%, test3에서 60%의 정확도를 기록하였다.

크롤링- 총 844개의 이미지를 모은 후, 이를 JSON 파일 형식으로 변환하여 Hugging Face에 등록함. Cycle GAN- 이미지 변환을 위해 Cycle GAN을 사용, 이를 통해 스케치 데이터의 감정 표현을 강화하고, 이미지 세분화 작업을 시도. but 메모리 사용량이 커서 적절한 데이터 크기로 조정하는 작업이 필요했음. → GAN 변환 결과를 JSON 파일 형식으로 구성하여 감정 레이블을 매핑하였습니다.

크롤링, Cycle GAN, parameter fix, finetuning methods로 모델 최적화 시키기 →파인튜닝 메소드, 파라미터 고정 후 데이터셋 테스트,,다양한 데이터셋 조합에서 테스트 →데이터셋과 파라미터 고정 후 파인튜닝 메소드 테스트,, 각 메소드를 테스트

→파인튜닝 메소드, 데이터셋 고정 후 파라미터 테스트,, 특정 데이터셋, 메소드 고정후, 파라미터 조정

GPT tuning-GPT 모델을 통한 파인튜닝

} 5. 정확도 분석 - 저번에 찾은 메트릭 중 2개정도 선정하여 평가 6. GPT API를 적용시킨 모델 개발(가능?)

6. 결론 및 발전 방향 자문 요청 메일 보낸거 다 확인해봤는데, 다 답장이 없음 ㅠ

발전 방향

• 감정 교육 감정을 잘 느끼지 못하는 분들에게 AI를 통해 다양한 감정을 이해하고 표현할 수 있도록 도와줄 수 있다. 감정 교육에 기여할 수 있는 도구로써 활용한다?
• 개인 맞춤형 치료 접근법 AI 분석을 통해 개인의 감정 상태를 파악하고, 그에 맞는 맞춤형 미술치료 프로그램을 개발 예를 들어, 특정 감정이 자주 나타나는 환자에게 그 감정을 표현하도록 유도하는 방식. → 모델이나 메커니즘을 구성하여 제안하는 방식으로?
• 치료 효과 분석 AI를 통해 환자들이 그린 스케치의 변화 추이를 분석하여 치료 효과를 판단하는데 있어서 정량적으로 평가할 수 있는 메트릭을 제안하기?
• 감정적 연결 강화 감정 교육과 약간 유사한 내용, AI가 감정 분석을 통해 사람들이 자신의 감정을 이해하고 표현하는 방법을 제시함으로써, 치료사와 환자 간의 감정적 연결을 강화시킨다? → 결국 미술치료의 도구로

→ 목적이 있어야 하기에 초반의 목표로 설정하였던 미술치료의 도구로써 사용될 수 있도록 제안하는 것을 최종 목적지로 밀고나가는게 어떠한가?