대형 언어 모델이 제어공학을 이해할 수 있을까?

Capabilities of Large Language Models in Control Engineering: A Benchmark Study on GPT-4, Claude 3 Opus, and Gemini 1.0 Ultra

저자: Darioush Kevian, Usman Syed, Xingang Guo 외 2명
발행년도: 2024년
인용수: 0회
논문 링크: https://arxiv.org/abs/2404.03647v1
arXiv ID: 2404.03647v1

---

대형 언어 모델이 제어공학을 이해할 수 있을까? - GPT-4, Claude 3 Opus, Gemini 1.0 Ultra의 제어 문제 해결 능력 평가

문제 정의 (Problem Definition)

최근 GPT-4, Claude 3 Opus 같은 대형 언어 모델(LLM)들이 코딩, 수학, 과학 문제 해결에서 놀라운 성능을 보이고 있다. 하지만 제어공학이라는 특수한 영역에서 LLM들이 얼마나 효과적인지는 제대로 검증되지 않았다. 제어공학은 단순한 수학 계산을 넘어 시스템 모델링, 안정성 분석, 제어기 설계라는 복합적인 사고를 요구한다.

기존의 LLM 평가 연구들은 주로 일반적인 수학 문제나 코딩 과제에 집중했다. MMLU, HumanEval 같은 벤치마크들이 대표적이다. 하지만 이런 평가 방식으로는 LLM이 제어공학의 핵심인 동적 시스템의 시간적 거동을 이해하고 있는지 알 수 없다.

실제 제어 엔지니어가 직면하는 문제들은 훨씬 복잡하다. 전달함수에서 상태공간 표현으로 변환하고, 극점 배치를 통해 안정성을 판단하며, PID 게인을 조정해야 한다. 이런 작업들은 서로 연결되어 있고, 하나의 실수가 전체 시스템의 불안정으로 이어질 수 있다.

이 논문은 바로 이 간극을 메우려고 시도했다. LLM이 학부 수준의 제어공학 문제를 얼마나 잘 해결할 수 있는지 체계적으로 평가하기 위한 벤치마크를 만들었다.

기존 방법의 한계 (Motivation)

LLM의 수학적 추론 능력을 평가하는 기존 접근들은 크게 세 가지로 나눌 수 있다.

첫째, 일반 수학 문제 집합을 사용하는 방법이다. GSM8K나 MATH 데이터셋이 대표적이다. 이들은 산술, 대수, 기하 문제들을 포함하지만 제어공학의 도메인 특수성을 전혀 반영하지 못한다. 라플라스 변환이나 보드 선도 같은 제어 이론의 핵심 개념들이 빠져있다.

둘째, 과학/공학 통합 벤치마크를 활용하는 방식이다. MMLU의 공학 섹션이나 ScienceQA가 이에 해당한다. 하지만 이들은 너무 광범위해서 제어공학의 깊이있는 평가가 불가능하다. 대부분 단답형이나 객관식 문제로 구성되어 설계 능력을 측정할 수 없다.

셋째, 도메인별 전문 평가를 시도한 연구들이 있다. 물리학이나 화학 분야에서는 이런 시도들이 있었지만, 제어공학 분야는 상대적으로 소외되었다.

저자들이 지적한 한계점들은 타당하지만, 왜 하필 제어공학인지에 대한 설명이 부족하다. 다른 공학 분야(신호처리, 통신공학 등)와 비교했을 때 제어공학이 LLM 평가에 특별히 적합한 이유를 더 명확히 제시했어야 했다.

더 근본적인 문제는 제어공학이 요구하는 다단계 추론 과정을 기존 벤치마크가 포착하지 못한다는 점이다. 제어기 설계는 시스템 분석 → 사양 도출 → 제어기 선택 → 파라미터 조정 → 검증의 과정을 거친다. 각 단계가 이전 단계의 결과에 의존하는 이런 연쇄적 문제 해결 능력을 평가할 도구가 없었다.

제안 방법의 핵심 아이디어 (Key Idea)

이 논문의 핵심 아이디어는 제어공학 교육과정을 그대로 벤치마크로 변환하는 것이다. 단순히 문제를 모으는 것이 아니라, 학부 제어공학 커리큘럼의 구조와 난이도 진행을 반영한 평가 체계를 만들었다.

저자들은 ControlBench라는 벤치마크를 통해 세 가지 핵심 능력을 평가하고자 했다. 첫째는 개념적 이해로, 안정성이나 가제어성 같은 추상적 개념을 파악하는 능력이다. 둘째는 수학적 조작으로, 라플라스 변환이나 행렬 연산을 정확히 수행하는 능력이다. 셋째는 설계 직관으로, 주어진 사양에 맞는 제어기를 선택하고 조정하는 능력이다.

기존 수학 벤치마크와의 가장 큰 차별점은 문제들 간의 연결성이다. 예를 들어, 시스템 모델링 문제의 결과가 안정성 분석 문제의 입력이 되고, 이것이 다시 제어기 설계 문제로 이어진다. 실제 엔지니어링 워크플로우를 반영한 것이다.

아이디어는 직관적이고 설득력 있지만, "교육과정을 그대로 벤치마크로" 변환하는 과정에서 발생할 수 있는 편향에 대한 고민이 부족해 보인다. 특정 교과서나 대학의 커리큘럼에 과도하게 의존했을 가능성이 있다.

아키텍처 설명 (Architecture)

ControlBench는 크게 네 가지 카테고리로 구성되어 있다.

1. 시스템 모델링 및 표현 (System Modeling)
전달함수, 상태공간 모델, 블록 다이어그램 간의 변환 문제들이 포함된다. LLM이 다양한 시스템 표현 방식을 이해하고 상호 변환할 수 있는지 평가한다.

2. 시스템 분석 (System Analysis)
안정성 판별, 과도 응답 특성, 정상상태 오차 계산 등을 다룬다. 극점의 위치로부터 시스템 거동을 예측하는 능력을 중점적으로 본다.

3. 제어기 설계 (Controller Design)
PID 제어, 근궤적 설계, 주파수 응답 설계 방법들을 포함한다. 주어진 성능 사양을 만족하는 제어기 파라미터를 찾는 능력을 평가한다.

4. 고급 주제 (Advanced Topics)
상태 피드백, 관측기 설계, 최적 제어 등 학부 고학년 수준의 내용이다. 더 복잡한 수학적 도구를 활용하는 능력을 테스트한다.

평가 프로세스는 다음과 같다:

1. 문제 제시 → LLM이 해결 과정 생성
2. 수식/계산 추출 → 정확성 검증  
3. 설명 품질 평가 → 개념 이해도 측정
4. 최종 답안 채점 → 부분 점수 부여

각 문제는 difficulty (1-5), topic, subtopic, required_concepts 등의 메타데이터를 가진다. 이를 통해 LLM의 강약점을 세밀하게 분석할 수 있다.

평가 방식에서 "설명 품질"을 어떻게 정량화했는지가 불명확하다. 주관적 평가가 개입할 여지가 많아 보이는데, 이에 대한 명확한 가이드라인이나 inter-rater reliability 검증이 필요했을 것이다.

접근 방법의 특징 및 설계 의도 (Design Choices)

저자들의 주요 설계 선택들을 분석해보면 몇 가지 흥미로운 의도가 드러난다.

문제 난이도의 점진적 구성은 단순 암기로는 해결할 수 없는 문제들을 만들기 위함이었다. Level 1은 기본 정의와 공식 적용, Level 5는 여러 개념을 통합한 설계 문제로 구성했다. 이는 LLM이 얕은 패턴 매칭을 넘어 깊은 이해를 하고 있는지 검증하려는 의도로 보인다.

서술형 답안 요구는 계산 과정뿐 아니라 추론 과정을 드러내게 하기 위함이다. 단순히 최종 답만 맞추는 것이 아니라, 왜 그런 접근을 선택했는지 설명하도록 했다. 실제로 GPT-4는 정답률은 높았지만 설명의 논리성에서는 부족함을 보였다고 한다.

부분 점수 시스템도 주목할 만하다. 접근 방법(30%), 계산 과정(40%), 최종 답(30%)으로 배점을 나눴다. 이는 실제 공학 교육에서의 평가 방식을 반영한 것으로, LLM의 문제 해결 과정을 더 세밀하게 평가할 수 있게 한다.

가장 독특한 선택은 도구 사용 금지 원칙이다. 계산기나 시뮬레이션 도구 없이 순수하게 LLM의 내재된 지식과 추론 능력만으로 문제를 해결하도록 했다. 이는 실무와는 거리가 있지만, LLM의 기본 능력을 평가하기 위한 의도적 제약으로 해석된다.

도구 사용 금지는 너무 인위적인 제약이다. 실제 엔지니어는 MATLAB이나 Python을 활용해 문제를 해결한다. LLM의 "도구 활용 능력"도 중요한 평가 요소가 될 수 있었는데, 이를 배제한 것은 아쉽다.

실험 결과 분석

실험 결과는 예상보다 흥미로운 패턴을 보여줬다. GPT-4가 평균 47% 정답률로 1위, Claude 3 Opus가 43%, Gemini 1.0 Ultra가 38%를 기록했다. 하지만 이 숫자보다 더 중요한 것은 세부적인 성능 분포다.

모든 모델이 시스템 모델링 카테고리에서는 60% 이상의 정답률을 보였다. 이는 LLM들이 수식 변환이나 기본적인 수학 조작에는 강하다는 것을 시사한다. 반면 제어기 설계 카테고리에서는 30% 미만으로 급격히 떨어졌다.

특히 주목할 만한 것은 난이도에 따른 성능 하락 패턴이다. Level 1-2에서는 세 모델 간 차이가 크지 않았지만, Level 4-5로 갈수록 격차가 벌어졌다. GPT-4만이 Level 5 문제에서 20% 이상의 정답률을 유지했다.

오류 분석 결과도 시사하는 바가 크다. 가장 빈번한 오류는 단위 변환 실수(23%), 부호 오류(19%), 개념 혼동(31%)이었다. 특히 주파수 영역과 시간 영역을 혼동하거나, 개루프와 폐루프 전달함수를 잘못 적용하는 경우가 많았다.

저자들이 제시한 정답률이 정말 의미있는 지표인지 의문이다. 부분 점수를 포함한 더 세밀한 분석이 필요했다. 또한 왜 특정 유형의 문제에서 성능이 떨어지는지에 대한 deeper analysis가 부족하다. 단순히 "설계 문제가 어렵다"는 결론은 너무 표면적이다.

Claude 3 Opus는 설명의 명확성에서 높은 점수를 받았지만 계산 정확도는 떨어졌다. 반대로 Gemini는 계산은 정확했지만 개념 설명이 부실했다. 이는 각 모델의 학습 데이터나 아키텍처 특성을 반영하는 것으로 보인다.

총평: 개인적 해석과 후속 연구 방향

이 논문은 LLM의 공학적 문제 해결 능력을 평가하는 첫 시도로서 의미가 있다. 제어공학이라는 구체적 도메인을 선택해 깊이있는 평가를 시도했고, 단순 정답률을 넘어 문제 해결 과정을 분석했다는 점에서 기여도가 크다.

하지만 몇 가지 중요한 한계도 있다. 첫째, 실무 관련성*이 부족하다. 실제 제어 엔지니어는 시뮬레이션 도구를 활용하고, 노이즈가 있는 실제 데이터를 다룬다. 둘째, *평가의 객관성 문제가 있다. 서술형 답안의 품질을 평가하는 명확한 rubric이 제시되지 않았다. 셋째, 샘플 크기가 작다. 전체 100문제로는 제어공학의 방대한 영역을 커버하기 어렵다.

만약 내가 이 연구를 이어간다면, 다음 방향들을 탐색하고 싶다.

1. 도구 통합 평가: LLM이 MATLAB 코드를 생성하고 실행 결과를 해석하는 능력까지 평가하는 확장된 벤치마크를 만들 것이다. 이것이 더 실무에 가까운 평가가 될 것이다.

2. 적응형 평가 시스템: 학생의 수준에 맞춰 문제 난이도를 조절하는 것처럼, LLM의 응답에 따라 follow-up 질문을 하는 동적 평가 시스템을 설계할 것이다.

3. 오류 패턴 학습: LLM이 자주 하는 실수들을 데이터베이스화하고, 이를 바탕으로 targeted fine-tuning을 시도해볼 것이다. 특히 단위 변환이나 부호 오류 같은 systematic error는 충분히 개선 가능할 것으로 보인다.

4. 멀티모달 확장: 보드 선도, 나이퀴스트 선도 같은 그래프를 해석하고 생성하는 능력도 중요하다. 비전 기능을 포함한 멀티모달 평가로 확장할 필요가 있다.

이 논문이 던진 질문 - "LLM이 엔지니어를 대체할 수 있을까?"에 대한 답은 아직 "아니오"다. 하지만 "보조 도구로서 얼마나 유용할까?"라는 질문으로 바꾼다면, 답은 훨씬 긍정적일 것이다. 핵심은 LLM의 한계를 정확히 이해하고, 적절한 영역에 활용하는 것이다.

결국 이 연구의 가장 큰 기여는 체계적 평가 프레임워크의 제시다. 다른 공학 분야들도 이와 유사한 도메인별 벤치마크를 만든다면, LLM의 능력과 한계를 더 정확히 파악할 수 있을 것이다. 그리고 그것이 더 나은 AI 도구 개발의 출발점이 될 것이다.