[{"_1":2,"_44":-5,"_45":-5},"loaderData",{"_3":4,"_7":8},"routes/lang-layout",{"_5":6},"lang","ko","routes/relations/stories-detail",{"_9":10},"item",{"_11":12,"_13":14,"_15":16,"_17":16,"_18":19,"_20":21,"_22":16,"_23":24,"_25":26,"_27":28,"_29":30,"_31":32,"_33":24,"_34":24,"_35":36,"_37":38,"_43":6},"id",605,"title","LLM만으로 손쉽게 API 서버를 구축할 수 있을까?","board_id",1,"user_id","content","

1. 배경

ChatGPT의 등장으로부터 3년이 흐른 지금, 대중들은 4k 토큰만 처리할 수 있던 초기 GPT-3.5 기반 ChatGPT가 아닌, 128k 토큰을 처리할 수 있는 멀티모달 GPT-4o 기반 ChatGPT를 비롯하여 다양한 회사들이 제공하는 매우 다양한 모델들과 매우 다양한 서비스들을 접할 수 있게 되었다. 코딩 또한 관련된 서비스가 많은 분야 중 하나이다. 여러 회사들이 IDE의 확장 기능 또는 IDE 자체에 LLM을 결합하여 함수 제안이나 자연어로 작성된 요구조건을 코드로 변환하는 등의 기능을 제공하고 있다. 이러한 시대적 흐름에 따라, 필자는 LLM에 간단한 역할과 요구조건을 제시했을 때, 유명한 3개 회사의 LLM이 제공하는 결과를 비교해보기로 했다.

2. LLM만으로 FastAPI 기반 API 서버 구축해보기

본 글에서는 OpenAI의 o3-mini-high, Anthropic의 Claude-3.7-Sonnet-extended-thinking, DeepSeek의 DeepSeek-R1에 역할과 요구조건을 제시하여 게시판 기능을 제공하는 FastAPI 기반 API 서버 구축에 필요한 코드를 제공받고 이들을 분석해보려 한다. 답변은 접근성을 고려하여 모두 API가 아닌 각 회사들이 제공하는 웹 채팅 서비스에서 얻었으며, 공정성을 위해 추론 기능을 활용하는 모델들로만 선정했다. 입력과 출력의 언어는 영어를 선택하였다. 요청에 사용한 역할과 요구조건은 한국어로 작성한 다음, 구글의 Gemini-2.0-pro-exp-02-05를 통해 영어로 번역한 내용을 모델들에게 제시했다.

한국어 원문
# 역할 - 너는 최신정보를 충실히 숙달한 Python 및 FastAPI 전문가이다. 다음의 요구조건을 통해 고객의 의도를 파악하고 최신화된 버전의 라이브러리와 관련된 최신화된 문법들로 결과물을 성실히 작성 및 제공하라. # 요구조건 - 사용자는 ID와 Email, 패스워드, 가입 날짜, 탈퇴 여부, 차단 여부의 정보를 가진다. - ID와 Email은 각각 고유해야 한다. - 패스워드는 해시화가 되어야한다. - 가입 날짜는 가입한 날이 기재되어야 한다. - 게시판은 여러개 존재한다. - 게시글은 제목, 작성 날짜, 작성자, 삭제 여부의 정보를 가진다. - 게시글에는 댓글을 작성할 수 있다. - 게시글 댓글은 작성자, 작성 날짜, 내용, 삭제 여부의 정보를 가진다. - 각 게시글과 게시글 댓글은 페이지네이션이 구축되어야 하며, 오프셋 페이지네이션은 사용하지 않는다. - 데이터베이스는 SQLite를 사용한다. - 웹 프레임워크는 FastAPI를 사용한다. - ORM 라이브러리는 SQLAlchemy를 사용한다. - 최대한 유지보수성이 높은 코드를 작성한다. - 단 하나의 .py로 초기화부터 작동까지 가능하도록 작성한다.

한국어 원문

# 역할

- 너는 최신정보를 충실히 숙달한 Python 및 FastAPI 전문가이다. 다음의 요구조건을 통해 고객의 의도를 파악하고 최신화된 버전의 라이브러리와 관련된 최신화된 문법들로 결과물을 성실히 작성 및 제공하라.

# 요구조건

- 사용자는 ID와 Email, 패스워드, 가입 날짜, 탈퇴 여부, 차단 여부의 정보를 가진다.

- ID와 Email은 각각 고유해야 한다.

- 패스워드는 해시화가 되어야한다.

- 가입 날짜는 가입한 날이 기재되어야 한다.

- 게시판은 여러개 존재한다.

- 게시글은 제목, 작성 날짜, 작성자, 삭제 여부의 정보를 가진다.

- 게시글에는 댓글을 작성할 수 있다.

- 게시글 댓글은 작성자, 작성 날짜, 내용, 삭제 여부의 정보를 가진다.

- 각 게시글과 게시글 댓글은 페이지네이션이 구축되어야 하며, 오프셋 페이지네이션은 사용하지 않는다.

- 데이터베이스는 SQLite를 사용한다.

- 웹 프레임워크는 FastAPI를 사용한다.

- ORM 라이브러리는 SQLAlchemy를 사용한다.

- 최대한 유지보수성이 높은 코드를 작성한다.

- 단 하나의 .py로 초기화부터 작동까지 가능하도록 작성한다.

영어 번역문
# Role - You are a Python and FastAPI expert, thoroughly familiar with the latest information. Understand the client's intentions through the following requirements and diligently create and provide results using the latest versions of libraries and updated syntax. # Requirements - Users have the following information: ID, Email, password, registration date, withdrawal status, and block status. - ID and Email must be unique. - The password must be hashed. - The registration date must be recorded on the day of registration. - There are Multi Boards. - Posts have the following information: title, creation date, author, and deletion status. - Comments can be written on posts. - Post comments have the following information: author, creation date, content, and deletion status. - Each post and post comment must have pagination implemented, and offset pagination should not be used. - Use SQLite as the database. - Use FastAPI as the web framework. - Use SQLAlchemy as the ORM library. - Write code that is as maintainable as possible. - Make it possible to initialize and operate with a single .py file.

영어 번역문

# Role

- You are a Python and FastAPI expert, thoroughly familiar with the latest information. Understand the client's intentions through the following requirements and diligently create and provide results using the latest versions of libraries and updated syntax.

# Requirements

- Users have the following information: ID, Email, password, registration date, withdrawal status, and block status.

- ID and Email must be unique.

- The password must be hashed.

- The registration date must be recorded on the day of registration.

- There are Multi Boards.

- Posts have the following information: title, creation date, author, and deletion status.

- Comments can be written on posts.

- Post comments have the following information: author, creation date, content, and deletion status.

- Each post and post comment must have pagination implemented, and offset pagination should not be used.

- Use SQLite as the database.

- Use FastAPI as the web framework.

- Use SQLAlchemy as the ORM library.

- Write code that is as maintainable as possible.

- Make it possible to initialize and operate with a single .py file.

3. 결과 및 평가

코드들은 모두 200~300줄 사이의 길이를 가지므로, 본문에는 수록하지 않았다. 코드들은 최신 버전보다는 자료가 많은 구버전에 사용된 문법들로 작성되었다. 이는 학습데이터가 더 많은 것과, 최신이라는 모호한 지시와 구체적인 버전 지시를 하지 않았다는 점에서 납득할 수 있다. 사용한 모델들이 벤치마크에서 상위권을 달성한 모델들임을 고려했을 때, 현재는 기초부터 LLM 혼자만의 힘으로, 구체적이지 않은 요구조건을 구체화하며 기능들을 구현하는 것은 어려움이 있어 보인다. 그렇기에 LLM에게 모든 것을 맡기는 대신, 지속적인 상호작용으로 맥락을 제공하며 기능 구현에서 부분적인 도움을 받는 것이 현실적인 활용 방안이라고 생각한다.

$\"Image$

[그림 1] 각각의 모델들이 제시한 Users 테이블 생성에 사용되는 SQLAlchemy 모델

- 2.0의 mapped_column 대신 1.*의 Column이 사용되었다.

- 그 외에도 Deprecated된 datetime.utcnow를 사용하였다.

A. 역할과 요구조건에 담은 의도 및 수행 여부 평가

LLM에 제공한 역할과 요구조건에는 LLM이 필자의 의도를 파악했으면 하는 바람을 담은 몇 가지 사항이 존재한다. 역할에서의 '최신 정보'는 Python과 FastAPI의 최신 버전 및 문법 사용보다는 SQLAlchemy 2.0 버전과 해당 버전에서 제안된 문법 사용을 의도한 내용이다. OpenAI의 o3-mini-high는 추론 과정에서 SQLAlchemy 2.0을 언급했으나, 코드에서는 1.* 버전의 문법으로 코드를 작성했다. 다른 두 모델은 모두 SQLAlchemy 버전에 대해 언급하지 않고 1.* 버전의 문법으로 코드를 작성했다.

사용자의 ID는 일반 사용자들이 생각하는 ID와 데이터베이스에서 PK 칼럼명으로 사용하는 id가 중복되도록 제시했고, 이에 대한 추론 수행 여부를 확인하고자 했다. 그러나 모든 모델들은 고유한 ID를 기본키로 당연하게 인식하며 필자의 의도를 충족시키지 못했다. 이는 최근 웹사이트들이 전통적인 ID대신 이메일을 ID 대용으로 채택하고 있다는 점이 영향을 준 것일 수도 있다.

오프셋 페이지네이션을 사용하지 말라는 요청은 키셋 페이지네이션 구현을 의도한 내용이었다. OpenAI의 o3-mini-high와 Anthropic의 Claude-3.7-Sonnet-extended-thinking은 이를 적절히 구현했지만, DeepSeek의 DeepSeek-R1은 키셋 페이지네이션을 지원하는 외부 라이브러리 사용을 시도했음에도 오프셋 페이지네이션을 사용하는 코드를 작성했다.

단일 .py 파일로 초기화부터 작동까지 가능하도록 작성해달라는 요구조건은 파일 실행 시 데이터베이스 준비부터 uvicorn을 통한 서버 구동까지 자동으로 진행되도록 하는 의도를 담고 있었다. 세 모델 모두 데이터베이스 스키마 생성을 위한 코드를 작성했지만, DeepSeek의 DeepSeek-R1은 터미널에서 별도의 uvicorn 명령어를 입력해야 서버가 구동되도록 코드를 작성했고 다른 두개의 모델은 서버가 자동으로 구동되도록 관련 코드를 작성하였다.

B. 모델별 평가

i. OpenAI의 o3-mini-high

본 평가에서 상대적으로 2위에 해당하는 코드 작성 능력을 보여주었다. 추론 과정에서 요구조건에 숨겨진 의도를 파악한 점은 인상적이었으나, 이를 코드에 반영하지 못한 점이 아쉽다. 전반적으로 요구조건에 맞게 코드를 작성했으나, 그 이상으로 확장하지는 않았다. 사용자 명령에 충실히 따르는 수동적인 GPT의 특성이 드러났다.

ii. Anthropic의 Claude-3.7-Sonnet-extended-thinking

본 평가에서 상대적으로 1위에 해당하는 코드 작성 능력을 보여주었다. 추론 과정에서는 숨겨진 의도를 파악하기보다 요구조건을 리스트로 정리하고, 코드 초안을 작성한 후 체크리스트로 검증하는 방식을 주로 사용했다. 요구조건에 맞는 코드 작성을 넘어서 사용자가 명시하지 않은 JWT 인증 방식 및 Swagger에서의 인증 구현 등을 구현한 점이 인상적이었다. 사용자 명령을 따르면서도 능동적으로 확장하려는 Claude의 특성이 드러났다.

iii. DeepSeek의 DeepSeek-R1

본 평가에서 상대적으로 3위에 해당하는 코드 작성 능력을 보여주었다. 추론 과정에서는 Claude-3.7-Sonnet-extended-thinking과 유사하게 요구조건을 리스트로 정리하고 코드 초안을 작성한 후 체크리스트로 검증했다. 그러나 이 과정에서 '이것이 맞는가?'라는 지속적인 검토를 거치며 약 5분을 추론에 사용했다. 이는 o3-mini-high의 30초, Claude-3.7-Sonnet-extended-thinking의 1분 30초에 비해 상당히 긴 시간이다. 전반적으로 요구조건에 맞게 코드를 작성했으나, o3-mini-high에 비해 몇 가지 부족한 점이 있었다.

4. Swagger 화면

모든 코드를 수록하는 대신, Swagger 화면을 대신 수록한다.

$\"Image$

[그림 2] OpenAI의 o3-mini-high의 Swagger 화면

$\"Image$

[그림 3] Anthropic의 Claude-3.7-Sonnet-extended-thinking의 Swagger 화면

$\"Image$

[그림 4] DeepSeek의 DeepSeek-R1의 Swagger 화면

<자연어 딥러닝 연구팀 최성일 / sichoe@lexcode.com>

","views",123,"likes","comment",0,"thumbnail_file","/2025/03/3.썸네일-렉스코드-LLM만으로 손쉽게 API 서버를 구축할 수 있을까4.jpg","thumbnail_name","3.썸네일-렉스코드-LLM만으로 손쉽게 API 서버를 구축할 수 있을까4.jpg","created_at","2025-03-16","updated_at","2026-05-28T16:30:42","status","company","author","최성일","metadata",{"_13":14,"_39":40,"_41":42},"keyword","ChatGPT, FastAPI, SQLAlchemy, OpenAI, Anthropic, DeepSeek, API 서버, 코드 작성 능력, Swagger","description","LLM만으로 FastAPI 기반 API 서버를 구축할 수 있을까? OpenAI, Anthropic, DeepSeek 모델을 비교한 결과, Claude-3.7-Sonnet이 가장 우수한 성능을 보였지만, 완전한 자동화는 어려웠다. 결국, LLM과의 협업이 개발의 핵심이다!","locale","actionData","errors"]