AI의 할루시네이션 : 하루종일 삽질

Wix.com 으로 만들어진 홈페이지였다.

누가 만들었는지 모르지만, 족히 10년은 된 코드였다.

IR 페이지에 삽입된 "주가 조회 기능".

이게 멈춰 있었다.

 

무턱대고 받았다.

1시간 정도면 충분할 듯.

API 로 받아온 JSON 데이터를 파싱한 다음, 필드에 뿌려주면 끝일테니.

(누구나 계획은 그럴 듯하다. 계획이 틀린 적은 없다.)

 

Wix.com

보자...

우선 화면 디자인을 확인한다.

text22, text24 ... 텍스트 상자들을 업데이트 하는 군.

 

Backend API는 어디에 있지?

음, node.js 문법인데?

왜 확장자가 jsw 이지?

왠지 헤매기 시작한다.

 

음, 데이터는 KRX 에서 가지고 오는군.

url 을 확인한다.

옛날에는 그냥 Open API 였는데, 지금은 AUTH KEY를 받도록 되어 있다.

번거롭지만 KRX 페이지로 들어가서 AUTH KEY를 받고 API 사용신청을 했다.

 

Postman으로 API 테스트.

음, 잘 되는군.

 

이제 코드를 만들어 볼까?

AI 를 써서 일단 node.js 코드를 만든다.

음, 잘 작동한다.

 

Windsurf (Claude, ChatGPT...)

이제 AI를 써서 Wix.com 코드로 바꿔본다.

주루룩, 주루룩 잘 바꿔준다.

잘 오려 붙이고, 이것 저것 테스트를 한다.

잘 오려 붙이고, 이것 저것 테스트를 한다.

잘 오려 붙이고, 이것 저것 테스트를 한다.

...

를 50번은 반복한 것 같다.

 

이제 나를 의심해야 할 때다.

나는 뭘 잘못한 걸까?

 

...

퇴근 시간을 앞두고 아직 감이 안잡힌다.

Wix 가 serverless로 만들긴 했지만, 그게 server 개발을 몰라야 한다는 이야기는 아니다.

그냥 node.js 를 실행할 수 있도록 웹 UI를 만들었을 뿐...

 

찬찬히 코드를 살펴본다.

음, Backend API가 특이한 게 아니었구나.

wix-fetch 등, wix 환경에서만 돌아가는 라이브러리들이 있었을 뿐,

사실 코드는 평범한 코드였다.

 

AI에 의지하지 않고 토닥거리면서 코드를 다시 만드니 금방 돌아간다.

음, 뭐가 문제였을까?

 

할루시네이션

할루시네이션이 있었다.

node.js 코드를 wix.com 코드로 바꾸는데...

AI 가 너무 당당하게 바꿔줘서 그게 맞는 줄 알았다.

코드를 흝어봐도 모두 정상적으로 보이는 코드였다.

 

다만, Wix에서 쓰는 node.js 의 package 들은 조금 달랐기 때문에

노트북에서 테스트할 수 없었다.

 

사이트 편집기에 올려 놓고 테스트를 하자니, 불편하기 짝이 없었다.

console.log가 어디 찍히는지도 몰랐고,

response가 어떻게 오는지도 몰랐다.

 

그렇게 오후 내내 삽질을 했다.

 

문제

AI가 거짓말을 하면 확인할 방법이 없다.

검증할 방법이 없다면 진실은 저 너머로 사라진다.

제품 개발은 저 멀리로,

코드는 저 깊은 바다 속으로 빠져버리고 만다.

 

AI와 함께 일을 하니 이젠 "개발 환경"이 매우 중요해진다.

즉시 즉시 디버깅할 수 있는 환경이 중요해진다.

 

모았다가 디버깅하기에는 코드량이 너무 많다.

AI가 코드를 너무 많이 만든다.

힘에 부친다.

 

요약

- AI 믿었다가 하루를 날렸다.

- 정확히는 인간의 신뢰 메커니즘이 불완전하다.

 

끝.