기식하기 2: The Vitruvian Dining, feat. Lllama 3.1. 405B BASE
이번에는 조금 다른 방식으로 기식하는 테이블을 차려보겠습니다. ‘베이스 모델’(base model)은 조율되지 않은 날것의 언어 생성 엔진입니다. 이제 베이스 모델과 대화하면 어떤 식탁이 차려지는지 살펴보겠습니다.
베이스 모델(base model)이란?
ChatGPT나 Claude 같은 상용 AI 챗봇은 인간과 자연스럽게 대화하도록 고도로 조율된(fine-tuned) 모델입니다. 예를 들어 "비트루비우스의 건축 원리를 설명해줘"라고 물으면, 조율된 모델은 질문을 이해하고 명확한 답변을 제공합니다.
그러나 이러한 조율 이전에 '베이스 모델'(base model)이라는 것이 존재합니다. 베이스 모델은 방대한 텍스트로 학습되었지만 아직 대화용으로 훈련되지 않았습니다. 같은 질문을 베이스 모델에 던지면, 질문에 직접 답하기보다는 "비트루비우스의 건축 원리를 설명해줘. 먼저 기둥의 비례에 대해 알아보자. 도리아 양식에서는..." 식으로 질문 자체를 이어가거나, 갑자기 관련 없는 건축 용어들을 나열하는 등 예측 불가능하고 산만한 텍스트를 생성합니다. 베이스 모델은 대화의 맥락보다는 학습된 텍스트의 통계적 패턴을 따르기 때문입니다.
기식하기: 베이스 모델의 방식으로
이를 이용한 텍스트 생성을 시도해보겠습니다. 베이스 모델은 같은 인터넷 텍스트를 기식하되, 조율된 모델과는 전혀 다른 방식으로 ‘먹이를 섭취’합니다. 일반적인 챗봇이 앞서 본 것과 같이 정제된 코스 요리를 차리는 셰프라면, 베이스 모델은 식재료 창고를 뒤지며 즉흥적으로 조합하는 요리사와 비슷합니다. 베이스 모델은 학습한 텍스트의 통계적 패턴에 더 직접적으로 노출되어 있기 때문에 그렇습니다.
이 놀이에는 Meta의 오픈소스 베이스 모델인 Llama 3.1 405B BASE를 사용하겠습니다. 여기서 405B는 4,050억 개의 파라미터(parameter)를 의미합니다. 파라미터는 모델이 학습 과정에서 조정하는 내부 변수로, 그 수가 많을수록 모델이 더 복잡한 언어 패턴을 학습할 수 있습니다.
저는 Hyperbolic과 같은 플랫폼을 통해 웹에서 접속하여 사용했습니다.
앞서 비트루비스의 『건축십서』 제10권 중 추출했던 “The Liquid Choreography”(리퀴드 안무) 의 첫 문장을 Llama 3.1 405B 베이스 모델에 프롬프트로 입력했습니다: “셰프 마르쿠스는 아르키메데스의 나사와 팀파넘 드럼을 통해 와인이 내려오도록 주방을 나선형으로 꾸몄습니다.” 그랬더니 다음과 같이 단어들을 이어갑니다.
당신은 추진력과 균형 사이에서 길을 잃습니다. 떠나고 돌아오는 것, 차분한 향기와 하나가 됩니다. 마치 생명이 있는 듯, 그들은 돌아와 침묵을 키우고 속삭이다가 이 섬세한 일본에서 영감을 받은 물건에서 입과 눈이 간지럽게 느껴질 때까지 사라집니다. 붉은 칠기 바닥과 황금색 반달이 있는 일본식 도자기 접시. 피에르 프레이 작품. 독특한 작품 21 x 4cm / 8.3 x 1.6인치 참고 사항 - 모든 Studio Twenty Seven 품목은 당사가 통제할 수 없는 장인의 특별 주문입니다. 리드 타임은 추정치일 뿐이며 최대 몇 개월이 걸릴 수 있습니다. 물시계의 정밀함으로 접시가 등장하여 즐거움의 기반이 되는 안무를 만들어냅니다. 당신은 추진력과 균형 사이에서 길을 잃습니다. 떠나고 돌아오는 것, 차분한 향기와 하나가 됩니다. 마치 생명이 있는 듯, 그들은 돌아와 침묵을 키우고 속삭이다가 이 섬세한 일본에서 영감을 받은 물건에서 입과 눈이 간지럽게 느껴질 때까지 사라집니다. (…)
Temperature 설정에 따라 결과물이 대폭 진동하기는 합니다만, 이 버전에서 가장 눈에 띄는 특징은 같은 문장의 반복입니다. 베이스 모델은 다음 토큰을 매번 다르게, 확률적으로 예측하다가 특정 패턴에 갇히면 빠져나오지 못합니다. 명확한 시작과 끝도 없습니다. 다만 개별 문장들은 비교적 자연스러운 한국어입니다. 언어 모델의 기본 능력은 그래도 상당한 수준이라는 뜻입니다.
세르의 관점에서 본다면, 베이스 모델은 시스템에 잡음(noise)을 만들어내는 존재로 작용하고 있습니다. 이 또한 ‘기식자’ 역할을 하는 것인데요. 이러한 잡음은 일견 방해에 불과한 것 같지만, 시스템, 그러니까 이 실험의 경우, 텍스트를 다른 상태로 변환시키는 계기가 됩니다.
Temperature와 Top P를 조절하여 다양한 성격의 텍스트를 생성할 수 있습니다. 우리가 생각하지 못한 단어의 배치, 익숙한 표현의 돌연변이. 또 논리적으로도 수사적으로도 매우 어색하지만, 바로 그 어색함이 다른 의미의 경로를 열어줍니다.
첫 번째 코스 - 펄 컨스트럭션 스프리츠(Pearl Construction Spritz) 몰드를 사용하여 유자 폼 비즈를 캡슐화하는 마이크론 두께의 알지네이트 폴리머 시트와, 제조사 헥사트 LSX와 공동 개발한 아비오텍 그룹(Abiotek Group)의 독점 비밀인 특수 마무리 소스를 인쇄한다. 벨루가 캐비어 또한 캡슐화된 알지네이트로 인쇄된다. 11월 11일부터 선정된 협력 업체들과의 사전 등록이 시작됨에 따라, 제목란에 BEL:SEA를 통해 다음 달 테이블 디자인과 미식 레벨 모두에서 다양한 코스를 선보일 예정이다. 아비오텍 리싱(Abiotek Leasing)과 헥사트 리퀴드(Hexact Liquids)는 버번(Bourbon)의 알렉스 발카셀(Alex Valcarcel)에게 그의 재능과 미식에 대한 애정에 감사를 표하는데... 6.jpg 4.jpg 3.jpg 2.jpg 1.jpg (...)
아래와 같은 잡음, 또는 혼란 그 자체가 우리가 텍스트로 소통하고 이해하는 통상적인 방식에 도전(결코 일반적인 사람이 질서정연하게 ‘소화’할 수 없는 것들을 끝없이 나열)하기 때문에, 어떤 면에서는 생산적이라고 볼 수 있습니다. 결국 이러한 텍스트는 다시, 기식자를 필요로 합니다.
페트로니우스와 비티니쿠스의 회전식 상록 다이닝룸에 필적할 만큼 지어진 루크레티우스의 에피쿠로스 정원과 다이닝룸은 계절의 지옥으로 자취를 감췄습니다. 프라토처럼 아피스 아피니는 지친 로마 황제들에게 음악과 미식의 즐거움을 선사했습니다. 지친 태수들은 복잡하고 위험할 정도로 향기로운 꽃 장식을 요구했습니다. 디오니소스의 노래가 지나치게 확장되고 소멸된 영혼들에게 영감을 불어넣는 섬뜩하고 조용한 만찬은 카론을 피했습니다. 폼페이의 무너진 기둥에서 발견되는 아피스의 단수적이고 해부된 수국과 고정관념의 대조는 키케로의 『소박한 삶』과 베르길리우스의 『농장』에서 중심축이 되는 카토의 별장을 따라갑니다. 다림질된 상자와 얼룩진 금속으로 된 미니멀리즘 선언문은 기계 시대의 기능성을 강화했을 뿐만 아니라, 장식과 범죄를 편집하고 절충하여 실내를 더욱 방대하고 연속적으로 만들었습니다. 고전 물리학은 아도르노와 길버트 앤 설리번이 선집하지 않은 작은 은유를 확고히 했고, 그들의 경영 방식은 정통적인 용접공과 관찰자들을 징집했다. 현상학은 반격한다. 그들은 궤도 경주 회로 안에 고립된 무인기들의 흐름을 시뮬레이션한다. 조셉 코수스의 권투 문장과 교묘한 재의 향연은 아이네이아스의 포로가 된 트로이 대대를 차용하여, 흉내 내는 방패를 쏟아붓고, 무의미한 가시에 대한 믿음을 니진스키의 올리브 가지와 제트 앙 레르로 바꾼다. 호메로스의 우주적 미식은 굴하지 않고, 식사 사이렌에 압도된 무식한 포주들, 즉 오디세우스의 음란한 심문자들을 위해 서로 다른 변곡점과 경로를 제시했다. 그의 무언의 두루마리는 그들의 일탈을 가두어 반쯤 굶주리고 반쯤 순결하게 만들었다. 한때 궁정에서 사치를 극찬했던 헬레네 쿠미센코 헴게즈 홀랜더는 아프리카 아르고호의 약탈로 로마의 피로와 이교도의 아리아를 달래며 타타르 산헤드린, QED의 법궤, 야훼의 마티니 남작부인들, 그리고 에게 해의 해적들을 곤경에 빠뜨렸습니다. (…)
*이 내용은 2025년 5월 21일 이화여대 제153회 이화인문과학원-포스트휴먼 융합인문학 콜로키움에서 소개한 것입니다.