지능과 압축: 규칙 학습에서 일반화와 추론까지

왜 AI 학습을 데이터의 ‘압축’이라고 설명할까? 여러 사례에서 반복되는 규칙을 찾으면 사례를 더 짧게 표현할 수 있고, 그 규칙으로 처음 보는 상황도 예측할 수 있기 때문이다. 다만 압축은 지능을 이해하는 한 관점이며, 압축 성능만으로 지능 전체를 정의하거나 추론 능력을 보장할 수는 없다.

출발점은 romaan.mag의 인스타그램 게시물 「지능의 본질은 압축이다」다. 게시물의 10장과 본문을 확인했으며, 특히 7번째 장은 내부 표현에서 일반화·유추·추론으로 이어지는 관계를 설명한다. 아래에서는 게시물의 해석을 관련 논문의 결과와 구분하고, 숫자와 이미지의 예로 개념을 풀어 쓴다.

사례를 기억하는 대신 규칙을 배우는 것

2, 4, 6, …, 200이라는 숫자 100개는 각각 외울 수도 있고, ‘1부터 100까지의 정수에 2를 곱한다’는 규칙으로 기억할 수도 있다. 후자는 훨씬 짧으면서도 전체 목록을 다시 만들어 낸다. 범위를 확장하면 목록에 없던 202와 204도 계산할 수 있다. 여기서 압축은 여러 관측을 공통 규칙으로 표현하는 것이고, 예측은 그 규칙을 새 입력에 적용하는 것이다.

확률적 예측과 압축 사이에는 비유를 넘어서는 관계도 있다. 자주 나올 것으로 예측한 결과에 짧은 코드를 할당하면 데이터를 효율적으로 인코딩할 수 있다. Delétang 등의 「Language Modeling Is Compression」(2023)은 예측 모델과 무손실 압축의 관계를 이용해 언어 모델의 압축 성능을 평가했다.

이때 서로 다른 두 종류의 압축을 구분해야 한다. 무손실 압축은 원본을 정확히 복원하는 것이고, 과제에 필요한 표현의 압축은 불필요한 세부 정보를 버려도 된다. 언어 모델을 인코딩에 사용하는 것과 얼굴 이미지에서 사람의 정체성만 추출하는 것은 목적이 다르다. 숫자 목록의 예는 규칙이 정확히 맞는 단순한 경우이며, 실제 학습 데이터에는 잡음·예외·분포 변화가 있어 하나의 규칙으로 완전히 설명되지 않을 수 있다.

고차원 데이터 안의 구조와 잠재 표현

사진 한 장은 수백만 개의 픽셀 값으로 이루어져 있지만, 얼굴 사진의 픽셀은 서로 독립적으로 바뀌지 않는다. 고개를 돌리면 눈·코·입의 위치가 함께 달라지고, 조명이 바뀌면 여러 영역의 밝기가 함께 변한다. 많은 관측값 뒤에 자세·표정·조명 같은 공통 변화 요인이 있는 것이다.

매니폴드 가설(manifold hypothesis)은 관심 있는 데이터가 고차원 공간 전체에 균일하게 퍼져 있기보다, 더 낮은 차원의 구조 위나 그 근처에 집중되어 있다는 생각이다. Bengio 등의 표현 학습 리뷰(2012, 개정 2014)는 데이터의 변화 요인과 표현 학습, 매니폴드 학습의 관계를 다룬다. 모든 현실 데이터가 하나의 단순한 저차원 곡면에 정확히 놓인다는 뜻은 아니다.

모델은 이런 요인을 처리하기 위한 잠재 표현(latent representation)을 학습할 수 있다. 얼굴을 이해할 때 픽셀을 하나씩 따로 취급하는 대신, 사람의 정체성이나 자세를 구별하는 내부 표현을 만드는 것이다. 실제 신경망에서는 요인이 여러 차원에 섞여 표현될 수 있으므로, 특정 숫자 하나가 곧 ‘표정’이라고 단정하면 안 된다. 모델의 매개변수는 표현을 계산하는 데 쓰이는 학습된 값이고, 잠재 표현은 특정 입력을 처리하며 계산한 값이라는 차이도 있다.

무엇을 줄이고 무엇을 남길 것인가

고양이를 분류하는 과제에서는 배경 벽지의 무늬가 덜 중요할 수 있지만, 벽지를 분류하는 과제에서는 그 무늬가 핵심이다. 따라서 작은 표현을 만든다는 사실만으로 좋은 학습이 되지는 않는다. 예측하거나 행동하는 데 필요한 정보가 남아 있어야 한다.

정보 병목(Information Bottleneck)은 입력을 짧은 표현으로 바꾸되 예측 대상에 관한 정보는 최대한 보존하려는 문제를 정식화한다. Tishby 등의 「The information bottleneck method」(2000)에서 중요한 정보는 입력 자체의 모든 세부 사항이 아니라, 입력이 예측 대상에 대해 제공하는 정보다.

그 관계를 생각할 때는 ‘어떤 사실을 알면 다른 것에 대한 불확실성이 줄어드는가’를 물으면 된다. 예를 들어 비가 온다는 정보를 알면 길이 젖었을 가능성을 더 잘 예상할 수 있다. 이런 통계적 의존성을 다루는 개념이 상호 정보량(mutual information)이다. 다만 의존성과 인과관계는 다르다. 길이 젖었다는 사실만으로 원인이 비라고 확정할 수는 없고, 청소나 누수 같은 다른 원인도 고려해야 한다.

JEPA는 추상적인 표현에서 예측한다는 점에서 이 논의와 연결된다. Meta의 I-JEPA 설명(2023)에 따르면 I-JEPA는 가려진 이미지 영역의 픽셀 전체를 복원하기보다 그 영역의 추상적인 표현을 예측하도록 학습한다. 이미지의 불필요한 세부 사항보다 의미 있는 특징을 학습하려는 설계다. 이것이 모든 지능을 구현한 것이거나, 정보 병목 이론과 동일한 학습 목적을 쓴다는 뜻은 아니다.

내부 표현이 일반화와 추론에 쓰이는 방식

게시물의 7번째 장은 모델이 더 넓고 안정적인 관계를 표현하게 되면 일반화·유추·추론이 가능해진다고 설명한다. 구구단을 바탕으로 다음처럼 구분하면 각 능력의 차이가 보인다. 아래는 개념 설명용 예이며, 특정 LLM의 내부 계산을 관찰한 결과는 아니다.

규칙을 배웠다는 설명이 설득력을 얻으려면 새로운 사례에서도 그 규칙을 사용할 수 있어야 한다. 학습한 문항의 정답을 잘 재현한다는 사실만으로 일반화나 추론을 확인할 수는 없다. 반대로 익숙한 규칙을 쓰더라도, 필요한 조건을 유지하고 여러 단계를 올바르게 연결하는 계산이 추가로 필요할 수 있다. 짧은 표현의 보유와 그 표현을 정확히 사용하는 능력은 구분해서 봐야 한다.

Grokking은 일부 학습 설정에서 나타나는 지연된 일반화 현상이다. Power 등의 「Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets」(2022)에서는 작은 알고리즘 데이터셋의 훈련 예제를 이미 잘 맞히던 신경망이, 학습을 더 진행한 뒤 새로운 예제에서도 크게 개선되는 경우를 관찰했다. 이 결과는 암기와 일반화를 구분해서 살펴볼 근거지만, 모든 LLM이 같은 전환을 겪거나 모델을 키우면 반드시 추론 능력이 생긴다는 증명은 아니다.

‘압축이 지능이다’는 어디까지 확인됐나

Huang 등의 「Compression Represents Intelligence Linearly」(2024)는 공개 LLM 31개의 외부 텍스트 압축 능력과 12개 벤치마크의 성능을 비교했다. 연구에서는 평균 벤치마크 점수를 지능의 대리 지표로 삼았으며, 압축 능력과 점수가 거의 선형적인 상관관계를 보였다.

이 결과가 직접 지지하는 것은 연구에서 비교한 모델과 평가 범위에서 압축 능력이 모델 성능과 강하게 연관된다는 것이다. 상관관계만으로 원인을 확정할 수 없고, 이 평가가 인간의 지능·현실 세계의 행동·모든 추론 능력을 포괄하지도 않는다. 게시물이 제시하는 ‘암기부터 추론까지 같은 메커니즘이 규모만 달리해 발현된다’는 주장은 이 연구 결과를 넘어서는 해석으로 남겨 두어야 한다.

게시물의 마지막 장은 압축·예측·제어를 연결한다. 관측에서 필요한 구조를 배우고, 그 구조로 다음 상태를 예상하고, 원하는 결과를 위해 행동을 고른다는 설명이다. 실제 문제에 적용할 때는 세 단계마다 따로 확인할 수 있다. 압축에서는 필요한 조건과 예외가 남았는지, 예측에서는 새 사례에도 맞는지, 제어에서는 행동 후 결과가 목표에 가까워졌는지를 확인한다. 표현이 짧다는 장점이 예측과 행동의 성공을 대신하지는 않는다.