오늘 소개할 것은 회로가 단순히 계산을 멈추고 학습을 시작하는 순간입니다.
웃기죠 — 예전에는 논리가 최종 목표라고 생각했죠. 기계가 충분히 빠르게 처리할 수 있다면 똑똑하다고 생각했죠. 하지만 속도는 지능과 같지 않습니다.
이제 엔지니어들은 뇌처럼 점진적으로, 상호작용을 통해, 반복적으로, 실수를 통해 학습할 수 있는 칩을 설계하려고 노력하고 있습니다.
바로 여기서 크로스바 어레이, 스파이킹 신경망, 칩 내 학습이 이루어집니다.
이 모든 것이 논리에서 학습으로, 컴퓨팅 답변에서 발견으로 이어지는 이러한 변화의 일부입니다.
처음 이 시스템에 대해 읽었을 때는 물리적 장치가 어떻게 '학습'할 수 있는지 잘 이해하지 못했습니다. 하지만 보면 볼수록 사람들이 하는 방식과 크게 다르지 않다는 것을 깨달았습니다.
크로스바 배열
크로스바 어레이는 뉴로모픽 컴퓨팅을 위한 가장 간단하고 강력한 구조 중 하나입니다.
교차로마다 작은 메모리 셀이 있는 전선의 행과 열이 서로 교차하는 것을 상상해 보세요.
멤리스터나 저항 소자로 만들어진 이 셀은 이전에 얼마나 많은 전류가 흐르는지에 따라 전도도가 달라질 수 있습니다.
즉, 모든 연결이 뇌의 시냅스처럼 과거를 '기억'한다는 뜻입니다.
한쪽에 전압 패턴을 적용하면 반대편의 전류는 모든 메모리의 가중 합을 나타냅니다. 이것이 바로 모든 신경망의 핵심인 행렬 곱셈입니다.
우아하고 조용하며 아날로그적입니다.
엔지니어들은 크로스바 어레이가 수천 개의 병렬 작업을 한 번에 수행할 수 있어 디지털 칩보다 훨씬 적은 에너지를 소비하기 때문에 좋아합니다.
교차로를 통해 생각처럼 흐르는 전기가 예측할 수는 없지만 어떻게든 이해할 수 있는 패턴을 형성하는 도시 그리드를 떠올리게 하기 때문에 좋아합니다.
스파이킹 네트워크
스파이킹 신경망(SNN)은 뇌와 유사한 컴퓨팅을 향한 또 다른 큰 발걸음입니다.
전통적인 AI에서는 데이터가 일정한 수의 흐름으로 이동하며, 스파이킹 시스템에서는 생물학적 뉴런과 마찬가지로 펄스(스파이크)처럼 이동합니다.
각 스파이크는 특정 시간에 정보가 폭발하는 것을 나타냅니다. 네트워크의 동작은 신호의 강도뿐만 아니라 신호가 도착하는 시점에 따라 달라집니다.
타이밍이 의미가 됩니다. 스파이크 네트워크는 어떤 일이 발생했을 때만 반응하기 때문입니다. 스파이크도 없고 에너지 낭비도 없습니다.
동물이 하는 것처럼 감각 데이터를 처리하면서 실시간으로 실행할 수 있습니다.
시간 자체가 정보를 전달한다는 생각은 저에게 시적으로 느껴집니다. 전압과 전류뿐만 아니라 리듬, 속도, 심장 박동에 관한 것입니다.
스파이킹 네트워크는 아직 실험적이지만 전자기기가 반응하고 멈추고 예측하는 등 생동감을 느끼기 시작하는 곳이라고 생각합니다.
온칩 학습
온칩 학습은 하드웨어에 가중치를 조정할 별도의 컴퓨터 없이 직접 학습할 수 있는 능력을 부여하는 것입니다.
오늘날 대부분의 신경 시스템에서 학습은 소프트웨어에서 이루어집니다. 즉, 큰 서버에서 모델을 학습한 다음 장치에 다운로드하는 방식입니다.
온칩 학습은 이를 변화시킵니다. 이를 통해 칩은 교과서 대신 경험을 통해 학습하는 사람처럼 새로운 데이터를 기반으로 스스로 업데이트할 수 있습니다.
이를 위해서는 여러 번 프로그래밍할 수 있는 메모리 요소와 끊김 없이 부드럽게 조정할 수 있는 회로가 필요합니다.
어렵지만 실제로 일어나고 있습니다. 일부 연구 칩은 이제 이미지, 소리 또는 제스처를 인식하고 시간이 지남에 따라 계속 개선할 수 있습니다.
펄스에 따라 보는 것을 통해 조금씩 성장하는 기계라는 조용히 움직이는 무언가가 있다고 생각합니다.
결론적으로 크로스바 어레이, 스파이킹 네트워크, 온칩 학습은 컴퓨팅이 더 이상 논리에만 국한된 것이 아니라는 신호입니다.
적응에 관한 것입니다. 이는 재료와 회로가 반응하고 변화하며 진화하는 법을 배우는 것에 관한 것입니다.
이러한 시스템은 아직 디지털 두뇌가 아니라 하드웨어와 사고의 경계를 모호하게 만듭니다.
그리고 아마도 그것이 진정한 아름다움일지도 모릅니다: 뉴런이든 나노와이어든 학습은 결코 완벽하거나 즉각적이지 않다는 것입니다.
우리처럼 작은 오류와 조용한 조정으로 가득 찬 과정입니다.