연구자들은 항공사 허브의 최적 위치 결정, 위험을 최소화하면서 투자 수익 극대화, 교통 신호와 정지 신호를 인식할 수 있는 자율주행차 제작 등 다양한 문제에 대한 이상적인 해결책을 끊임없이 찾고 있습니다.
수학적으로 이러한 문제는 복잡한 함수의 최소값을 파악하는 것으로 변환됩니다. 하지만 이러한 함수들을 직접 평가하는 것은 연구자에게는 종종 너무 복잡하여 최소값을 찾기 위해 근사 방법을 사용해야 합니다.
이 문제에 대한 효과적인 접근법 중 하나는 300년 전 아이작 뉴턴이 개발한 알고리즘입니다. 이 방법은 비교적 간단하며, blindfolded 상태에서 미지의 지형에서 가장 낮은 점을 찾으려는 것과 비슷합니다. 이 과정에서 필요한 핵심 정보는 현재 상승 중인지 하강 중인지, 경사가 얼마나 급하게 변하고 있는지를 알리는 것으로, 최소값을 빠르게 근사할 수 있게 해줍니다.
물론 이 방법은 물류, 금융, 컴퓨터 비전, 순수 수학 등 여러 분야에서 막대한 힘을 발휘하고 지속적인 관련성을 유지하지만, 뉴턴의 방법에는 모든 함수에 보편적으로 적용할 수 없는 한계가 있습니다. 따라서 수학자들은 더욱 효과적인 결과를 위해 이 기법을 다듬고 확장하는 작업을 계속하고 있습니다.
최근 프린스턴 대학교의 아미르 알리 아흐마디를 포함한 연구자들과 그의 전 학생들인 아브라르 차우드리와 제프리 장은 뉴턴의 방법을 개선하는 중요한 기법을 소개했습니다. 이들의 새로운 방식은 뉴턴의 방법을 지금까지 발견된 가장 폭넓은 함수군에 적용 가능하도록 확장합니다.
아흐마디는 “뉴턴의 방법은 최적화에 1,000가지의 다양한 응용을 지니고 있다. 우리의 알고리즘은 이를 대체할 수 있을 것”이라며 그들의 개선된 최적화 방법의 혁신 가능성을 강조했습니다.
수세기 된 기법의 향상
수학적 함수는 입력을 출력으로 전환하며, 가장 중요한 속성 중 하나는 최소값, 즉 가장 낮은 출력을 생성하는 입력 집합입니다. 이러한 최소값을 찾는 것은 많은 변수를 가진 함수의 복잡성 때문에 도전적이며, 이러한 복잡성을 시각화하려는 시도는 종종 위에서 항해할 수 없는 고차원 풍경으로 이어집니다.
뉴턴은 복잡한 함수일지라도 두 가지 중요한 정보를 이용할 수 있다고 밝혔습니다. 첫째, 함수의 1차 도함수는 특정 지점에서의 기울기를 나타내고, 둘째, 2차 도함수는 그 기울기가 어떻게 변하는지를 나타냅니다. 이러한 도함수를 사용함으로써, 더 간단한 다항식으로 함수를 근사할 수 있어 효과적인 최소값 계산이 가능해집니다.
비록 인상적인 능력을 가지고 있지만, 뉴턴의 방법은 실제 최소값에서 너무 멀리 시작할 경우 어려움을 겪을 수 있습니다. 다행히도 기계 학습에서 일반적으로 사용되는 그래디언트 하강과 같은 다른 반복적 방법은 효과적이지만, 뉴턴의 2차 수렴성에 비해 선형 속도로 수렴합니다. 따라서 뉴턴의 반복이 계산적으로 더 부담스럽긴 하지만, 일반적으로 최소값을 찾기 위해 더 적은 반복을 필요로 합니다.
아흐마디, 차우드리, 장의 최근 작업은 이전의 방법을 확장하여 어떠한 수의 변수와 도함수도 효율적으로 처리할 수 있는 더 강력한 뉴턴 방법의 반복형식을 확립했습니다. 그들은 특정 방정식을 최소화하는 것이 더 쉬운 특성들을 식별하고, 이러한 특성을 유지하면서 알고리즘을 실행하는 방법을 조정하여 이를 달성했습니다.
이번 발전은 기계 학습이나 교통 제어와 같은 최적화에서 기존 관행을 즉각 바꾸지는 않겠지만, 이러한 방법의 계산 효율성의 지속적인 개선으로 인해 이 새로운 방법이 궁극적으로 더 실용화되어, 최적화 알고리즘의 미래에 대한 흥미로운 가능성을 제공할 것으로 기대됩니다.