一個運算子統治所有函數:EML 算子與連續數學的 NAND 閘

目錄
  1. 為什麼這件事不平凡
  2. 一顆按鈕怎麼組出整排按鈕
  3. 「所有函數」有兩個條件
  4. 為什麼我覺得這對量化交易和深度學習有重大意義
  5. 延伸連結

前陣子在 arXiv 上看到一篇論文,看完之後我整個人愣住了

標題很樸素,All elementary functions from a single binary operator,作者是波蘭 Jagiellonian 大學的理論物理學家 Andrzej Odrzywołek,他發現了一件事

一個二元運算子 eml(x, y) = exp(x) − ln(y),配上常數 1,就能建構出科學計算機上的所有函數

sin、cos、tan、log、根號,加減乘除,指數,反三角函數,雙曲函數,全部都可以

這等於是在說,你手上那台科學計算機的 36 個按鈕,其實只需要一顆 eml 就夠了,數字也只要留一個 1

為什麼這件事不平凡

一顆按鈕換掉一整排,聽起來很像在變魔術,可是你現在拿來看這篇文章的手機或電腦,裡面其實早就是這樣了

電腦裡面所有的運算,拆到最底下都是 0 和 1 的判斷,像是「兩個都是 1 才算 1」「有一個是 1 就算 1」,負責做這些判斷的小零件叫做邏輯閘。1913 年,美國的邏輯學家 Henry Sheffer 發現了一件事,這麼多種判斷其實不用各做一種零件,只要一種就夠了。後來大家最常講的那一種叫 NAND 閘,它只會一件事,兩個輸入都是 1 的時候輸出 0,其他情況都輸出 1,可是只要接得夠多,其他所有的判斷都組得出來,所以理論上整顆晶片可以只用這一種零件堆出來。這種一個就能組出全部的東西,後來就叫做 Sheffer stroke

那問題來了,0 和 1 的世界有這種萬用的零件,那 sin、log、根號這種連續的數學呢,有沒有一樣的東西?

大家其實一直在往這個方向走。tan 就是 sin 除以 cos,根號就是 1/2 次方,所以這些按鈕本來就可以拿掉,這樣一路拿下去,最後剩下 exp 和 ln 這一對,也就是 e 的 x 次方,和它反過來的自然對數,然後就卡住了,幾百年來沒有人再往下走一步

Odrzywołek 沒有自己硬想,他讓電腦去試。先把那 36 個按鈕一個一個拿掉,每拿掉一個,就檢查剩下的還能不能把全部組回來,拿到剩沒幾個之後,再讓電腦去找有沒有一個運算可以把它們全部包起來,最後找到的就是 eml

所以 EML 等於是替連續數學找到了它的 NAND 閘。它是電腦找出來的,可是我覺得它最重要的地方,是有機會反過來幫電腦一個忙,讓電腦從資料裡找公式變得簡單很多,這對量化交易和深度學習都有重大意義

一顆按鈕怎麼組出整排按鈕

那這顆按鈕到底長什麼樣子?答案簡單到有點好笑,既然大家都卡在 exp 和 ln,eml 就是把這兩個連同一個減號綁在一起,放兩個數字 x 和 y 進去,算出來的就是

$$\text{eml}(x, y) = e^x - \ln(y)$$

可是綁在一起之後,要拆得回來才有用,因為只要能從它裡面把 exp 和 ln 各自拆出來,剩下的按鈕就都組得回來。exp 最簡單,把 y 放 1,因為 ln(1) = 0,後面那一項就消失了,再把 x 也放 1,就得到 e

  • exp(x) = eml(x, 1)
  • e = eml(1, 1)

ln(x) 就開始反直覺了,它長這樣

  • ln(x) = eml(1, eml(eml(1, x), 1))

這個式子從最裡面一層一層算回來就會懂

  1. 最裡面的 eml(1, x) 是 e − ln(x)
  2. 把它放進 eml(⋯, 1),會得到 e 的 e − ln(x) 次方,也就是 eᵉ/x
  3. 最外面的 eml(1, eᵉ/x) 是 e − ln(eᵉ/x),也就是 e − (e − ln(x)),兩個 e 抵銷之後,就只剩下 ln(x)

拿到 exp 和 ln 之後,就照順序往上蓋,先做出減法和幾個常數,再來是加減乘除和次方,最後才是三角函數。不管蓋到哪一個,寫出來都長得一樣,一個 eml 裡面放兩樣東西,每一樣可以是 1、可以是 x,也可以是另一個 eml,這樣一層包一層,畫出來就是一棵一直往下分岔的樹

我照著論文寫了一個套件叫 emltree,有 Python 和 JS 兩個版本,下面這個編譯器就是用 JS 版做的。輸入任何公式,它會把式子拆成這樣的一棵樹,連 sin 這種看起來很基本的函數,都要用掉好幾百個 eml

看展開的算式
樹上每一個分岔都是一個 eˣ − ln(y),最底下只有常數 1 和變數,變數標成紅色。可以試試 sin²+cos²,算出來會剛好是 1

「所有函數」有兩個條件

看到這裡你可能會想,真的是所有函數嗎?論文一出來,馬上就有人這樣問了,而答案是有兩個條件

第一個是「所有」只算科學計算機上的按鈕。Robert Smith 寫了一篇反駁,他說數學家講的初等函數範圍更大,像五次方程式的解也算,那個 EML 就寫不出來,Odrzywołek 的回應是,他講的本來就是科學計算機上的按鈕

第二個條件比較不起眼,可是後面會用到,就是算 sin 和 cos 的時候,中間一定要經過複數,也就是帶有 i 的數字,i 是 −1 的平方根。原因是 exp 和 ln 畫出來的曲線,走到夠遠之後就只會一路往上或一路往下,不管怎麼加減乘除,都組不出 sin 那種永遠在上下擺動的波,這件事英國數學家 G. H. Hardy 1912 年就證明過了。可是 exp 一碰到複數就會開始繞圈圈,繞的時候那個一上一下的擺動,就是 sin 和 cos,你在上面的編譯器點 sin(x),那棵用了 351 個 eml 的樹,中間走的就是這條路

為什麼我覺得這對量化交易和深度學習有重大意義

這裡才是我真正想說的。少了三十幾顆按鈕,計算機也不會變便宜,那這件事到底有什麼用?我覺得它的用處在另一個地方,就是讓電腦從資料裡找公式

我們先回到四百年前。克卜勒手上有第谷留下來的一大堆行星觀測紀錄,他想知道行星到底是照什麼規則在走,結果算了好幾年,才找出行星運動的定律。這種從一堆資料裡找出背後那條公式的工作,現在有個名字叫符號回歸(Symbolic Regression),大家想做的,就是讓電腦來當克卜勒

可是電腦做這件事很吃力,因為公式的每一個位置都有很多種選擇,這裡要放加號、sin 還是 log,放完之後又要怎麼接,可以選的越多,要試的組合就多到試不完

有了 EML,每個位置能放的就只剩一種按鈕,電腦不用再選要放什麼,只要決定這棵樹長什麼樣子,還有最底下要放 1 還是 x。論文的做法是先搭一棵完整的樹,在每個分岔上放幾個可以調的數字,像旋鈕一樣,然後讓電腦照著資料一點一點去轉,這跟訓練神經網路是同一套方法。轉完之後把每個旋鈕四捨五入成 0 或 1,等於替每個位置選好要放 1、x 還是下一層,整棵樹就變成一條精確的公式

那現在做得到了嗎?還沒有,這個方法現在只對很小的樹有用。兩層的樹,電腦從亂猜的起點出發,每一次都找得回正確的公式,到了五層就剩不到 1%,而光是一個乘法,寫成 EML 就要八層,所以稍微複雜一點的公式都還找不到。好在如果讓電腦從正確答案的附近出發,五層和六層的樹也每一次都回得去,所以正確的樹一直都在,難的是從頭找到它。後來有人拿三層的樹試了三種不同的做法,跑了一萬兩千多次,同一條公式只是換一種做法,找到的機率就可以從 0% 變成 100%,所以卡住的是找的方法,樹本身寫得出這些公式

如果大一點的樹也找得到,放到量化交易上,挖因子就多了一條路。因子就是一條拿市場資料算出來、用來預測漲跌的公式,傳統做法要嘛是人自己想,靠經驗和直覺,要嘛是丟給機器學習的模型,有效可是看不懂它在算什麼。有了 EML,就可以把價格、成交量、波動率這些資料餵進一棵 EML 樹,調完得到的就是一條寫得出來的公式,你可以直接看它合不合理,判斷它是真的抓到了某種市場規律,還是只是剛好把過去的資料背起來

然後同樣的想法放到深度學習,又更有趣了。神經網路說穿了就是一層一層的乘法和加法,每一層算完再過一個固定的函數,這個函數叫做激活函數,而這些全都是計算機上按得出來的東西,所以論文裡有一個很妙的觀察,任何傳統的神經網路都可以寫成一棵 EML 樹。可是神經網路訓練完,你得到的是幾百萬個小數,沒有人讀得出意思,EML 樹如果旋鈕都能四捨五入成 0 和 1,你得到的就是一條看得懂的公式

論文也留了一個問題,有沒有一個激活函數,既能用在神經網路裡,又能精確算出計算機上所有的函數?這題難就難在前面那個複數的條件,只用實數的 exp 和 ln 做出來的激活函數,一定算不出 sin。Odrzywołek 九月又發了一篇續作,找到了半個答案,一個用複數算的函數 $F(z) = e^z + \ln z$,exp 和 ln 都可以從它拆回來。可是拆的時候要用到除法,神經網路那一層層的乘法和加法做不了除法,所以它還放不進現在的神經網路,他自己在摘要裡也寫了,這個最主要的目標目前還做不到

如果這個東西存在,那深度學習的架構設計可能會被徹底改寫

延伸連結

文中提到的論文與專案:

  • 原論文:Andrzej Odrzywołek, All elementary functions from a single binary operator · arXiv:2603.21852
  • 原作者的續作:Diversity of EML-type operators · arXiv:2609.11210
  • 反駁文:Robert Smith, Not all elementary functions can be expressed with exp-minus-log · stylewarning.com
  • 我的實作:emltree · GitHub · PyPI · npm