相機競爭的下一個時代：競爭的本質在於它們的理解能力。

讓我信服的那次示範是在我自己建造的美術館裡進行的。

我們無法提供導遊團隊，所以我開發了一個副業來取代他們。它沒有輸入框，也不需要輸入任何東西。你只需用手機對準某個東西，它就會告訴你你看到的東西。展覽結束後，人們仍然繼續使用它。

他們指引他去看那些建築物、鮮花、孩子們的玩具、街上的海報，而這些都與展覽無關。

在沒有人要求他們這樣做的情況下，他們決定讓相機向他們解釋這個世界。

現在，滿足這項期望是整個產業的責任。同時，人工智慧正從訓練問題轉向推理問題，大部分實際工作都是在設備本身上完成的，而使用者只需將手機對準不配合的現實世界即可。

模特兒對構圖的需求與人眼不同：他們需要的是可以倚靠的邊緣，以及在畫面充滿眩光或模糊時能夠恢復的結構。對模特兒而言，那些讓照片看起來漂亮的色彩和對比度，往往反而會成為一種阻礙。

用於人眼觀察的感測器和用於模型的感測器需要不同的設計。

感測器已經演變成一個認知問題，建構即時視覺系統的人們現在像以前的攝​​影師一樣關注這個問題。

這個感測器是從哪裡來的？

艾瑞克·福蘇姆在 20 世紀 90 年代初發明的有源像素 CMOS 感光元件，正是如今幾乎每個人口袋裡都有一台功能強大的相機的原因。

他後期的研究方向完全不同：量子影像感測器，它可以對單一光子進行計數。這一發展軌跡也反映了人工智慧的現狀：它正從捕捉人眼可能喜歡的影像幀，轉向捕捉機器能夠處理的最純淨的訊號。

感測器成為一種感知工具，而攝影只是它的用途之一。

為什麼推理會改變工作的性質？

推理正是問題緊迫性所在。過去，人工智慧主要用於訓練，攝影機的作用是間接的：它產生數據，供後續分類和學習，速度較為緩慢。但推理速度並不慢。它需要在性能不足且已經發熱的設備上即時進行，而這正是對時間要求極高的人工智慧應用的典型特徵。

當一個系統必須在攝影機仍然對準某個物體時識別它，並在為時已晚之前做出反應時，最薄弱的環節就是連接到模型的部分，它決定了產品所能做的一切。

業內部分人士仍押錯了寶。他們想當然地認為，只要模型夠大，就能處理相機輸入的任何畫面。我連續兩年看到這種想法阻礙了產品路線圖的製定，而且我認為它根本站不住腳，違反物理定律。

任何尺寸的模型都無法恢復因運動模糊或眩光而失去的細節，也無法恢復在模型捕捉畫面之前就被優先美顏處理丟棄的細節。瓶頸現在轉移到了感測器以及感測器和模型之間的組件。

這些設備實際上有什麼功能？

現在有些感測器會在晶片內部完成部分處理，因此初始運算會在資料離開像素陣列之前完成。基於事件的感測器（有時也稱為神經形態感測器）只記錄場景中變化的部分，這比傳輸完整幀更適合即時感知。全域快門也有助於減少可能幹擾機器讀數的運動失真。

即使是長期以來旨在渲染天空的高動態範圍 (HDR) 技術，現在也正在重新校準，以匹配模型在高對比度下能夠清晰讀取的內容。儘管這些技術各不相同，但它們都指向同一個方向：建立一個模型能夠處理的世界版本。

從識別到結論

最直觀易用的功能是視覺搜尋：用攝影機對準某個物體，它就能被辨識並標記。但當你用手機對準菜單時，你想要的是幫助決定吃什麼；當你對準海報時，一個有用的步驟可能是將活動保存到你的日曆中。物體辨識僅僅是起點。產品的本質在於了解接下來該做什麼。在這裡，感測器成為了更長的解讀鏈中的第一環，其作用遠不止於捕捉訊息。

我從未想過要打造一款相機產品；最初只是為了省錢，省去為一次展覽僱用導遊的費用。但這個小計畫讓我意識到，這種直覺早已存在於我的內心。相機領域的下一個挑戰將圍繞整個系統：感測器、影像處理路徑、外圍運算、模型格式化，以及系統最終的功能。

硬體製造商多年來致力於提升影像質量，他們也必須同樣重視推理品質。軟體開發人員不能將訊號擷取視為無關緊要的事情：訊號的擷取和路由方式會在使用者看到結果之前很久就影響最終結果。隨著我們深入探索即時感知，硬體和軟體之間的傳統界限將變得不再那麼重要。

這裡仍然有新創公司的發展空間。它們的優點在於辨識速度：在大公司爭論不休之前，就能迅速提出問題。通用模型的能力正變得越來越難以捍衛。問題是，一旦系統能夠預見、預測並應對相同事件，會發生什麼事？誰又能率先推出功能齊全的產品？

人眼與機器思維

我預測未來幾年，手機廠商會分成兩派：一派致力於優化人眼視覺體驗，另一派則致力於優化機器閱讀體驗。在旗艦手機領域，這兩種目標目前仍有許多重疊之處，以至於難以區分。

但作為一種策略，這些目標已經開始出現分歧。最永續的局面將是能夠將混亂的現實世界轉化為機器能夠從中推斷出的最清晰訊號的人。

這一切都始於感測器。

我們已經評測、評估並排名了最好的拍照手機。