深圳市物聯(lián)網產業(yè)協(xié)會的精品欄目《灣區(qū)物道》系列訪談，對話專家學者、政府官員、灣區(qū)商會協(xié)會及企業(yè)家，解讀和宣傳扶持政策;分析市場產業(yè)技術發(fā)展情況;助力物聯(lián)網生態(tài)體系建設。
AI視覺技術是將人工智能和視覺技術相結合，通過計算機視覺和深度學習等技術，對圖像和視頻數(shù)據進行處理、分析和識別。工業(yè)圖像處理(機器視覺技術)幫助生產企業(yè)實現(xiàn)其過程鏈的網絡化、自動化和數(shù)字化。這項技術通過圖像采集設備(如攝像頭和傳感器)監(jiān)控生產過程，并借助集成的機器視覺技術軟件處理圖像數(shù)據。
工業(yè)4.0時代，我國各行各業(yè)對采用圖像和機器視覺技術的工業(yè)自動化、智能化需求開始廣泛出現(xiàn)，國內機器視覺行業(yè)將迎來規(guī)模化快速發(fā)展黃金期。
英特靈達擁有業(yè)內領先的視覺AI技術和多硬件平臺適配能力,是華為機器視覺和昇騰認證合作伙伴，專注社區(qū)、園區(qū)、工地、加油站等全場景AI算法。公司堅持走自主創(chuàng)新之路,團隊算法能力雄厚,研發(fā)了多款邊、端系列智能硬件和行業(yè)解決方案并提供視覺相關多層次個性化的算法定制服務,為客戶提升業(yè)務運營效率,實現(xiàn)創(chuàng)新應用場景。
在數(shù)字化浪潮下，AI視覺技術具有怎樣的發(fā)展前景?在工業(yè)自動化領域發(fā)揮怎樣的價值?
這是『灣區(qū)物道』的第39期，本期訪談我們對話了深圳市物聯(lián)網產業(yè)協(xié)會理事單位英特靈達信息技術(深圳)有限公司CEO朱才志先生，他早在2000年開始從事計算機視覺相關的研究，是3次NIST視覺算法年度世界冠軍獲得者。本次采訪，他分享了對AI視覺技術所面臨的挑戰(zhàn)和發(fā)展趨勢的思考，希望給企業(yè)帶來更多啟發(fā)和價值。
? 英特靈達CEO，2015歸國的深圳市海外高層次人才，回國前任職日本名古屋大學副教授。
? 中科大博士畢業(yè)后，朱博士先有在微軟亞洲研究院，日本理光等知名企業(yè)的工業(yè)界經歷，之后又有海外博士后、助理教授到副教授的完整科研經歷，中科院深圳先進院客座教授。
? 早在2000年開始從事計算機視覺相關的研究，是3次NIST視覺算法年度世界冠軍獲得者。
? 上海市浦江人才,深圳市孔雀人才B類,寶安區(qū)政協(xié)委員, 深圳市人工智能專家委員會9位創(chuàng)始委員之一
? 中國視覺AI的首批創(chuàng)業(yè)者，曾于2014年聯(lián)合創(chuàng)立AI公司圖麟科技并任職CTO，英特靈達是他的第二次創(chuàng)業(yè)。
1、計算機視覺，得益于深度學習技術的快速發(fā)展，可以承接海量下游需求，目前都有哪些應用場景?計算機視覺(CV)是個很有年頭的學科，國際上有個IEEE舉辦的國際計算機視覺學術會議(ICCV)，首屆于1987年在倫敦舉辦，每兩年舉辦一次，是CV領域的頂級會議，我10多年前參加過這個會議，當時學術界可謂百花齊放、百家爭鳴，各種流派都有，但實際上成熟的、能商業(yè)化落地的技術其實不多。今天，得益于深度學習技術的快速發(fā)展，特別是最近SAM、stable diffusion等大模型的加持，視覺AI的能力得到了極大的延展，很多經典問題都有突破，反而學術界有點無所適從了。在商業(yè)應用層面，我國其實走在了世界的前列，在這一波AI浪潮中，對比NLP(自然語言處理)、語音等方向，CV方向更受國內資本與創(chuàng)業(yè)者追捧，早期的格靈深瞳、CV四小龍、云天勵飛，包括我個人回國的首次創(chuàng)業(yè)，大家都在積極探索視覺AI的商業(yè)落地新思路。安防是大家不約而同選擇的應用場景，早期確實是少數(shù)體量大的落地方向，但很快大家意識到，相比之下，傳統(tǒng)安防廠商如海康、大華等巨頭更有優(yōu)勢。之后，工業(yè)缺陷檢測(AOI)、醫(yī)療輔助診斷、機器人、輔助駕駛等行業(yè)也吸引了一波視覺AI公司的加入。同時，傳統(tǒng)安防也在物聯(lián)網化，出現(xiàn)了非常多的泛安防細分場景，包括智慧商業(yè)、智慧農業(yè)、智慧餐飲、智慧園區(qū)、智慧小區(qū)、智慧校園、智慧油田、智慧礦山、智慧電力等。在消費類產品上，視覺AI廣泛與智能硬件、智能家居類產品相結合，產品包括智能門鈴、智能門鎖、嬰兒看護、打獵相機、看鳥器等，在海外很有市場。國內運營商在大力推動視覺AI的落地，明廚亮灶、防溺水、高空拋物、煙火識別，以點帶面。盈利模式方面也有創(chuàng)新，例如參考螢石，以4G、云存儲、AI算法訂閱收費，取代早期的一次性銷售硬件的模式，成為包括運營商在內的平臺公司的新玩法。
2、從市場規(guī)模、場景泛用、帶動作用來看，AI視覺領域已成為人工智能產業(yè)規(guī)模的主戰(zhàn)場，您認為AI 視覺算法有哪些獨特的技術優(yōu)勢?確實，視覺在這波AI浪潮中，具有其它感知所無法比擬的作用，原因在于，視覺作為80%以上的信息入口，基本能覆蓋各行業(yè)的典型應用場景，是聽覺、觸覺等其它感官所不能比擬的。我們今天各行各業(yè)有各種不同門類的工種，大部分的工作，是無需動嘴動耳，僅靠眼睛觀察并做出判斷后采取不同動作，就完全可以勝任了，很多工作場所甚至要求保持安靜。視覺AI本質上是來取代人眼+人腦的部分功能的，例如今天非常成熟的人臉識別門禁系統(tǒng)，就是取代保安的人員身份核查的程序化工作，諸如此類的場景很多，例如工業(yè)生產流水線上，產品或配件的缺陷檢測，之前是人工眼睛來檢查的，容易出錯且長期勞作很傷眼睛，今天，很多這樣的工作，都完全可以用AI來取代了，且效果更好、效率更高。類似的還有銀行、保險公司票據的自動識別錄入，輔助駕駛中也用到了很多視覺處理技術，例如駕駛員疲勞檢測、車道線偏離檢測等等。最近，隨著技術的發(fā)展，一些特定場景的異常檢測，例如煙火的識別、高空拋物不良行為的檢測，都已經逐漸開始商業(yè)化應用了，保障人民的生命財產安全。
正因為視覺如此重要，早在上世紀80年代，視覺問題的研究就獨立出來成為一門學科。而這一波AI浪潮，可以說也是起源于卷積神經網絡(CNN)在2012年的ImageNet視覺競賽中大放異彩，在圖像分類問題上，取得了比經典的特征工程+支持向量機(SVM)方法壓倒性的性能優(yōu)勢。今天，我們耳熟能詳?shù)腃NN、GAN，最近很火的stable diffusion等，都是在視覺AI領域發(fā)展起來的技術。展望未來，我有兩點預測，一是在技術突破方面，融合多模態(tài)的大模型應該會有一波蓬勃發(fā)展，當下，自然語言處理(NLP)領域在AI領域出現(xiàn)了新的突破，ChatGPT展示了非常強的文本知識萃取、智能涌現(xiàn)能力，似乎距離AGI(通用人工智能)更近了，這很大程度上，因為語言是人類知識的結構化表述形式，對比視覺這種非結構化數(shù)據，有天然的優(yōu)勢。“一圖勝千言”，視覺的信息量遠比文字豐富，且很多是難以用語言來概括抽象的，這意味著要訓練出視覺的ChatGPT，需要更大規(guī)模的網絡、數(shù)據和計算資源。這很可能以當下的技術現(xiàn)狀是無法做到的，需要從理論上所有突破。我認為，把視覺信息投影到語言空間，忽略其它難以(或無需)用語言描述的信息，以這種方式融合視覺、語言的多模態(tài)大模型，應該有機會訓練出視覺的GPT：能以我們人類擅長的語言組織形式，來正確理解視覺數(shù)據。另一點是，在工業(yè)界，將會涌現(xiàn)出基于視覺大模型的各種行業(yè)應用，在包括自動駕駛、工業(yè)質檢、內容制作、機器人等各個行業(yè)都講帶來歷史性突破。對我們珠三角企業(yè)來說，硬件供應鏈是我們的強項，基于視覺大模型，結合某個垂直行業(yè)，做遷移學習、知識蒸餾，得到可在端側部署的模型，將有機會進一步做出killer級別的智能硬件來。
3、隨著我國配套基礎建設的完善，以及技術與資金的不斷積累，各行各業(yè)對采用圖像和機器視覺技術的工業(yè)自動化、智能化需求開始廣泛出現(xiàn)，您認為AI視覺如何在其中發(fā)揮重要價值?改革開放以來，我國積極融入世界貿易體系，逐漸形成了覆蓋全行業(yè)的完備產業(yè)鏈條，因而被譽為“世界工廠”。同時，我們也面臨擺脫低端產業(yè)內卷、提升核心高端技術貢獻率的緊迫壓力。發(fā)展機器視覺技術是促進工業(yè)自動化、數(shù)字化和智能化的關鍵途徑。目前大家熟知的AI視覺技術主要針對一般場景的RGB圖像，核心難點在于如何提升算法在不同環(huán)境條件下的魯棒性和泛化能力。然而，工業(yè)場景與一般場景相比，具有更高的穩(wěn)定性和可控性。在工業(yè)場景中，通過聯(lián)合運用主動照明、機械協(xié)作等技術手段，AI視覺技術的可靠性和敏捷度可以得到極大提升。此外，工業(yè)生產環(huán)境的傳感手段并不局限于RGB傳感。例如，紅外、偏光、激光雷達等傳感器在工業(yè)領域具有廣泛的應用。這意味著，基于RGB圖像開發(fā)的AI視覺技術有望在超越RGB的泛圖像理解方面大顯身手。
在上述領域做到持續(xù)創(chuàng)新并不容易，需要對相機系統(tǒng)、多傳感器融合有深入了解，同時，能快速基于當下視覺大模型的發(fā)展，做到在垂直行業(yè)的應用創(chuàng)新，包括在大模型的應用層創(chuàng)新、硬件(乃至FPGA、芯片級)的創(chuàng)新等。
4、AI視覺技術的發(fā)展前景如何?面臨哪些難點與挑戰(zhàn)?在大模型加持的通用智能時代，AI視覺技術必將迎來爆發(fā)。鑒于大模型的特性，在短期內，AI視覺技術會呈現(xiàn)出集中化趨勢，甚至有寡頭化的危險。我們注意到，ChatGPT這樣的語言大模型的規(guī)模已經極其龐大，囊括圖像和視頻在內的跨模態(tài)大模型必將更加復雜，只有少數(shù)頭部公司擁有超大模型訓練和維護更新的能力。在中短期研究層面，大模型的壓縮加速技術，視頻大模型，三維視覺大模型等會得到極大發(fā)展。而在中長期研究層面，包括量子計算、脈沖計算在內的新型計算硬件上實現(xiàn)通用AI值得關注。
在應用層面，將來的跨模態(tài)大模型及其生態(tài)體系可以滿足絕大部分to C需求。但是，上面提及的工業(yè)自動化等領域，生產環(huán)境的數(shù)據較難獲取，且具有較強的封閉屬性，基于互聯(lián)網數(shù)據的大模型難以直接運用。因此，面向具體應用領域的垂直模型是在to B方面取得成功的關鍵。目前，大模型的勢力格局本身完全沒有固定，而全鏈路垂直模型的開發(fā)是未被涉足的藍海，包括創(chuàng)業(yè)企業(yè)在內的大中小玩家都有機會。不管技術浪潮如何演進，合理運用技術打造對客戶有價值的產品這一商業(yè)成功的本質卻不會變化。
5、英特靈達以AI視覺算法為核心提供軟硬件一體行業(yè)解決方案，公司的核心優(yōu)勢體現(xiàn)在哪些方面?未來有哪些規(guī)劃?英特靈達將視覺傳感和智能處理融會貫通，形成了面向任務的光學設計、數(shù)據生成、AI算法開發(fā)和ASIC化的全鏈路自動化工具，具有極高的技術壁壘和極快的市場響應能力。目前，公司發(fā)揮在光學原理、相機系統(tǒng)和數(shù)據生成方面的獨特優(yōu)勢，致力于開發(fā)面向圖像增強和理解的垂直大模型及其知識蒸餾工具鏈，快速部署與傳感硬件高度適配的AI視覺模型，從而提升產品價值，滿足客服需求。英特靈達本質上是一家有視覺人工智能核心應用技術的公司，在當下的產業(yè)鏈分工中，其實是非常偏上游的，我們的發(fā)展離不開生態(tài)。未來，我們期望能找到在產品、銷售渠道上能高度互補的合作伙伴，英特靈達可以提供核心技術(算法、芯片、硬件設計方案等)，硬件產品與銷售渠道都依賴伙伴來提供，我們的目標是一起做出差異化的智能產品，定位中高端增量市場，包括B端和C端，例如，B端我們主要是與華為行業(yè)感知部門合作，我們在華為好望商城上，提供優(yōu)質的算法，適配華為的硬件，借助華為的銷售渠道觸達用戶;C端我個人也非常看好，特別是海外市場，目前主要與珠三角方案公司合作，最大化發(fā)揮制造業(yè)優(yōu)勢，為生態(tài)合作伙伴提高毛利率與市場占有率，破除珠三角無序的內卷。