Skip Navigation LinksHome>About Us>Press Room>Gorilla CEO Spincer Koh Speaks on Edge Computing Breakthroughs and AI Trending Toward the Edge
2019/03/15

Gorilla CEO Spincer Koh Speaks on Edge Computing Breakthroughs and AI Trending Toward the Edge

Image of Gorilla CEO Spincer Koh Speaks on Edge Computing Breakthroughs and AI Trending Toward the Edge
DIGITIMES interviewed Gorilla Technology founder and CEO Spincer Koh about breakthroughs in edge computing technology and future application trends.


Interview summary

With computing power, sensor data transmission, algorithms, and other technologies improving, edge artificial intelligence (edge AI) will become an important key to driving a paradigm shift. Technology companies such as Qualcomm, Intel, and NVIDIA have invested in R&D through mergers and acquisitions or strategic alliances to propose solutions for edge AI. The resolution from Taiwan's AI company, Gorilla Technology, was to partner with Intel to launch a video IoT solution for existing CPU’s to perform AI calculations on edge devices for current market applications.

Full interview (Chinese) with Digitimes:

大猩猩科技CEO寇世斌:邊緣運算技術的突破與未來應用趨勢

2019/03/11 - DIGITIMES 林昭儀/台北


人工智慧(AI)不斷進化,逐漸向邊緣端演進。隨著電腦演算力、感測器數據傳輸和演算法(algorithm)等技術的提升,邊緣人工智慧(edge AI)將成為促進典範轉移(paradigm shift)的重要關鍵。

高通(Qualcomm)、英特爾(Intel)和NVIDIA等科技大廠紛紛透過購併或策略聯盟投入研發,提出其在edge AI的解決方案。台灣的AI公司大猩猩科技與英特爾合作推出了影像物聯網(Video IoT)解決方案,讓現存的中央處理器 (CPU)也能進行邊緣運算,馬上即可落地到市場應用。

DIGITIMES專訪大猩猩科技創辦人暨執行長寇世斌,談邊緣運算技術突破與未來應用趨勢。


問:Gorilla在邊緣運算和AI上的投入有多久了?請說明一下近期的突破。

答:公司是17年前創立,一開始是做影音媒體數位化平台,那時候安全監控產業還沒有興起呢,所以我們一開始做的是媒體。但我們對實體安全監控、網路資訊安全(cyber security)都很了解,因為這些都是國家安全領域的應用,但國安級的監控用的是特殊的攝影機,產業用的是一般的IP Camera。

在安全監控(surveillance)這個產業裡,IP Camera是2010年才出來的,可是媒體用的SD Camera 2000年就出來了,緊接著是HD Camera在2004~2005就問世了。2K/4K 2010年就有人用了。

但IP Cam 720p/1080p剛出來的時候,傳輸量多大啊!我們就開始思考,這怎麼可能拉到雲端去呢?視訊串流如果拉到雲端去,誰來付錢?就算是一般的IP Cam,如果沒有好的光纖網路,動都動不了。因此我們比別人早很多投入edge AI的研發,這是我們熟悉的領域,也不太擔心運算力(computing power)。

NVIDIA等公司在談的AI,基本上是在雲端的,或是在伺服器上,都是些高耗能的大機器,國家級的或大企業才有可能用。例如政府或公營電信公司想用在智慧城市上,所有數據都是他的,愛怎麼用就怎麼用。但從一開始我們就覺得這件事難以在民間企業推動,因為一般的企業不可能去蓋那麼大的機房。那怎麼辦呢?就要把機房變成小機器,也就是edge AI。

英特爾在今年的CES發布edge AI,我們是唯一的亞洲合作夥伴。我們所提出的是隨時就可以在市場使用(market-ready solution)的解決方案,而且是在CPU上就跑得動的AI。

這證明了,只要一個小機器就能跑AI。純粹在後台跑的AI,主要是給開發者用,因為機器學習需要很多的運算力 (computing power),所以大公司如AWS、Azure跟學校和大型公司合作,因為可提供強大運算能力,但他們不能獨立運作,而且也還是要很大的機器。但他們做的是訓練機器學習,並不是推論(inference),還是無法直接帶到市場去。但從摩爾定律發展的歷程看,一旦技術找到發展方向,成長的速度是非常驚人的。

AI已經有7~8年的應用歷程,到現在大家還在談人臉辨識,顯示AI一直下不了地,缺乏實際可以應用的場景。但當edge AI成為現實,由軟體定義的運算(software-defined computing)就有很多的事情可以做了。

我們讓edge AI落地,讓很多人看到以前做不了的,現在可以做了,因而吸引許多人的注意。我們在CES展示,連英特爾最小的晶片Atom都能跑一個影像頻道的物體追蹤(object tracking)。英特爾全系列的CPU,Atom、 Celeron、Xeon、i5/i7/i9我們全都可以上。我們證明了,大家以前覺得不可能的,我們都做出來了,而且是現場演示,完全可以隨時放到市場去應用的。


問:edge AI落地將會為資通訊(ICT)產業開闢哪些機會?

答:當edge AI的解決方案成熟了,自駕車技術也將獲得新的進展,比較不容易撞車了,而且以前過熱的問題也會減少。我們的做法就是在不更動硬體的情況下,尋找解決的方法。未來5G傳輸架構解決了無線傳輸的瓶頸,打破了實體網路和無線傳輸的應用限制,我們解決的是運算問題,讓推論可以更即時地在前端就完成運算。

但在東南亞那樣的市場,有的連小機器也買不起。台灣的企業,很多都是做工業電腦、小機器、數位看板等,或是幫戴爾(Dell)、聯想、惠普(HP)等國際品牌代工。台灣的工業電腦在全球還是第一,還算有些名氣,所以我們花了很長的時間在這部分努力,讓edge AI可以實現在工業電腦上。

這將為台灣的工業電腦產業帶來一波商機。他們可以做出更低價的東西,更有競爭力,而且我們的軟體加上英特爾的主機板和最新的視訊處理器晶片Movidius,說明了二路分析可以運行在低階的Intel處理器上,這在過去是不可思議的事情。

東南亞國家例如印尼,基礎建設不好,島嶼又多,只能做小範圍的智慧交通管理,如果能把雅加達做起來就已經很了不起了。現在即使他們到處都裝設了IP Camera,後台有很大的機房,還沒加上AI,也還是無法解決交通壅塞的問題。如果把edge AI應用上去,我們搭配台灣的工業電腦廠商,就有機會了。

這等於是軟硬體和AI整合,整體一起輸出。再小的機器,例如POS機,裡面也是有一顆CPU,加上AI,就能變成智慧POS,販售機(kiosk)就能變成智慧販售機。


問:大猩猩科技未來的市場拓展計畫是?

答:在CES之後,我們3月即將前往日本,希望前進東北亞市場。因為日本POS和販賣機太普遍了,只是還沒有搭上Edge AI。而且這是個比東南亞更成熟的市場,接受程度更高。這也是為什麼我們接受了日本SBI控股的策略性投資,帶我們進東北亞市場,而東北亞將會推動整個亞洲的成長。 現在我們也看到澳洲市場有強勁的需求,在1個月之內,就有40幾個系統整合商(SI)通路願意與我們合作。 東南亞是說得多做得少,除非他們的政府動起來。中國大陸AI現在可以這麼強,就是因為背後有大陸政府全力的支持。 我們主要的強項是城市安全,也從很早就應用到工業去了。由於國安級城市安全解決方案的要求跟一般公司或零售的要求差很多,層級不一樣,相對來說零售的應用簡單很多,因此落地很快。


問:和英特爾合作edge AI的機緣是怎麼開始的?

我們看到市面上有很多標準型的影像分析產品,聲稱自己有多準,但一下地就不行了。打個比方,這個AI就是個黑盒子,黑盒子做出來的東西,必須是一般人看得懂的,如果還是理論的東西,就沒什麼用,因為客戶要的是拿到產品和軟體馬上就能做出成果出來的解決方案。這也是為什麼我們十幾年來都很低調,一直到最近技術上有了突破,才跟英特爾在CES上發布了裝置端/邊緣端AI,才真正把AI帶到生活裡。

我們是國安級的技術,不準的話就別想驗收了!我們也跟警方合作,不準就抓不了歹徒了。而且我們已經累積了17年的經驗。除了解決技術上的問題,我們看到最大的瓶頸就是如何讓AI從雲端下到邊緣端。 

而我們相信這是不需要改變現有硬體的,如果為了要做邊緣運算還得在雲端做GPU,整新基礎建設或是研發新世代產品,那要耗費多少時間和金錢呢?那根本不合理。所以我們去敲英特爾的門,2017年他們從俄羅斯、以色列等地的團隊派人來台灣與我們合作,6個月內我們就一起在英特爾平台上優化的加速平台與影像分析AI應用開發出來了。 那就是第一代的edge AI程式,但我們覺得還是有些問題,後來繼續優化,在2018年4月美國最大的資安展上直接宣布,可以在i7主機板上處理6個影像頻道的即時物體追蹤,效果還比i7板上插GPU還好一些。

後來英特爾就在2個月後推出了OpenVINO電腦視覺推論及神經網路優化工具開發平台。我們是第一個用OpenVINO做出影像分析AI應用Market-Ready Solution的團隊。


問:您怎麼看Edge AI未來應用的趨勢走向?

答:AI不只是演算法而已,黑盒子處理影像變成數據後,還要人家看得懂,能夠直接用。我們被接洽做智慧城市的AI應用案子的時候,都會先問客戶,拿這些數據做什麼用:是安控?交通管理?環保管理?還是都市計畫?解決問題的第一步,就是要弄清楚,拿這東西幹什麼?例如餐飲店想知道,客人是胖子還是瘦子比較多?明明是素食餐廳,為什麼胖子喜歡來?這意謂著他的料理對胖子有吸引力。但不同的餐廳想要的資料分析是不一樣的,因而把影像全部送到雲端去處理,是不符合效益的。每一個用途都有不同的AI演算法來整合成對應處理,而且不會只有一套演算法或是100%光靠影像就夠了,也會用到物聯網(IoT)設備之結合。

為什麼會用到IoT呢?IoT是靠著很多的感測器聯網傳遞數據,但之前,每一種感測器就處理一件事情,例如量測PM2.5、溫度、濕度的,感測器只要處理穩定的數值,過一段時間去抓數據即可。但它跟傳統的IoT是不一樣的——傳統IoT感測器是數據流(data stream),是標準化的數據;影像的IoT,它處理的是非常複雜、每分每秒都在動態變化的東西,根本無法預測下一秒跑出來的是什麼,所以是完全無法控制、非結構性(unstructured)的資料。因此它的演算法會不斷地跑新的數據出來,你必須把每個攝影機當成影像感測器(video sensor)連結起來,變成一個影像物聯網。

我們在東南亞深耕很久,一直在做媒體和城市治安相關的項目,這幾年IP cam普及以後,看到市場的需求開始發生變化。大陸做的白牌IP Cam一支才7美元,大受東南亞國家歡迎,因為非常便宜,大家就會用。普及之後,就會有AI的需求。怎麼說?因為放6支camera還有辦法用人眼盯,放6,000支、6萬支,怎麼盯呢?全台灣有100多萬支IP Cam,能叫誰盯呢?只有一條路能走,就是交給機器,變成數據,也就是大數據(big data)。

這個大數據,是無法預測、沒有結構、沒有限制的,那要如何管理它呢?這是全新的科技,也就是edge AI。我對它的定義是,首先要能運算(compute),也就是產生資料,接著要能解決沒有結構的數據,然後再要能讓大家看得 懂,就是把數據視覺化。因此必須完成的3階段就是——data generation、data correlation、data visualization。客戶買的不是演算法,必須能視覺化,讓他看得懂,因為客戶要的不是複雜的功能,而是簡單化的數據結果。

如果不能把複雜的東西簡單化、成本降低、能夠用,那麼AI是不會成功的。所以我們花了很大的功夫做edge AI,而這只是第一步,6個月以後,我們還要宣布大數據的商業化解決方案上市。我們目前的一個案子,進行不到3年就已經有206億筆資料,每天都有2,200萬筆資料進來。同時間有5,000個人分布在各地用網路搜尋,反應時間只需要2秒鐘。這個系統的目的就是要抓某些東西,目標是成長到500億筆,而反應時間還是要在2秒之內。

影像AI所產生的數據是無法限制的,你無法叫它不跑進來,例如現在你看到的是大卡車,下一秒是聯結車,又有小汽車、摩托車,不停地有車子來,什麼時候會衝進數據來,是無法控制和預測的。這是一支攝影機看到的情況。但假設你有5,000支呢?這部車出現在這個攝影機裡,也出現在那個攝影機裡,而且一直在跑,時間又有滯後問題,你在後台雲端怎麼找得到標的呢?因此不能以傳統的思考邏輯來做,必須把前端做成AI,前端是data的產出,後台則負責數據的蒐集(aggregation)和相關性運算(correlation)。

我們現在要做的是把數據壓縮,因為雖然之前跑的效果不錯,但數據量實在太大,成本效益不是太令人滿意。未來它會更好用,而且是東南亞國家也負擔得起的。不管經濟實力到底強不強,安全一定是國家和企業很在意的事情,而有了安全以後,經濟才能更發展。經濟成長以後,會更想要安全、方便,交通要更順暢,停車要更容易,環境與生活品質要更好,霧霾要更少。所以已經有人把我們的AI拿去研究大氣了。


問:在台灣有用在道路的實際案例嗎?交通事故可以辨識嗎?

答:有的,已經有很多案例,大部分是車子。但事故辨識,有些場景沒有在公開的場合做,是因為這涉及法規規定的用途。當初採購攝影機的時候,沒有考慮到未來可以運用作其他用途。總不能說交通部採購的按交通法規定它只能做交通,不能給警察用,那每種用途都要掛一個新的感測器,需要的電力就增加了,成本一直疊加,就更難落地了。

但很多國家都在談open data,既然是城市是開放性的城市,資料應該就是可以開放使用的,既然都是感測器為何不讓政府一起來用?沒有與時俱進的法規綁手綁腳,會限制新一代技術的發展。

東南亞的好處就是還沒有太多綁手綁腳的限制,一旦開始起飛,成長就會飛快。現在IP Cam價格已經降低,市場一旦打開,就起來了。因此現在包括泰國等很多東南亞國家與我們接觸,未來他們很有可能跳蛙式的成長。


DigiTimes interview photo


DigiTimes interview photo
圖說:寇世斌為華盛頓大學自動化科學博士,曾任職中山科學研究院,海軍上校退役。於2000年創立大猩猩科技,服務範圍包括智慧城市、智慧企業、智慧物聯網、智慧媒體、智慧樓宇、智慧安控等,並獲得日本金融控股公司SBI 的策略性投資。符世旻攝

DigiTimes interview photo
圖說:對於edge AI未來發展趨勢,寇世斌提到,如果不能把複雜的東西簡單化、成本降低、能夠用,那麼AI是不會成功的。圖為大猩猩AI應用之一,Smart Parking。符世旻攝


Edited by 林昭儀
Source : DigiTimes