Video Indexing (影片索引):挖掘藏在影片中的寶貴資訊

VideoIndexing

(Source: Relayto.com)

 

最近分別在幾個不同的活動中,都看到有人在討論Video Indexing(影片索引),想藉由這一篇的討論,整理一下相關的資訊:

什麼是Video Indexing (影片索引)

Video Indexing是一個處理程序,能夠提供給觀看影片的人一個較方便的方式,在影片中瀏覽或跳至特定時間點進行觀看。(譯自IGI Global)。

最簡單的例子,就是像DVD的選單,有時會把一部電影分割成幾個段落,方便觀看者「跳著看」。但這樣的設計並不合乎使用者習慣,一部電影要不就一鼓作氣把它看完,要不然就是突然有事要忙被迫中斷,也很難剛好看完原本切割的一個段落。所以越來越少看到這樣的設計。(也可以說,DVD也很少看到了XD)

所以要讓觀看者接續看沒看完的電影,最好的做法當然就是記錄下來上次觀看的暫停位置,現在有蠻多的平台都有這樣的功能了,像是Youtube, Netflix, Apple TV…

那麼做索引看來對接續觀看並沒有幫助,而應該是如何對於大量影片的資料,能夠在最短時間內找到使用者真正需要或當前想要看到的資訊。

上次參加Facebook Developer Circle : Taipei #2 的時候,講者分享目前正在做的聊天機器人,有實做這樣的功能:

Screenshot 2017-06-24 09.42.37

比起文章的段落、文字,一張照片的物體、座標,影片擁有更龐大但難以搜尋的資訊:

  • ㄟ,你還記得「天才的禮物」那一段讓每個人都落淚的劇情嗎?好想再看一次
  • 「高年級實習生」他們去舊金山住的飯店是哪一間?
  • 「即刻救援」中,老爸跟女兒吃飯的那一家餐廳是哪一家?

從數位資料的概念來看,影片是由一個一個的畫格(Frame)所構成,而從拍攝的角度來說,影片是由Shot(一段連續的畫面)、Scene(一組在一個場景中的Shot的集合)以及Sequence(一組Scene所構成的內容)所構成。這些不同的角度,也可以作為分類時切割單位的參考。(參考來源)

那如果我們不了解這些影像處理或是電影元素的話,有沒有工具可以使用呢?

在「Build 2017分享會」中,講者跟我們分享到一個微軟新推出的認知服務:Video Indexer (影片索引器)

Screenshot 2017-06-30 11.34.24

以官方的Build 2017 Keynote影片測試結果,能夠:

區分出一場大型演講中的每一個講者

Screenshot 2017-06-30 11.46.40

抓出關鍵字,並能播放關鍵字相關的影片片段

Screenshot 2017-06-30 11.47.16

能夠判斷講者的情緒

Screenshot 2017-06-30 11.48.11

區分講者,並且產生字幕,同時也顯示情緒

Screenshot 2017-06-30 11.51.23

官方範例影片所產生的認知洞察(Cognitive Insight)比較豐富,實際測試自己的影片,就還沒有看到這麼多的資訊,不過目前還是Preview階段,也許再過一陣子會比較好。

在大量資料的數位時代中,我們都希望能從中找到需要的資訊、潛藏的商機與意想不到的分析結果,而影片的分析蘊含著資料科學、人工智慧、影像處理等等綜合技術,更是當前的熱門研究議題。持續關注這個技術的發展,也思考可能的應用方向!


IMG_0824

Ryan Chung

在資訊技術訓練中心上班,喜歡與大學生們分享趨勢新知,並透過社群活動的參與,保持對新技術的學習動力(焦慮)。