## 2.3.9 圖片講解、視頻講解功能(可選功能)
* 圖片講解、視頻講解是提供給每個對接了硬件SDK的終端設備用來進行圖片講解和視頻講解的功能。開發者根據SDK端輸出的圖片講解對象和視頻講解對象進行解析,完成相應的界面和語音操作。就能夠使終端用戶在靈聚機器人CMS上編輯的圖片和視頻內容在機器上輸出并講解相應的內容。
圖片講解、視頻講解功能的在靈聚機器人CMS上的操作請參考SDK包中的“靈聚機器人CMS操作指南”。
圖片講解的指令輸出:
~~~
輸入:打開手機的圖片講解。
輸出:
{
"rtext": "好的", "synthetise": "","ttext": "","outc": "0","motions": [],
"actions": [
{
"action": "OPEN",
"target": {
"id": 332,
"setsname":"手機",
"name":"手機圖片1",
"title":"價格",
"content":"移動電話,或稱為無線電話,通常稱為手機",
"contentmotions":
[{"index":content文本中字符的索引位置,"level":動作優先級,"motion":動作id(參見動作對象)},...]
}
}
]
}
~~~
圖片功能對接:
這里打開手機的圖片講解需要用戶在靈聚的機器人CMS上進行了圖片講解功能的編輯,并設置了圖片講解的觸發語為“打開手機的圖片講解”。開發者需要對指令進行解析,展示圖片信息,并處理相應的文本播放,在圖片講解的流程中,如果要進行翻頁,或者暫停等操作時,只需使用相應的操作文本返回給靈聚SDK,比如“下一頁”,“上一頁”,“退出”等,SDK接到這些操作文本會返回對應的指令。
視頻講解的指令輸出:
~~~
輸入:打開手機的視頻講解。
輸出:
{"rtext":"好的" ,"synthetise":"", "ttext":"","outc":0,"motions":[]
"actions":[
{"action":"OPEN",
"target":{"id":332,
"name":"手機視頻",
"videocontent":[{
[{"timepoint":播放視頻的時間軸位置,"content":"時間節點對應的文本"},...],
"contentmotions":
[{"index":content文本中字符的索引位置,"level":動作優先級,"motion":動作id(參見動作對象)},...]},...]
}
}]
}
~~~
視頻功能對接:
這里打開手機的視頻講解需要用戶在靈聚的機器人CMS上進行了圖片視頻功能的編輯,并設置了視頻講解的觸發語為“打開手機的視頻講解”。
開發者者對視頻指令進行對接,播放相應的視頻,并在視頻播放至視頻講解文本的時間節點處時,輸出相應的文本的語音,如果進行暫停播放。繼續播放只需使用相應的操作文本返回給靈聚SDK,比如“暫停播放”,“繼續播放”,“退出”等,SDK接到這些操作文本會返回對應的指令。
圖片講解、視頻講解功能對接包括以下幾點需要開發者注意:
* 圖片和視頻講解的圖片以及視頻資源需要存儲在設備本地,建議提供一個固定的文件夾來存放資源。然后后通過SDK返回的指令獲取對應資源的名稱來選擇操作本地圖片和視頻的播放和講解。
* 圖片和視頻講解需要給終端用戶在靈聚機器人CMS上編輯圖片和視頻的資源,編輯圖片與視頻講解內容操作參見SDK包中的“靈聚機器人CMS操作指南”。
* 圖片和視頻講解在設備中如果有界面或者語音進行流程控制,比如下一張、上一張、播放、暫停、繼續、退出等一系列流程操作時需要用戶通過語音對話 請求接口返回相應的文本信息,以便通知服務端控制流程。
* 圖片和視頻講解的指令對象請參照靈聚SDK指令文檔。