語(yǔ)義識(shí)別可以分為三層：
1.應(yīng)用層：
包括行業(yè)應(yīng)用和智能語(yǔ)音交互系統(tǒng)/技術(shù)應(yīng)用。
2.NLP技術(shù)層：
包括以語(yǔ)言學(xué)、計(jì)算機(jī)語(yǔ)言等學(xué)科為背景的，對(duì)自然語(yǔ)言進(jìn)行詞語(yǔ)解析、信息抽取、時(shí)間因果、情緒判斷等等技術(shù)處理，最終達(dá)到讓計(jì)算機(jī)“懂”人類的語(yǔ)言的自然語(yǔ)言認(rèn)知，以及把計(jì)算機(jī)數(shù)據(jù)轉(zhuǎn)化為自然語(yǔ)言的自然語(yǔ)言生成。
a）詞語(yǔ)解析與信息抽取：包括分詞、詞性標(biāo)注、命名實(shí)體識(shí)別和詞義消歧，從給定文本中抽取重要的信息。
b） 句法解析與語(yǔ)篇理解：對(duì)篇章結(jié)構(gòu)的一系列連續(xù)的子句、句子和語(yǔ)段間一定層次結(jié)構(gòu)和語(yǔ)義關(guān)系的分析，包括時(shí)間、事件、因果關(guān)系等，甚至于文本所攜帶的情緒識(shí)別。
c） 自然語(yǔ)言生成：從結(jié)構(gòu)化數(shù)據(jù)中以可讀地方式自動(dòng)生成文本的過(guò)程。包括三個(gè)階段：文本規(guī)劃（完成結(jié)構(gòu)化數(shù)據(jù)中基礎(chǔ)內(nèi)容的規(guī)劃）、語(yǔ)句規(guī)劃（從結(jié)構(gòu)化數(shù)據(jù)中組合語(yǔ)句，來(lái)表達(dá)信息流）、實(shí)現(xiàn)（產(chǎn)生語(yǔ)法通順的語(yǔ)句來(lái)表達(dá)文）。
3.底層數(shù)據(jù)層：詞典、數(shù)據(jù)集、語(yǔ)料庫(kù)、知識(shí)圖譜，以及外部世界常識(shí)性知識(shí)等都是語(yǔ)義識(shí)別算法模型的基礎(chǔ)。
語(yǔ)言本身詞性、詞性、詞義、表意、組成邏輯復(fù)雜等性質(zhì)，決定了語(yǔ)義識(shí)別的難度。因而語(yǔ)義識(shí)別技術(shù)也涉及語(yǔ)言學(xué)、計(jì)算機(jī)語(yǔ)言、數(shù)學(xué)、統(tǒng)計(jì)學(xué)、哲學(xué)、生物學(xué)等諸多廣泛的學(xué)科支撐：
a）音韻學(xué) ：指代語(yǔ)言中發(fā)音的系統(tǒng)化組織。
b）詞態(tài)學(xué)：研究單詞構(gòu)成以及相互之間的關(guān)系。
c）句法學(xué)：給定文本的哪部分是語(yǔ)法正確的
d）語(yǔ)義學(xué)：給定文本的含義是什么？
e）語(yǔ)用學(xué)：文本的目的是什么？
語(yǔ)義識(shí)別應(yīng)用場(chǎng)景
語(yǔ)義識(shí)別技術(shù)可以分析網(wǎng)頁(yè)、文件、郵件、音頻、論壇、社交媒體中的大量數(shù)據(jù)，應(yīng)用領(lǐng)域廣泛，既可以直接應(yīng)用于醫(yī)療、教育、金融等行業(yè)。也可以通過(guò)技術(shù)接口應(yīng)用于所有智能語(yǔ)音交互場(chǎng)景，如智能家居、車載語(yǔ)音、可穿戴設(shè)備、VR、機(jī)器人等，從交互的方式上，也可以分為：事實(shí)問(wèn)答、知識(shí)檢索、分類問(wèn)題等。智能語(yǔ)音交互被看做未來(lái)人工智能技術(shù)中最值得期待的應(yīng)用場(chǎng)景。
1）醫(yī)療+：
電子病例系統(tǒng)：為醫(yī)療專業(yè)人士提供實(shí)時(shí)語(yǔ)音聽(tīng)寫(xiě)、電子病歷錄入等。
智能問(wèn)診/輔助診斷：直接服務(wù)于C端用戶或者醫(yī)療專業(yè)人士，通過(guò)對(duì)癥狀的描述，關(guān)鍵詞查詢，進(jìn)行病癥的初步判斷，分類科室、輔助診斷等。
數(shù)據(jù)庫(kù)查詢：為臨床專業(yè)人士提供語(yǔ)音導(dǎo)航、相關(guān)論文、文獻(xiàn)資料庫(kù)檢索查詢等。
2）教育+：
口語(yǔ)測(cè)評(píng)：基于自然語(yǔ)言處理技術(shù)進(jìn)行口語(yǔ)能力的測(cè)評(píng)。
自適應(yīng)學(xué)習(xí)：通過(guò)人工智能技術(shù)，題庫(kù)系統(tǒng)，以及算法模型，根據(jù)學(xué)生在測(cè)試中對(duì)上一道問(wèn)題的回答情況，自動(dòng)調(diào)整學(xué)生接下來(lái)所需回答問(wèn)題的難度和順序，以達(dá)到讓每一個(gè)學(xué)生擁有最合適的學(xué)習(xí)方案。
教育機(jī)器人：以激發(fā)學(xué)生學(xué)習(xí)興趣、培養(yǎng)學(xué)生綜合能力為目標(biāo)的機(jī)器人硬件產(chǎn)品，以及智能教育系統(tǒng)。
3）金融+：
自動(dòng)報(bào)告生成：將公司年報(bào)、招股書(shū)、行業(yè)新聞、法律公告等結(jié)構(gòu)化和非結(jié)構(gòu)化的信息、數(shù)據(jù)進(jìn)行處理，并且結(jié)構(gòu)化生成報(bào)告，服務(wù)于投資銀行，證券研究機(jī)構(gòu)。
風(fēng)控/征信：通過(guò)爬去個(gè)人及企業(yè)在其主頁(yè)、社交媒體、新聞中的文本，分析、預(yù)測(cè)、判斷其投資風(fēng)險(xiǎn)點(diǎn)。
量化交易：運(yùn)用自然語(yǔ)言處理，深度學(xué)習(xí)（Deep Learning）等多種AI技術(shù)，進(jìn)行量化交易模型的建立。
智能投顧：以更強(qiáng)大的計(jì)算機(jī)模型運(yùn)用人工智能的技術(shù)對(duì)大量客戶進(jìn)行財(cái)富畫(huà)像，為客戶量身定制的資產(chǎn)管理投資方案。
潛在客戶挖掘/定制化保險(xiǎn)。
4）法律+：
智能法律檢索：對(duì)數(shù)字化法律文本、裁判文書(shū)等法律資料的檢索。
自動(dòng)審閱：對(duì)法律文件、合同等文件進(jìn)行審查、分析和研究，進(jìn)行調(diào)查取證、盡職調(diào)查、合規(guī)審查、電子取證等。
智能文書(shū)起草：人工智能系統(tǒng)將可能起草大部分的交易文件和法律文件甚至起訴書(shū)、備忘錄和判決書(shū)，律師的角色將從起草者變成審校者。
在線法律服務(wù)/法律機(jī)器人：直接向終端用戶提供一般法律咨詢服務(wù)，比如遺囑、婚姻咨詢、交通事故咨詢等。
5）新聞/文獻(xiàn)+：
從新聞素材采集、智能編輯、自動(dòng)寫(xiě)作、自動(dòng)化文摘生成，到新聞的智能分發(fā)，語(yǔ)音/語(yǔ)義識(shí)別、AI翻譯等技術(shù)正在全面的進(jìn)行新聞傳播行業(yè)。根據(jù)騰訊研究院計(jì)算，過(guò)去8年，新聞業(yè)收入減少了1/3，就業(yè)崗位減少了1.7萬(wàn)個(gè)。
6）智能商業(yè)+：
智能/虛擬客服：基于系統(tǒng)數(shù)據(jù)庫(kù)、知識(shí)圖譜，在與客戶的對(duì)話中，獲取客戶需求，并提供相應(yīng)的答案來(lái)解決客戶的問(wèn)題。
輿情監(jiān)控：通過(guò)對(duì)互聯(lián)網(wǎng)的海量信息自動(dòng)抓取、分類聚類、主題檢測(cè)、專題聚焦、實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)輿情監(jiān)測(cè)和新聞專題追蹤等，并能形成分析報(bào)告，提出應(yīng)對(duì)策略。
數(shù)據(jù)挖掘/智能營(yíng)銷：人工智能技術(shù)處理技術(shù)對(duì)于用戶在互聯(lián)網(wǎng)上留下的大量個(gè)人信息、登錄信息、路徑關(guān)系、社交關(guān)系、消費(fèi)記錄等數(shù)據(jù)有極高的處理效率，通過(guò)各種算法模型，達(dá)到數(shù)據(jù)挖掘，用戶精準(zhǔn)需求分析，自動(dòng)化營(yíng)銷等目的。
7）翻譯+：
基于深度學(xué)習(xí)技術(shù)的神經(jīng)翻譯技術(shù)（NMT），相比較于規(guī)則法（RBMT）、統(tǒng)計(jì)法 （SMT）兩種機(jī)器翻譯方法，最大的優(yōu)點(diǎn)在于1.不在需要人為的去抽取特征；2.不需要進(jìn)行詞語(yǔ)切分、詞語(yǔ)對(duì)齊、句法樹(shù)設(shè)計(jì)等復(fù)雜的設(shè)計(jì)工作，而隨著樣本庫(kù)的擴(kuò)充和訓(xùn)練量的增加，其翻譯能力得到正向提升。
未來(lái)，基于深度學(xué)習(xí)的翻譯技術(shù)將更多的應(yīng)用在會(huì)話、同聲翻譯、文本翻譯等多種場(chǎng)景。
語(yǔ)義識(shí)別環(huán)境背景分析
語(yǔ)音識(shí)別、語(yǔ)義識(shí)別是自然語(yǔ)言處理最重要的兩項(xiàng)技術(shù)，且聯(lián)系緊密，在上述語(yǔ)義識(shí)別的廣泛應(yīng)用場(chǎng)景中，常常是語(yǔ)音、語(yǔ)義相互嵌套，共同作用的結(jié)果，大多數(shù)研究語(yǔ)義識(shí)別的公司也涉及到語(yǔ)音識(shí)別技術(shù)的研究，因而下述的分析中，涉及數(shù)據(jù)方面，我們更多的是放在“自然語(yǔ)言處理”層面來(lái)討論的。
自然語(yǔ)言處理作為一項(xiàng)重要的人工智能技術(shù)之一，成為 2017年最炙手可熱的領(lǐng)域，在整體上離不開(kāi)政策上的支持，技術(shù)上的進(jìn)展，市場(chǎng)應(yīng)用的極高價(jià)值，資本投資等多方面的共同作用。
政策層面：政策引導(dǎo)是語(yǔ)義識(shí)別增長(zhǎng)的外在驅(qū)動(dòng)
人工智能作為國(guó)家戰(zhàn)略發(fā)展規(guī)劃之一，足見(jiàn)其重要性，在這個(gè)政策的綱領(lǐng)下，國(guó)家型自然科學(xué)基金、產(chǎn)業(yè)基金、地方政府財(cái)稅優(yōu)惠政策、人工智能相關(guān)實(shí)驗(yàn)室、科技產(chǎn)業(yè)園區(qū)等切實(shí)促進(jìn)人工智能的發(fā)展落地，為自動(dòng)駕駛、計(jì)算機(jī)視覺(jué)、語(yǔ)音/語(yǔ)義識(shí)別創(chuàng)業(yè)提供了更好的條件和基礎(chǔ)設(shè)施。
經(jīng)濟(jì)層面：經(jīng)濟(jì)價(jià)值是語(yǔ)義識(shí)別發(fā)展的燃料
一方面，自然語(yǔ)言處理應(yīng)用場(chǎng)景廣泛，市場(chǎng)潛力和經(jīng)濟(jì)價(jià)值巨大，Global Market Insights的數(shù)據(jù)顯示，2017-2024這七年，智能語(yǔ)音交互的全球市場(chǎng)，每年增長(zhǎng)率將達(dá)到34.9%。據(jù)估算，2024年的全球市場(chǎng)規(guī)模，將達(dá)到720億元。
另一方面，國(guó)內(nèi)資本對(duì)于自然語(yǔ)言處理的投入也相當(dāng)巨大，根據(jù)鯨準(zhǔn)App數(shù)據(jù)統(tǒng)計(jì)，截止目前，自然語(yǔ)言處理已披露融資總額累計(jì)超 54 億元。
自2015年以來(lái)，資本每年在自然語(yǔ)言處理領(lǐng)域的投資達(dá)到10億元以上，2017年投資總額達(dá)到了18億，從趨勢(shì)上，近幾年資本對(duì)于自然語(yǔ)言處理創(chuàng)業(yè)公司的關(guān)注度不斷上升，資本投入也在加大（2015年5起、2016年12起、2017年1起未披露金額投資事件未計(jì)入下表統(tǒng)計(jì)）。
此外，在創(chuàng)業(yè)獲投率上，自然語(yǔ)言處理相關(guān)公司的獲投率達(dá)到驚人的50%以上。
社會(huì)層面：機(jī)遇與阻礙共存
自然語(yǔ)言處理技術(shù)的發(fā)展給生活帶來(lái)極大的便利，人機(jī)交互更自然，更豐富。然而技術(shù)的逐漸深入，在創(chuàng)造更多經(jīng)濟(jì)價(jià)值的同時(shí)又不得不面對(duì)隨之而來(lái)可能產(chǎn)生安全性、正確性、公平性、道德準(zhǔn)則等問(wèn)題。
技術(shù)層面：技術(shù)進(jìn)步語(yǔ)義識(shí)別發(fā)展的核心
1. 數(shù)據(jù)量。
經(jīng)過(guò)互聯(lián)網(wǎng)、社交網(wǎng)絡(luò)、行業(yè)信息化、云存儲(chǔ)的發(fā)展，很多地方就積累了足夠量的數(shù)據(jù)。當(dāng)數(shù)據(jù)量不足時(shí)，自然語(yǔ)言處理還只能進(jìn)行淺層模型分析，準(zhǔn)確性上受到限制；當(dāng)數(shù)據(jù)量增大，運(yùn)用RNN、CNN為代表的神經(jīng)網(wǎng)絡(luò)深度算法模型對(duì)數(shù)據(jù)進(jìn)行更復(fù)雜、精確的建模，從而使語(yǔ)言、語(yǔ)義的識(shí)別達(dá)到更好的效果。
2. 算法模型。
語(yǔ)義識(shí)別的實(shí)現(xiàn)離不開(kāi)NLP語(yǔ)言處理任務(wù)系統(tǒng)，隨著更大語(yǔ)料庫(kù)的建設(shè)和語(yǔ)料庫(kù)語(yǔ)言學(xué)的崛起，基于密集向量表征的神經(jīng)網(wǎng)絡(luò)在多種NLP任務(wù)上的應(yīng)用獲得優(yōu)秀成果。
盡管深度學(xué)習(xí)算法模型并不是自然語(yǔ)言處理最佳的方式，但確是目前研究自然語(yǔ)言處理表現(xiàn)最好的方式，它在一定程度上緩解了詞面不匹配、數(shù)據(jù)稀疏、語(yǔ)義鴻溝等問(wèn)題。
自然語(yǔ)言處理創(chuàng)業(yè)數(shù)據(jù)與投資關(guān)注動(dòng)態(tài)
1.自然語(yǔ)言處理創(chuàng)業(yè)數(shù)據(jù)
根據(jù)鯨準(zhǔn)App數(shù)據(jù)統(tǒng)計(jì)，自2010年起，國(guó)內(nèi)有關(guān)于自然語(yǔ)言處理的新創(chuàng)公司有179家，分別在2014年、2015年和2016年呈現(xiàn)公司成立激增的狀態(tài)，而2017年公司創(chuàng)立有明顯的下滑狀態(tài)，分析原因，一方面如思必馳、云之聲、助理來(lái)也等先發(fā)成立的初創(chuàng)公司在時(shí)間、技術(shù)、融資方面已經(jīng)取得不小的優(yōu)勢(shì)，另一方面，在新技術(shù)應(yīng)用場(chǎng)景開(kāi)發(fā)、技術(shù)人才儲(chǔ)備上有一個(gè)斷檔期。
2.自然語(yǔ)言處理相關(guān)標(biāo)簽熱度
鯨準(zhǔn)App近5個(gè)月的標(biāo)簽關(guān)注熱度顯示，自然語(yǔ)言處理整體關(guān)注度持續(xù)增長(zhǎng)，其中語(yǔ)音識(shí)別關(guān)注度從7月以來(lái)增長(zhǎng)明顯，而機(jī)器翻譯、語(yǔ)音個(gè)人助手的關(guān)注熱度較之前有所下滑，其余語(yǔ)義識(shí)別、聊天機(jī)器人、智能客服、智能音響呈現(xiàn)穩(wěn)定的波動(dòng)和持續(xù)的關(guān)注狀態(tài)。
3.科技巨頭相關(guān)進(jìn)展
虛擬助理，智能音箱，AI翻譯……科技巨頭今年在語(yǔ)音、語(yǔ)義識(shí)別領(lǐng)域有不少大進(jìn)展。
蘋(píng)果Siri，谷歌Assistant，微軟小娜，三星Galaxy S8也在今年發(fā)布了自己的Bixby智能助理，京東、阿里巴巴、百度、聯(lián)想、小米、出門(mén)問(wèn)問(wèn)和喜馬拉雅等公司都相繼發(fā)布和更新迭代了自己的智能音箱產(chǎn)品，搶占家庭場(chǎng)景入口；包括Google、Facebook、微軟、百度、騰訊、搜狗在內(nèi)的各大技術(shù)巨頭卻在不遺余力地推進(jìn)深度學(xué)習(xí)在機(jī)器翻譯領(lǐng)域的研發(fā)和應(yīng)用……
4.自然語(yǔ)言處理創(chuàng)業(yè)代表廠商
國(guó)內(nèi)最早的自然語(yǔ)言處理創(chuàng)業(yè)公司在經(jīng)過(guò)幾年的發(fā)展，已經(jīng)在很多領(lǐng)域獲得比較大的成果，各大廠商在識(shí)別技術(shù)上體現(xiàn)出來(lái)的差異性并不是太大，值得注意的是，語(yǔ)音識(shí)別、語(yǔ)義識(shí)別技術(shù)應(yīng)該更加重視場(chǎng)景的垂直，在這方面，各大廠商各有定位和建樹(shù)，因而，精準(zhǔn)App數(shù)據(jù)中心只列舉展示了數(shù)據(jù)庫(kù)中所受關(guān)注度較高的項(xiàng)目（排名不分先后）。
