什么是自然语言?
什么是自然语言?以语音为物质外壳,由词汇和语法两部分组成的符号系统。文字和声音是语言的两种属性。语言是人类交际的工具,是人类思维的载体;人类历史上以语言文字形式记载和流传的知识占人类知识总量的80%以上。是约定俗成的,有别于人工语言,比如Java、C++等程序设计语言。什么是自然语言处理?
什么是自然语言处理(Natural Language Processing, NLP)?自然语言处理就是,利用计算机为工具对人类特有的书面形式和口头形式的自然语言的信息,进行各种类型处理和加工的技术。----冯志伟自然语言处理可以定义为研究在人与人交际中以及在人与计算机交际中的语言问题的一门学科。自然语言处理要研制表示语言能力和语言应用的模型,建立计算框架来实现这样的语言模型,提出相应的方法来不断完善这样的语言模型,根据这样的语言模型设计各种实用系统,并探讨这些实用系统的评测技术。----Bill Manaris
自然语言处理应用“:
自然语言处理技术被广泛应用于搜索、对话、翻译、推荐等场景中:智能问答对话助手语义搜索信息抽取推荐系统机器翻译文本创作……自然语言理解层次:
自然语言的理解和分析是一个层次化的过程,具体可分为以下五个层次:语音分析,是要根据音位规则,从语音流中区分出一个个独立的音素,再根据音位形态规则找出音节及其对应的词素或词。 词法分析,是找出词汇的各个词素,从中获得语言学的信息。句法分析,是对句子和短语的结构进行分析,目的是要找出词、短语等的相互关系以及各自在句中的作用。语义分析,是找出词义、结构意义及其结合意义,从而确定语言所表达的真正含义或概念。 语用分析,是研究语言所存在的外界环境对语言使用者所产生的影响。自然语言处理难点:
词法歧义:分词:词语的切分边界比较难确定。严守一/把/手机/关/了严守/一把手/机关/了词性标注:同一个词语在不同的上下文中词性不同。我/计划/v 考/研/我/完成/了/计划/n命名实体识别:人名、专有名称、缩略词等未登录词的识别困难。高超/nr/a 华明/nr/nt 移动/nt/v句法歧义:句法层面上的依存关系受上下文的影响。咬死了猎人的狗那只狼咬死了猎人的狗咬死了猎人的狗失踪了自然语言处理发展历史: