自然语言处理技术是所有与自然语言的计算机处理有关的技术的统称,其目的是使计算机理解和接受人类用自然语言输入的指令,完成从一种语言到另一种语言的翻译功能。自然语言处理技术的研究,可以丰富计算机知识处理的研究内容,推动人工智能技术的发展。自然语言处理中的主要任务 :
1. 词性标注与(中文)分词:词性标注是自然语言处理中好基础的研究领域之一。分词则是中文自然语言处理里的重要任务。当前词性标注任务已经较为成熟,发展空间已经不是很大,而中文分词则基本不被外国高校所关注。
2. 语法解析:语法解析长久以来是自然语言理解的核心方法,旨在通过解析语言的语法结构来理解语义。语法解析的研究已持续数十年,做出突破难度较大,国内高校对于这一方向的努力一直不是很多。如何科学地把语法解析结果应用在其它任务中,是当前NLP和计算语言学领域所有研究者共同感兴趣的话题。
3. 语言模型:语言模型的基本任务是通过上文预测下文。预测准确率越高,语言模型性能越好,标志着模型对于该语言的学习/拟合能力越强。从应用的角度上说,有利于文本表示学习的性能。
4. 信息检索:信息检索包括文本检索和多媒体检索,是搜索引擎的核心技术,也是自然语言处理领域的重要应用。NLP领域关注的信息检索主要是通过短文本检索长文档的任务,也有通过文本检索图片的任务。信息检索目前主要关注的问题是搜索结果的排序和个性化推荐。
5. 信息抽取:信息抽取旨在从非结构化的文本数据中抽取结构化的目标信息。这是一个热点的任务,但是当前模型大多只能进行单一任务的信息抽取,效果也不是特别好。因此将来一段时间,信息抽取还会是一个热门话题。该任务也是其它行业对人工智能好热切的期待之一。行业外的人经常问自然语言处理能不能做这个做那个,大多数是在问能不能从非结构化的海量文本中提取特定的某些信息。
6. 语义表示:语义表示是当前诸多NLP任务的基础之一,目标是将字,词,句,文章的语义表示在合适的向量空间中,以此为基础提高各项任务中模型的性能。随着机器学习的发展,语义表示已成为自然语言处理的一大核心。尤其好近深度学习很火,这一领域也是火得不行。
7. 文本分类:文本分类旨在将不同的文本进行分类,以进行进一步的处理。例如百度曾通过文本分类结果作为广告推荐的依据。目前大多数关于文本分类的研究主要目的是证明文本表示模型的优越性。
8. 机器翻译:有关机器翻译这一任务的研究已延续数十年。与词性标注,语法解析任务不同,机器翻译模型的性能依然不够强。当前流行的方法是应用深度学习实现高性能的机器翻译。
9. 对话系统:对话系统的目标是实现能和人类对话的机器人,这是一个难以实现,难以评测的任务。近年来学术界和工业界对深度学习在对话系统中的应用很感兴趣。该任务会一直是一个热门话题。
10. 问答系统:问答系统可以说是一个简单版的对话系统,通常是在进行关于特定领域内知识的问答。近年来也有人提出阅读理解式的问答(类似高考英语阅读理解),以及关于给定图像进行问答的任务。问答系统比对话系统更容易实现和评测,但也存在问答系统面临的诸多问题。
11. 情感计算:情感计算旨在分析社交网络发言、电商平台评论等文本的情感倾向,有较为广阔的应用前景,也受到了广泛关注。目前的情感计算主要是建立在强大的语义表示模型上。
NLPIR大数据语义智能分析平台是根据中文数据挖掘的综合需求,融合了网络精准采集、自然语言理解、文本挖掘和语义搜索的研究成果,并针对互联网内容处理的全技术链条的共享开发平台。
NLPIR大数据语义智能分析平台主要有精准采集、文档转化、新词发现、批量分词、语言统计、文本聚类、文本分类、摘要实体、智能过滤、情感分析、文档去重、全文检索、编码转换等十余项功能模块,平台提供了客户端工具,云服务与二次开发接口等多种产品使用形式。
随着信息技术在我国社会生活各个领域应用的深入,中文信息处理正在成为人们工作和生活中不可或缺的手段,中文信息处理将具有更加广阔的市场。