随着现代信息传播技术手段和方式不断丰富，信息获取、信息传递、信息处理、信息再生、信息利用等功能应用日益多样化，智能化信息系统逐渐形成一个信息网络体系，人类社会的制造加工方式、工作方式、学习方式、交往方式、生活方式、思维方式等发生了极其深刻的变革，互动化、即时性、全媒体等成为常态性的信息生态环境，传统的数据库组织架构和信息服务模式己经难以适应信息社会现实需要，整个信息技术架构的革命性重构势在必行，大数据成为信息技术发展的必由之路。
在大数据时代，数据挖掘是好关键的工作。大数据的挖掘是从海量、不完全的、有噪声的、模糊的、随机的大型数据库中发现隐含在其中有价值的、潜在有用的信息和知识的过程，也是一种决策支持过程。其主要基于人工智能，机器学习，模式学习，统计学等。通过对大数据高度自动化地分析，做出归纳性的推理，从中挖掘出潜在的模式，可以帮助企业、商家、用户调整市场政策、减少风险、理性面对市场，并做出正确的决策。目前，在很多领域尤其是在商业领域如银行、电信、电商等，数据挖掘可以解决很多问题，包括市场营销策略制定、背景分析、企业管理危机等。
信息时代万物数化，大数据的重要性己成行业共识，针对大数据技术和应用的创新，其发展趋势不可阻挡。如何对大数据进行充分和有效的分析和挖掘，使之转换为有价值的信息和知识，用于解决各种各样的科学和应用问题，成为大数据时代信息技术发展的重大挑战。
大数据已被誉为“非竞争性”制造加工要素。大数据具有“取之不尽，用 之不竭”的特性，在不断的再利用、重组和扩展中持续释放其潜在价值，在广泛的公开、共享中不断创造着新的财富。根源在于，大数据的价值在于预测未知领域、 非特定因素的未来趋势，在于破解长期的、普遍的社会难题。而目前的大数据技术和应用，依然局限于历史和实时数据的关联分析，局限于满足短线的、特定的市场 需求。解决悖论的过程，恰恰是理论和方法应运而生的过程。而人们试图解决悖论的努力，正好是大数据落地生根的推动力。
北京理工大学大数据搜索与挖掘实验室张华平主任研发的NLPIR大数据语义智能分析技术是满足大数据挖掘对语法、词法和语义的综合应用。NLPIR大数据语义智能分析平台是根据中文数据挖掘的综合需求,融合了网络精准采集、自然语言理解、文本挖掘和语义搜索的研究成果,并针对互联网内容处理的全技术链条的共享开发平台。
NLPIR大数据语义智能分析平台主要有精准采集、文档转化、新词发现、批量分词、语言统计、文本聚类、文本分类、摘要实体、智能过滤、情感分析、文档去重、全文检索、编码转换等十余项功能模块，平台提供了客户端工具，云服务与二次开发接口等多种产品使用形式。各个中间件API可以无缝地融合到客户的各类复杂应用系统之中，可兼容Windows，Linux， Android，Maemo5, FreeBSD等不同操作系统平台，可以供Java，Python，C，C#等各类开发语言使用。
大数据挖掘已成为大数据技术好重要的应用，它从大数据中提取、挖掘对业务发展有价值的、潜在的知识，找出趋势，为决策层提供有力依据，对产品或服务发展方向起到积极作用，将有力推动企业内部的科学化、信息化管理。在信息管理领域，综合应用数据分析技术和人工智能技术，获取用户知识、文献知识等各类知识，将是实现知识检索和知识管理发展的必经之路。