海量数据的出现给很多应用领域带来革命性影响，同时也在深刻地改变着理论研究的发展方向。本文主要关注传统最大熵模型在海量数据应用下的改进方案，及其在机器翻译领域中的实际应用。最大熵模型是自然语言处理领域中应用最广泛的分类模型。理论上已经证明了该模型在运用于二值特征分类时的最优性。然而，在海量数据情境下，数据所特有的长尾效应会给最大熵分类建模带来困难。在模型训练时，高维的特征空间会引入大量特征权重参数，而大多数特征在样本中的出现次数过少，这导致相当一部分特征权重参数难以被准确估计。为了解决以上问题，本文作者提出了最大熵模型的改进方案----层次最大熵模型。该模型采用分层量权的方法，通过将特征归类并引入特征类别权重，解决了模型参数空间过大的问题;通过直接引入特征的样本统计量作为特征权重的估计，解决了小样本特征权重难以估计的问题。在实际工作中，改进后的模型取得了较好的分类效果。　　本文对层次最大熵模型在机器翻译领域的应用进行了研究：⑴改进中-英机器译文语序据统计，语序混乱是目前机器译文最常发生的错误之一。在中英互译时，两种语言语法习惯上的差异造成了大量的翻译时短语调整。在对相关语序混乱问题作深入分析后，作者改进了翻译系统中传统的MSD词汇化调序模型，提出了专用于中英互译的MLR调序模型。在进一步观察到英译中方向上大部分语序混乱由介词短语引起后，作者将介词短语调序抽象为分类问题并用层次最大熵模型进行建模。基于该模型对介词短语归属的预测，作者得以通过预调序的方式较精确地安排介词短语在译文中的位置，从而改善译文词序。在NIST评测集上的实验结果证明了工作的有效性。⑵改进系统翻译效率随着互联网上机器翻译相关的用户请求呈爆发式增长，翻译系统的效率问题越来越受到人们的关注。层次短语翻译系统的翻译算法基于传统的CKY算法，需要对大量的子句作分析，因而算法复杂度较高，而最终的翻译结果仅与很少一部分子句相关。基于上述观察，作者建立层次最大熵分类器对子句的有效性作定量的评估，并基于评估结果提出相关剪枝策略，使得系统减少甚至取消对无效子句的分析工作。通过上述方法，本文工作在NIST评测集上使得系统翻译效率加倍。上述工作均涉及到海量数据的分析与处理。相关实验证明，相较于传统模型，层次最大熵分类模型在训练效率和预测精度上均有一定的优势。本文相关工作已在网易有道商用机器翻译系统中得到了成功应用。