测试了ChatGPT以及国内主流的12个模型，包括阿里、百度等5家大厂模型和月之暗面等6家AI独角兽的模型，在比较9.11和9.9哪个大的小学难度数学题中，阿里通义千问、百度文心一言、Minimax和腾讯元宝4家大模型答对，其他8家则答错。答对的大模型解题相似，答错的模型各有逻辑和表达。对答错的模型进一步追问后，几乎所有模型都承认之前回答错误并给出正确答案。一些行业人士将数学不好的原因归结于架构问题，生成式的语言模型更像文科生而不是理科生。上海人工智能实验室领军科学家林达华表示，未来大模型的训练要更体系地构建，复杂推理能力尤为重要，是大模型在金融、工业等场景落地需要的关键能力。
国内主流的12个AI模型在小学数学题测试中，仅阿里、百度等四家答对。大部分模型承认错误后给出正确答案，反映出当前大模型在数学和复杂推理能力方面的短板。
这次测试的数学题并不复杂，是一道小学难度的比较题：9.11和9.9哪个大？记者分别测试了阿里、百度、Minimax和腾讯元宝等12个模型。结果显示，仅有阿里通义千问、百度文心一言、Minimax和腾讯元宝4家大模型答对了，而其他8家模型则给出了错误答案。这一结果，不禁让人啼笑皆非。
更有意思的是，对于那些答错的模型，记者进一步追问后，几乎所有模型都承认了之前的错误并给出了正确答案。这说明这些AI模型在面对简单的数学题时，逻辑推理和运算能力存在明显的短板。
一些行业人士将数学不好的原因归结于架构问题。生成式的语言模型更像文科生而不是理科生，擅长自然语言处理，但在数学和复杂推理方面却显得力不从心。上海人工智能实验室领军科学家林达华表示，未来大模型的训练要更体系地构建，复杂推理能力尤为重要，是大模型在金融、工业等场景落地需要的关键能力。
我们已经在AI的自然语言处理和生成方面取得了长足进步，但在数学和复杂推理能力上，显然还有很长的路要走。试想一下，如果AI在处理金融数据或工业生产时，连基本的数学运算都出错，那将带来多么严重的后果。
如何提升AI的数学能力和复杂推理能力呢
需要在训练数据上进行优化。当前的大模型主要依赖于大量的文本数据进行训练，这使得它们在语言处理上表现出色，但在数学和逻辑推理方面则显得薄弱。因此，需要加入更多的数学题和逻辑推理题，以提高模型在这些方面的能力。
在模型架构上进行改进。生成式语言模型虽然在处理自然语言方面表现优异，但在数学运算和逻辑推理方面却不尽如人意。因此，研究人员需要探索新的模型架构，使其在保持语言处理能力的同时，增强其数学和逻辑推理能力。
需要加强对模型的测试和评估。只有通过不断地测试和改进，才能发现模型的不足之处，并进行相应的优化。此次测试虽然揭示了当前AI模型在数学方面的短板，但也为未来的研究指明了方向。
