尽管将温度参数设置为 0 、top_p 参数设置为 0 ，也不能完全保证在相同的输入提示下生成的文本完全一致，主要原因是因为在 GPU 计算过程中存在固有的非确定性。
这是因为浮点数计算中的微小差异可能会导致最终选择的 token 有微小变化，特别是当前两个最有可能的 token 之间的差异很小时，会偶尔选择不同的 token ，从而产生不同的结果。
同时，为了提高模型端点的速度，通常使用 GPU 进行计算，而 GPU 计算是并行的（非确定性的）。
在现代的 GPU 神经网络计算中，这种非确定性是无法避免的。
而且，如果模型被部署在不同的区域以实现负载均衡，不同区域的硬件和环境也可能会对模型的计算产生微小的影响，进一步增加了非确定性。
作者：月明
链接：
https://www.zhihu.com/question/595912240/answer/3160446512来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。