大语言模型：新的摩尔定律？

微软和 NVIDIA 发布 Megatron-Turing NLG 530B，号称全球最大最强的生成式语言模型，但复现成本接近 1 亿美元，单台 DGX A100 服务器售价 19.9 万美元、功耗达 6.5 千瓦。