内部干货 | 基于华为昇腾910B算力卡的大模型部署和调优-课程讲义
近日上海，TsingtaoAI为某央企智算中心交付华为昇腾910B算力卡的大模型部署和调优课程。课程深入讲解如何在昇腾NPU上高效地训练、调优和部署PyTorch与Transformer模型，并结合实际应用场景，探索如何优化和迁移模型至昇腾NPU平台。课程涵盖从模型预训练、微调、推理与评估，到性能对比、算子适配、模型调优等一系列关键技术，帮助学员深入理解昇腾NPU的优势及其与主流深度学习框架（如PyTorch、Deepspeed、MindSpore）的结合应用。
登上Nature的AI芯片设计屡遭质疑，谷歌发文反击，Jeff Dean：质疑者连预训练都没做
2020年，谷歌的AlphaChip在Nature上发表并开源，其深度强化学习方法能生成超越人类水平的芯片布局，引发AI在芯片设计领域的研究热潮。然而，ISPD 2023的一篇论文对其性能提出质疑，指出未按Nature论文方法运行、计算资源不足等问题。谷歌DeepMind团队回应，强调AlphaChip已在多代TPU和Alphabet芯片中成功应用，并批驳ISPD论文的主要错误。此外，针对Igor Markov的“元分析”和无根据猜测，谷歌提供了详细的时间线和非机密部署情况，澄清事实并重申AlphaChip的开放性和透明度。
企业内训｜基于华为昇腾910B算力卡的大模型部署和调优-上海某央企智算中心
近日上海，TsingtaoAI为某央企智算中心交付华为昇腾910B算力卡的大模型部署和调优课程。课程深入讲解如何在昇腾NPU上高效地训练、调优和部署PyTorch与Transformer模型，并结合实际应用场景，探索如何优化和迁移模型至昇腾NPU平台。课程涵盖从模型预训练、微调、推理与评估，到性能对比、算子适配、模型调优等一系列关键技术，帮助学员深入理解昇腾NPU的优势及其与主流深度学习框架（如PyTorch、Deepspeed、MindSpore）的结合应用。
MindIE推理采样后处理参数temperature和top_k的引发的精度问题
在MindIE跑Qwen系列模型推理时，发现当后处理参数top_k较大且temperature=2时，Ascend npu和gpu上均出现模型输出精度问题。原因在于temperature增大导致logits值差距缩小，softmax后概率接近，难以选到正确token。通过减小top_k或top_p可避免此问题。总结：后处理顺序为temperature > top_k > softmax > top_p，temperature越大，logits差距越小，易引发精度问题。
昇腾集群PFC现象分析
负责集群运维的同学可能都遇到过PFC现象，那么PFC到底是啥？产生原因是什么？这篇文章提供了一些分析。
sam模型迁移昇腾训练loss不收敛问题的解决办法
在将SAM模型迁移到昇腾平台时，遇到了精度问题。具体表现为NPU训练的loss图从一开始就未收敛，而GPU则正常收敛。通过使用Ascend开源仓的msprobe工具进行精度对比，发现NPU丢失了image_embedding的梯度，原因在于torch_npu版本与PyTorch不匹配，导致`repeat_interleave_backward_tensor`函数调用失败。最终通过选择与PyTorch配套的torch_npu版本解决了问题，loss图恢复正常。
首个全球AI出口管制规则出台，中国AI路在何方？
在CES 2025上，英伟达宣布Blackwell芯片全面投产，GB200芯片为大语言模型推理带来30倍性能提升，成本和能耗降低25倍。然而，1月13日白宫公布的“临时最终规则”对AI芯片出口进行严格限制，引发市场悲观情绪。新规将全球分为三级，中国大陆被列为Tier 3，面临先进芯片进口禁令和模型权重管控，加剧了中国AI产业的挑战。尽管如此，华为云、科大讯飞等企业通过自主创新，如昇腾AI云服务，提供了稳定可靠的算力解决方案，展现了中国科技企业的韧性和创新精神，推动大模型生态的发展。
天天都在说的“算力”到底是个啥？一文全讲透！
算力是数字经济发展的重要支撑，尤其在AI和大数据应用中起着关键作用。便宜云服务器致力于构建全球领先的算力基础设施，助力各行业数字化转型。吴泳铭和马云均强调了算力在未来科技竞争中的核心地位。2023年底，我国算力总规模达230EFLOPS，位居全球第二。算力分为通用、智能和超算算力，广泛应用于人工智能训练与推理等场景。中国正加速建设智算中心，推动算力产业链发展，并注重绿色低碳和智能运维，以应对日益增长的计算需求。
为什么感觉欧美AI比我们强？
本文介绍了电视机、电脑、手机、原子弹和飞机等重要发明的起源，其中大部分发明均源自美国。文中还探讨了中美在AI领域的竞争，指出美国在创新方面领先，而中国则在规模化生产和应用方面表现出色。尽管存在差距，但中国在算力、算法、数据和人才等方面持续加大投入，逐渐缩小与美国的差距。