Skip to content

v0.4.0

Latest
Compare
Choose a tag to compare
@github-actions github-actions released this 14 Oct 03:54
· 47 commits to master since this release
5b4dad3

时隔5个月,MindNLP 0.4来啦!!!这一次在开源社区同学们的努力下带来了数个重大特性更新!!!

  1. 模型大量更新,支持250+ transformers模型,覆盖90% huggingface模型,使用MindSpore进行模型复现、开发训练再无迁移之忧(社区会同步huggingface和业界新模型,随时更新)。
  2. 全平台支持:全面支持昇腾910A、910B、310B(香橙派)、GPU、CPU。(PS:目前香橙派唯一可用的AI开发套件)
  3. 分布式并行推理:支持多卡多进程并行推理(超过10B的模型可以玩啦!)
  4. 量化算法支持:香橙派支持Smooth Quant,GPU支持bitsandbytes int8量化
  5. Sentence transformer支持:可以开心的搞RAG啦
  6. 动态图性能优化:昇腾硬件下动态图推理速度达到Pytorch+GPU同水平(Llama实测性能85ms/token)
  7. 真正的动静统一:通过mindspore.jit一行切换图模式,完全使用huggingface code style,既保证易用性,又能快速提升性能。昇腾硬件下Llama实测性能为动态图2倍(45ms/token),与mindspore其他静态图based套件性能完全一致。
  8. 海量LLM应用更新:包括文本信息抽取、聊天机器人、语音识别、ChatPDF、音乐生成、代码生成、声音克隆等等,伴随着模型支持度的提高,更多好玩的应用等你来开发!

欢迎大家使用、提Issue和Star一下~

安装方法:

pip install mindnlp

代码仓:
https://github.com/mindspore-lab/mindnlp

PS:获取昇腾算力的几个途径: