飛槳 (PaddlePaddle) 是由百度研發的開源深度學習框架平台,和 PyTorch 的風格挺像的,所以學習成本其實不高,最近 PaddlePaddle 在 paperswithcode 中異軍突起,在 Pytorch, TensorFlow, PaddlePaddle 三個框架下,PaddlePaddle 佔了 4% (116 repos),如 圖一 所示
飛槳以百度多年的深度學習技術研究和業務應用為基礎,集深度學習核心框架、基礎模型庫、端到端開發套件、工具組件和服務平臺於一體,為用戶提供了多樣化的配套服務產品,助力深度學習技術的應用落地。讓我們來通過 PaddlePaddle 概覽圖 (圖二) 來介紹常用的套件
模型資源
PaddleHub
飛槳預訓練模型應用工具,覆蓋文本、影像、影片、語音四大領域超過 200 個高品質預訓練模型。開發者可以輕鬆結合實際業務場景,選用高品質預訓練模型並配合 Fine-tune API 快速完成模型驗證與應用部署工作。適用於個人開發者學習、企業 POC 快速驗證、參加 AI 競賽以及教學科研等多種業務場景。
開發套件和模型庫
電腦視覺 (Computer Vision)
【端到端開發套件】
PaddleClas
飛槳影像分類套件,目的是為工業界和學術界提供便捷易用的影像分類任務預訓練模型和工具集,打通模型開發、訓練、壓縮、部署全流程,輔助其它高層視覺任務組網並提升模型效果,助力開發者訓練更好的影像分類模型和應用落地。
PaddleDetection
飛槳物件偵測套件,旨在幫助開發者更快更好地完成偵測模型的訓練、精度速度優化到部署全流程。PaddleDetection 以模塊化的設計實現了多種主流物件偵測算法,並且提供了豐富的數據增強、網絡組件、損失函數等模塊,集成了模型壓縮和跨平臺高性能部署能力。
PaddleSeg
飛槳影像分割套件,覆蓋了 DeepLabv3+/OCRNet/BiseNetv2/Fast-SCNN 等高精度和輕量級等不同方向的大量高品質分割模型。通過模塊化的設計,提供了配置化驅動和 API 調用等兩種應用方式,幫助開發者更便捷地完成從訓練到部署的全流程影像分割應用。
PaddleOCR
飛槳文字辨識套件,旨在打造一套豐富、領先、且實用的 OCR 工具庫,開源了基於 PPOCR 實用的超輕量中英文 OCR 模型、通用中英文 OCR 模型,以及德法日韓等多語言 OCR 模型。並提供上述模型訓練方法和多種預測部署方式。同時開源文本風格數據合成工具 Style-Text 和半自動文本圖像標註工具 PPOCRLable。
PaddleVideo
飛槳影片辨識開發套件,用於影片辨識(video recognition)、行動本地化(action localization)和時空行為檢測 (spatio temporal action detection)等多種任務。
PaddleGAN
飛槳影像生成開發套件,集成風格遷移、超分辨率、動漫畫生成、圖片上色、人臉屬性編輯、妝容遷移等 SOTA 算法,以及預訓練模型。並且模塊化設計,以便開發者進行二次研發,或是直接使用預訓練模型做應用。
【模型庫】
PaddleCV
目前沒有了。
自然語言處理 NLP (Natural Language Processing)
【端到端開發套件】
ERNIE
ERNIE 是百度開創性提出的基於知識增強的持續學習語義理解框架,該框架將大數據預訓練與多源豐富知識相結合,通過持續學習技術,不斷吸收海量文本數據中詞彙、結構、語義等方面的知識,實現模型效果不斷進化。在工業界中得到了大規模應用,如搜索引擎、新聞推薦、廣告系統、語音交互、智能客服等。
【模型庫】
PaddleNLP
基於 Paddle 框架開發的自然語言處理 (NLP) 開源項目,項目中包含工具、算法、模型和數據多種資源。PaddleNLP 通過豐富的模型庫、簡潔易用的API,提供飛槳 2.0 的最佳實踐並加速 NLP 領域應用產業落地效率。模型庫涵蓋了 NLP 主流應用相關的前沿模型,包括中文詞向量、預訓練模型、詞法分析、文本分類、文本匹配、文本生成、機器翻譯、通用對話、問答系統等。
語音處理 (Speech Processing)
【端到端開發套件】
Parakeet
Parakeet 旨在為開源社群提供靈活、高效和最先進的文字到語音工具包,包含許多有影響力的 TTS (Text-To-Speech) 模型。
【模型庫】
PaddleSpeech
基於 Paddle 框架開發的語音處理開源項目,項目中包含了自動語音辨識 (Automatic Speech Recognition, ASR)、語音合成 (Speech Synthesis) 等兩種常見的語音任務,也就是 Speech-to-Text 和 Text-to-Speech 兩種任務。
推薦系統 (Recommender System)
【端到端開發套件】
ElasticCTR
是基於 Kubernetes 的企業級推薦系統開源解決方案。該方案融合了百度業務場景下持續打磨的高精度 CTR 模型、飛槳開源框架的大規模分佈式訓練能力、工業級稀疏參數彈性調度服務,幫助用戶在 Kubernetes 環境中一鍵完成推薦系統部署,具備高性能、工業級部署、端到端體驗的特點,並且作為開源套件,滿足二次深度開發的需求。
【模型庫】
PaddleRec
基於 Paddle 框架開發的推薦系統 (Recommender System) 開源項目,項目中包含了內容理解 (Content-Understanding)、召回 (Recall)、排序 (Rank)、匹配 (Match)、多任務 (Multi-Task)、重排序 (Re-Rank) 等多種方法。
模型部屬
X2Paddle
X2Paddle 是飛槳生態下的模型轉換工具,致力於幫助其它深度學習框架用戶快速遷移至飛槳框架。目前支持推理模型的框架轉換與 PyTorch 訓練代碼遷移,另外還提供了不同框架間 API 對比文檔,降低開發者上手飛槳核心的學習成本。
PaddleSlim
PaddleSlim 是飛槳生態下的深度學習模型壓縮工具,集深度學習模型壓縮中常用的量化 (Quantization)、剪枝 (Pruning)、蒸餾 (Distilling)、和模型結構搜索 (NAS) 等模型優化策略,幫助用戶快速實現模型優化。
Paddle-Lite
Paddle-Lite 是飛槳自研的新一代端側推理推理框架,支援PaddlePaddle/TensorFlow/Caffe/ONNX 模型的推理部署,目前已經支持ARM CPU, Mali GPU, Adreno GPU, Huawei NPU 等多種硬體,正在逐步增加X86 CPU, Nvidia GPU 等多款硬體。
其他
PaddleFL
目前支援當前主流兩類聯邦學習策略:橫向聯邦學習、縱向聯邦學習。
InterpretDL
是 PaddlePaddle 模型的解釋工具包。該工具包包含許多解釋演算法的實現,包括LIME、Grad-CAM、IG 等。