.NET 9：AI 助力下的全新升級

.NET 9 即將發(fā)布 RC1，今年初.NET 團隊在發(fā)布.NET 9 Preview 1版本時寫了一篇文章《我們對 .NET 9 的愿景》，其中特別提到了對AI的展望。.NET 9致力于讓 .NET 開發(fā)人員更輕松地將人工智能集成到他們現(xiàn)有的和新的應(yīng)用程序中。 開發(fā)人員將找到用于使用 OpenAI 和 OSS 模型（托管和本地）的優(yōu)秀庫和文檔，我們將繼續(xù)在Semantic Kernel、OpenAI 和 Azure SDK 方面進行合作，以確保 .NET 開發(fā)人員擁有構(gòu)建智能應(yīng)用程序的一流體驗。

在 .NET 9 中，.NET 社區(qū)正在大力推動 AI -- 這非常令人震驚......就像 AI 現(xiàn)在很重要。 在過去大數(shù)據(jù)、移動互聯(lián)網(wǎng)時代。由于微軟的封閉和不夠開放，錯過了兩個時代，不過在云原生和人工智能時代，.NET已經(jīng)完成脫胎換骨，變得開放又強大，特別是即將到來的.NET 9，幫助開發(fā)人員構(gòu)建更智能的應(yīng)用程序方面有非常大的改進。下面是我匯總的.NET 社區(qū)里這一年在AI 方面的新進展。

1、TensorFlow.NET升級

TensorFlow.NET 正在通過高性能 C# 綁定和自動微分支持進行升級。完整的 Keras API 現(xiàn)在也采用 C# 語言：

• 使用 cppSharp 生成的新的高性能 C# 綁定
• 自定義 C# 運算的自動微分支持
• Keras API 完全用 C# 實現(xiàn)，允許無縫的模型定義和訓練

2、OpenAI SDK 集成

OpenAI SDK 使開發(fā)人員能夠直接訪問 OpenAI 最新的公共 AI 模型，包括 GPT-4 及其結(jié)構(gòu)化輸出功能。這意味著您將擁有完整的 API 支持，包括同步和異步 API 以滿足您的需求 - 甚至是用于實時處理的流式完成。SDK 是可擴展的，因此您可以進一步自定義它。此外，它還與 Azure OpenAI 進行了集成，用于企業(yè)級部署，也方便對接各種兼容OpenAI API的各大模型。這為使用對話式 AI、動態(tài)內(nèi)容生成和 AI 驅(qū)動功能（如音頻轉(zhuǎn)錄和文本轉(zhuǎn)語音生成）構(gòu)建更智能的 .NET 應(yīng)用程序提供了大量可能性。

3、ONNX 運行時原生支持

無需再費力地進行單獨的軟件包安裝。 我們獲得了一個專用命名空間 （Microsoft.ML.OnnxRuntime），其中包含一個 API 來直接加載和運行 ONNX 模型：

• 直接模型加載： var session = new InferenceSession（“model.onnx”）;
• 使用 Span 和 Memory 對輸入/輸出張量進行高效的內(nèi)存管理
• 通過統(tǒng)一 API 支持硬件加速（CPU、GPU、DirectML）

4、開發(fā)人員友好的ML.NET 4.0

AutoML 通過多指標優(yōu)化和時間序列預(yù)測支持變得更加智能：

• AutoML 增強功能：
  • 用于平衡模型選擇的多指標優(yōu)化
  • 支持 AutoML 中的時間序列預(yù)測
• 用于簡化模型部署的新 Infer API
• 將 TensorFlow 和 ONNX 模型轉(zhuǎn)換為 ML.NET 格式以提高性能
• 新的Microsoft.ML.GenAI ：GenAI包提供一系列流行GenAI模型的torchsharp實現(xiàn)，目標是從相應(yīng)的Python常規(guī)模型加載相同的權(quán)重。首先將添加的模型包括 Microsoft.ML.GenAI.Core 、 Microsoft.ML.GenAI.Phi 、 Microsoft.ML.GenAI.LLaMA 和 Microsoft.ML.GenAI.Mistral 以及 Microsoft.ML.GenAI.StableDiffusion。

5、.NET 9 中的 AI 輔助代碼生成

AI 輔助代碼生成（代碼片段、重構(gòu)、單元測試）通過 dotnet ai 命令集成到 .NET 9 SDK 中，非常棒：

• 生成代碼片段： dotnet ai snippet “mplement a binary search algorithm”
• 重構(gòu)現(xiàn)有代碼： dotnet ai refactor --file Program.cs --description “Convert to LINQ query”
• 生成單元測試：dotnet ai test --file MyClass.cs

6、NLP 工具

.NET 9 提供了一組豐富的 NLP 工具，用于標記化、NER*、情感分析和文本分類：

• 分詞和句子分句：

var tokenizer = new Tokenizer();
var tokens = tokenizer.Tokenize("Hello, world!");

• 命名實體識別 （NER）：

var ner = new NamedEntityRecognizer();
var entities = ner.RecognizeEntities("Microsoft was founded by Bill Gates.");

• 使用預(yù)訓練模型進行感知分析和文本分類

7、.NET 9 中的 GPU 加速

.NET 9 中的 GPU 加速比以往任何時候都更容易獲得：

• 用于高效多維數(shù)組運算的新 Tensor 類型 ：張量是許多數(shù)學模型的基本組成部分，包括深度學習算法。它們是用于保存神經(jīng)網(wǎng)絡(luò)中的權(quán)重、偏差和中間計算的多維數(shù)組。這樣可以有效的處理數(shù)據(jù)和信息流，以用于學習和預(yù)測目的。 無論是圖像識別、語言理解還是趨勢預(yù)測，張量在AI的各個方面都發(fā)揮著至關(guān)重要的作用。 此外，它們還可以更輕松地在 ONNX Runtime、TorchSharp 或 ML.NET 等庫之間共享數(shù)據(jù)、創(chuàng)建自己的數(shù)學庫或使用 AI 模型開發(fā)應(yīng)用程序。
• CUDA 互操作改進：
• 與 Nvidia 的 cuDNN 庫集成，用于深度學習基元

8、簡化的 AI 模型部署

.NET 9 通過新的 ASP.NET Core 集成簡化了 AI 模型部署：

• 新項目模板：dotnet new webapi --ai -model
• 模型終端節(jié)點的自動 OpenAPI/Swagger 文檔
• 內(nèi)置模型版本控制和 A/B 測試支持
• 使用 gRPC 集成提供可擴展的模型服務(wù)

9、新的數(shù)值 API

.NET 9 引入了新的數(shù)值 API，以實現(xiàn)高效的張量和矩陣運算：

• System.Numerics.Tensor 用于高效的張量運算
• System.Numerics.Matrix 用于矩陣代數(shù)
• SIMD 加速線性代數(shù)例程

10、監(jiān)控和觀察您的 LLM 應(yīng)用程序

大型語言模型 (LLM) 應(yīng)用程序需要可靠、高性能和高質(zhì)量的結(jié)果。 開發(fā)人員需要在開發(fā)和生產(chǎn)環(huán)境中測量和跟蹤LLM 應(yīng)用程序的結(jié)果和行為，并識別和解決任何問題。

• 性能監(jiān)控 ：我們想知道我們的模型運行速度有多快，它們使用了多少內(nèi)存，以及它們處理負載的情況。這有助于我們發(fā)現(xiàn)瓶頸并優(yōu)化事情。
• 模型偏差檢測 ：隨著世界的變化，模型會隨著時間的推移而過時。我們需要工具來捕捉模型的性能何時開始下滑，這樣我們就知道是時候進行重新訓練了。
• 可解釋性和透明度 ：AI 不應(yīng)該是一個黑匣子。我們必須有辦法窺探內(nèi)部并了解模型如何做出決策。這建立了信任并幫助我們捕捉任何無意的偏見。
• 道德和偏見監(jiān)控 ：AI應(yīng)該是公平和公正的。我們需要工具來積極檢查和解決模型中的任何潛在偏差。

11、.NET 的Semantic kernel

Semantic kernel 是一種開源 SDK，可在 .NET 應(yīng)用中啟用 AI 集成和業(yè)務(wù)流程功能。 對于將一個或多個 AI 服務(wù)與其他 API 或 Web 服務(wù)、數(shù)據(jù)存儲和自定義代碼結(jié)合使用的 .NET 應(yīng)用程序，此 SDK 通常是推薦的 AI 編排工具。 語義內(nèi)核以以下方式使企業(yè)開發(fā)人員受益：

• 簡化將 AI 功能集成到現(xiàn)有應(yīng)用程序中的過程，從而為企業(yè)產(chǎn)品提供統(tǒng)一的解決方案。
• 通過可降低復雜性的抽象，最大限度地縮短使用不同 AI 模型或服務(wù)的學習曲線。
• 通過減少 AI 模型提示和響應(yīng)的不可預(yù)測行為來提高可靠性。 可以微調(diào)提示并計劃任務(wù)，以創(chuàng)建可控且可預(yù)測的用戶體驗。

12、比以往任何時候都更強大.NET 社區(qū)

.NET 是開源的，包括 GitHub 上提供的所有庫、工具和框架，因此一直在進行大量協(xié)作。C# 已經(jīng)在人工智能領(lǐng)域發(fā)展并站穩(wěn)腳跟，.NET社區(qū)也在努力建設(shè)中。下面我們列出社區(qū)中一些資源供大家參考：

• Semantic kernel ： https://github.com/geffzhang/awesome-semantickernel/
• Autogen： https://github.com/microsoft/autogen/tree/main/dotnet
• Botsharp： https://botsharp.readthedocs.io/en/latest/

• AIDotNet： https://github.com/AIDotNet

• Senaprc.AI: https://github.com/Senparc/Senparc.AI

13、.NET 9 + 人工智能

Microsoft 正在 AI 方面進行重大投資，并且他們正在推動 .NET 和開發(fā)社區(qū)的發(fā)展。.NET 生態(tài)系統(tǒng)提供了許多強大的工具、庫和服務(wù)來開發(fā) AI 應(yīng)用程序。 .NET 支持云和本地 AI 模型連接、適用于各種 AI 和矢量數(shù)據(jù)庫服務(wù)的許多不同的 SDK 以及其他工具，有助于構(gòu)建范圍和復雜性不同的智能應(yīng)用。

• 異色邊緣龍局北辰卡組詳解
• 《怪化貓》系列第二章《火鼠》近日公開諸多新情報
• steam特賣頁面出現(xiàn)神秘粉發(fā)女孩 引發(fā)網(wǎng)友熱烈討論
• 大雪節(jié)氣活動：桃源深處有人家雪盛冬藏
• 游俠晚報：《絕地潛兵2》口碑上升 Fami通一周評分