探索神經網絡的奧秘，掌握深度學習核心技術
深度學習是機器學習的一個子領域，使用多層神經網絡來學習數據的層次化表示。它在圖像識別、語音識別、自然語言處理等領域取得了突破性進展。
「深度」指的是神經網絡的層數。傳統神經網絡通常只有2-3層，而深度神經網絡可以有數十層甚至上百層。更深的網絡能夠學習更複雜、更抽象的特徵表示。
神經網絡受生物神經元啟發，由大量相互連接的節點（神經元）組成。
接收原始數據，每個神經元對應一個特徵。例如，處理28×28的圖像時，輸入層有784個神經元。
進行特徵轉換和抽象。深度網絡包含多個隱藏層，每層學習不同層次的特徵。
產生最終預測結果。分類問題通常使用softmax激活函數，回歸問題使用線性激活。
為神經網絡引入非線性，使其能夠學習複雜的模式。
訓練神經網絡的核心算法，通過計算損失函數對權重的梯度，使用梯度下降法更新權重。
控制權重更新的策略：
CNN專門設計用於處理網格狀數據，如圖像。它通過卷積操作自動學習空間層次特徵。
使用可學習的濾波器（卷積核）在輸入上滑動，提取局部特徵。淺層提取邊緣、紋理等低級特徵，深層提取物體部件等高級特徵。
降低特徵圖的空間維度，減少參數數量，提供平移不變性。常用的有最大池化和平均池化。
將提取的特徵映射到最終的輸出類別。通常位於網絡的末端。
最早的CNN之一，用於手寫數字識別。奠定了現代CNN的基本結構。
在ImageNet競賽中取得突破，開啟了深度學習時代。使用ReLU、Dropout等技術。
使用小卷積核（3×3）堆疊，證明了網絡深度的重要性。
引入殘差連接，解決了深層網絡的退化問題，可以訓練上百層的網絡。
RNN專門處理序列數據，如文本、時間序列、語音等。它具有記憶能力，能夠利用之前的信息。
與傳統神經網絡不同，RNN在處理序列的每個時間步時，不僅考慮當前輸入，還會考慮之前的隱藏狀態，形成一種「記憶」機制。
長短期記憶網絡，通過門控機制解決了傳統RNN的梯度消失問題，能夠學習長期依賴關係。
門控循環單元，LSTM的簡化版本，參數更少，訓練更快，性能相當。
基於注意力機制，完全拋棄了循環結構，成為當前NLP領域的主流架構。
選擇合適的框架可以大大提高開發效率。
Google開發的開源框架，生態系統完善，支持從研究到生產的全流程。TensorFlow 2.0引入了Keras作為高級API，更加易用。
適合：生產部署、大規模分布式訓練
Facebook開發，動態計算圖，代碼直觀易懂，深受研究人員喜愛。近年來在工業界也越來越流行。
適合：研究實驗、快速原型開發
高級API，簡潔易用，適合初學者。現已集成到TensorFlow中。
適合：快速搭建標準模型、教學
理論與實踐相結合，查看實戰應用案例，動手構建自己的深度學習項目。