115年第1學期-5515 自然語言處理 課程資訊

教育目標

本課程旨在介紹自然語言處理（NLP）和大型語言模型（LLM）的基礎知識和前瞻技術，適合對自然語言技術感興趣的學生。隨著生成式人工智慧技術的快速發展，NLP在各個領域中的應用日益廣泛。 本課程將提供學生NLP理論基礎，並結合實際應用，幫助學生掌握最新的NLP與LLM技術。課程內容主要分為以下幾個部分： 1. 文字處理基礎：介紹NLP的基本概念和常用技術。教學基本的文字處理技術，如分詞、詞性標註、命名實體識別等。 2. 機器學習模型：機器學習基本概念和算法，如線性回歸、決策樹、隨機森林等。介紹如何將機器學習應用於NLP，包括文本分類、情感分析等。 3. 語言模型：語言模型的基本概念與原理，如N-gram模型、Word2Vec等。深度學習在語言模型中的應用，如RNN、LSTM、Transformer等架構。詳細講解BERT、GPT等先進語言模型，並探討其在不同NLP任務中的應用。 4. 前瞻大語言模型技術：介紹大型語言模型的發展歷程與最新研究進展，如GPT-3等。探討這些模型的訓練方法、大規模資料集的使用，以及在不同領域中的能力。介紹輕量化微調技術（PEFT），如LoRA，並說明其在提高訓練效率和效果方面的優勢。