MIRlab - owen.lin RD page
First Post:
Last Update:
Word Count: 1.5k
Read Time: 6min
Last Update:
Word Count: 1.5k
Read Time: 6min
- Ref. http://mirlab.org/jang/mir/howToBuildPersonalRdPage.asp
- 說明：身為 MIRlab 多媒體資訊檢索實驗室的一員，會建立 RD page 置放個人研發相關資訊，如：讀過的論文、專案和連絡方式等。為避免放上實驗室主機後頁面難以維護，故透過 mirlab 網址導向至此，以利於維護之。
林育辰 Yu-Chen Lin
Education
- M. S., Department of Computer Science and Information Engineering, National Taiwan University, Sep. 2022~present
- B. S., Department of Computer Science and Information Engineering, National Taiwan Normal University, Sep. 2018~Jun. 2022
實驗室內職責
- NAS 機器管理
- 技術賦能組
- 語音組 —> NLP 組
Research
我目前在 Ansys 實習，主要研究大型語言模型的應用，如：LLM 於「專業領域」的 Q&A 問答，亦或是 工程領域上的程式碼補全等等，會預期會以 “Code Generator” 的方向為碩論主題。當前固定週三早上 Machine Learning Team Meeting 以及 每週五早上的 Weekly Meeting (我一人報告，與其他三四位專家討論)。若有新進展則會在 MIRlab 的 NLP Group 討論/分享。
以下我所閱讀的論文大多數以 自然語言處理 為主軸，未必涵蓋所有看過的論文，以下是我較有印象的。
Read papers
- Nye, Maxwell, et al. “Show your work: Scratchpads for intermediate computation with language models.” arXiv preprint arXiv:2112.00114 (2021).
- Mohamed, Abdelrahman, et al. “Self-supervised speech representation learning: A review.” IEEE Journal of Selected Topics in Signal Processing (2022). (Reading)
- Yao, Shunyu, et al. “React: Synergizing reasoning and acting in language models.” arXiv preprint arXiv:2210.03629 (2022).
- Dua, Dheeru, et al. “Successive prompting for decomposing complex questions.” arXiv preprint arXiv:2212.04092 (2022).
- Schick, Timo, et al. “Toolformer: Language models can teach themselves to use tools.” arXiv preprint arXiv:2302.04761 (2023).
- Schäfer, Max, et al. “Adaptive test generation using a large language model.” arXiv preprint arXiv:2302.06527 (2023).
- Zhao, Wayne Xin, et al. “A survey of large language models.” arXiv preprint arXiv:2303.18223 (2023). (Reading)
- Peng, Baolin, et al. “Instruction tuning with gpt-4.” arXiv preprint arXiv:2304.03277 (2023). (Reading)
- Park, Joon Sung, et al. “Generative agents: Interactive simulacra of human behavior.” arXiv preprint arXiv:2304.03442 (2023).
- Chiang, Cheng-Han, and Hung-yi Lee. “Can Large Language Models Be an Alternative to Human Evaluations?.” arXiv preprint arXiv:2305.01937 (2023).
- Chen, Lingjiao, Matei Zaharia, and James Zou. “FrugalGPT: How to Use Large Language Models While Reducing Cost and Improving Performance.” arXiv preprint arXiv:2305.05176 (2023).
- Wang, Yue, et al. “Codet5+: Open code large language models for code understanding and generation.” arXiv preprint arXiv:2305.07922 (2023). (Reading)
- Wang, Peiyi, et al. “Large language models are not fair evaluators.” arXiv preprint arXiv:2305.17926 (2023).
- Thakur, Shailja, et al. “VeriGen: A Large Language Model for Verilog Code Generation.” arXiv preprint arXiv:2308.00708 (2023).
- Zheng, Lianmin, et al. “Judging LLM-as-a-judge with MT-Bench and Chatbot Arena.” arXiv preprint arXiv:2306.05685 (2023).
- He, Zhuolun, et al. “ChatEDA: A Large Language Model Powered Autonomous Agent for EDA.” arXiv preprint arXiv:2308.10204 (2023).
- Sun, Mingjie, et al. “A Simple and Effective Pruning Approach for Large Language Models.” arXiv preprint arXiv:2306.11695 (2023). (Reading)
Read articles
這裡指的是普通的技術文章，而不一定是指學術專精的 article
- 淺談神經機器翻譯 & 用 Transformer 與 TensorFlow 2 英翻中
- Self-supervised learning and its applications to speech processing(李宏毅教授短講)
Read video- 機器學習 2023 - 生成式AI 系列影片
Read video - 宏毅老師系列
- 【機器學習2021】生成式對抗網路 (Generative Adversarial Network, GAN) (一) – 基本概念介紹
- 【機器學習2021】生成式對抗網路 (Generative Adversarial Network, GAN) (二) – 理論介紹與WGAN
- 【機器學習2021】自督導式學習 (Self-supervised Learning) (一) – 芝麻街與進擊的巨人
- 【機器學習2021】自督導式學習 (Self-supervised Learning) (二) – BERT簡介
- 【機器學習2021】自編碼器 (Auto-encoder) (下) – 領結變聲器與更多應用
- 【機器學習2021】來自人類的惡意攻擊 (Adversarial Attack) (下) – 類神經網路能否躲過人類深不見底的惡意？
- 【機器學習2021】機器學習模型的可解釋性 (Explainable ML) (上) – 為什麼類神經網路可以正確分辨寶可夢和數碼寶貝呢？
- 【機器學習2021】機器學習模型的可解釋性 (Explainable ML) (下) –機器心中的貓長什麼樣子？
- 【機器學習2021】概述領域自適應 (Domain Adaptation)
- 【機器學習2021】概述增強式學習 (Reinforcement Learning, RL) (一) – 增強式學習跟機器學習一樣都是三個步驟
- Transformer
- ELMO. BERT, GPT (Reading)
Competition
- 最佳成績：第一名, 臺大「深度學習之應用」期末 Hahow 課程預測競賽
- 優勝 (第六名), 玉山人工智慧公開挑戰賽 2022 夏季賽 —— 語音辨識後修正, 林育辰, 梁俊彥
Project
- 字幕生成系統 (A Subtitles Generator using WeNet Toolkits)
- 輸入 YouTube 網址可抽取音訊，生成其對應字幕之展示系統
- 於 DSP 課程中獲 A+ 成績，其持續衍生開發，目前為 MIRlab 展示成品之一
Meeting Slide
- [Password]
[Slide Folder] - Note: Password 限內部有帳號者才能存取，得到 Password 後，可進入 slide folder 鍵入 password 即可觀看全年的報告投影片。
其他
- 手冊：[技術賦能組], [語音組手冊] (手冊大部分由我建置與撰寫，若需連結請私訊或翻 LINE 群組記事本)
Course
碩士
- 機器學習 (Machine Learning, ML), 李宏毅老師
- 深度學習之應用 (Applied Deep Learning, ADL), 陳縕儂老師
- 數位語音處理概論 (Introduction to Digital Speech Processing, DSP), 李琳山老師
- 自然語言處理 (Natural Language Processing, NLP), 陳信希老師
- 高等電腦視覺 (Advanced Computer Vision, ACV), 傅楸善老師
- 智慧型汽車導論 (Introduction to Intelligent Vehicles), 林忠緯老師
- 類神經網路 (Neural Network, NN), 劉長遠老師
- 腦理論 (Brain Theory), 劉長遠老師
大學
- 資料探勘、資料視覺化、計算機圖學、影像處理
- 人工智慧、啟發式演算法與解題應用
- 區域性網路、資料通訊
- 資料庫理論
- 生物技術、生物資訊應用程式語言、生物資訊學導論
- 作業系統、計算機結構、電腦輔助VLSI設計、組合語言、數位邏輯
- 程式設計（一）（二）、進階程式設計
- 演算法、資料結構
- 機率論、線性代數、離散數學、微積分乙（一）（二）
- …, 共計：150.0 學分