CodeGeeX2 是多語(yǔ)言代碼生成模型?CodeGeeX?(KDD’23) 的第二代模型。不同于一代 CodeGeeX(完全在國(guó)產(chǎn)華為昇騰芯片平臺(tái)訓(xùn)練) ,CodeGeeX2 是基于?ChatGLM2?架構(gòu)加入代碼預(yù)訓(xùn)練實(shí)現(xiàn),得益于 ChatGLM2 的更優(yōu)性能,CodeGeeX2 在多項(xiàng)指標(biāo)上取得性能提升(+107% > CodeGeeX;僅60億參數(shù)即超過150億參數(shù)的 StarCoder-15B 近10%),更多特性包括:
- 更強(qiáng)大的代碼能力:基于 ChatGLM2-6B 基座語(yǔ)言模型,CodeGeeX2-6B 進(jìn)一步經(jīng)過了 600B 代碼數(shù)據(jù)預(yù)訓(xùn)練,相比一代模型,在代碼能力上全面提升,HumanEval-X?評(píng)測(cè)集的六種編程語(yǔ)言均大幅提升 (Python +57%, C++ +71%, Java +54%, JavaScript +83%, Go +56%, Rust +321%),在Python上達(dá)到 35.9% 的 Pass@1 一次通過率,超越規(guī)模更大的 StarCoder-15B。
- 更優(yōu)秀的模型特性:繼承 ChatGLM2-6B 模型特性,CodeGeeX2-6B 更好支持中英文輸入,支持最大 8192 序列長(zhǎng)度,推理速度較一代 CodeGeeX-13B 大幅提升,量化后僅需6GB顯存即可運(yùn)行,支持輕量級(jí)本地化部署。
- 更全面的AI編程助手:CodeGeeX插件(VS Code,?Jetbrains)后端升級(jí),支持超過100種編程語(yǔ)言,新增上下文補(bǔ)全、跨文件補(bǔ)全等實(shí)用功能。結(jié)合 Ask CodeGeeX 交互式AI編程助手,支持中英文對(duì)話解決各種編程問題,包括且不限于代碼解釋、代碼翻譯、代碼糾錯(cuò)、文檔生成等,幫助程序員更高效開發(fā)。
- 更開放的協(xié)議:CodeGeeX2-6B 權(quán)重對(duì)學(xué)術(shù)研究完全開放,填寫登記表申請(qǐng)商業(yè)使用。