龙空技术网

金融开源FinGPT,AI来炒股不是梦,而且训练费从500W降低到300

安逸远山滔哥 2286

前言:

此刻朋友们对“jsonchange事件”大致比较着重,各位老铁们都需要了解一些“jsonchange事件”的相关知识。那么小编在网上收集了一些对于“jsonchange事件””的相关内容,希望同学们能喜欢,你们快快来学习一下吧!

Github上新出现了一个名为Data-Centric FinGPT的金融AI项目,旨在推动金融领域的语言模型(LLM)和自然语言处理(NLP)的研究和应用。其目标是让广大研究者和开发者有机会研究和使用金融领域的大数据。

项目地址:

项目介绍

FinGPT的目标为何如此重要?让我们首先考虑一下以下的问题。尽管华尔街的大型金融机构有着丰富的资源,但我们却不能期待他们开放自家的LLMs和APIs。而FinGPT项目的出现正好弥补了这一空缺,致力于以开源的方式,促进金融大数据的普及

系统架构提供了一个巧妙的微调架构,极大的降低了训练成本。

FinGPT的设计原理基于以下三个核心思想:

金融是一个高度动态的领域。一些现有的项目如BloombergGPT尝试用混合数据集重新训练LLM,这需要消耗大量的计算资源(约130万GPU小时,大约500万美元)。然而,每个月或每周都进行模型训练是相当昂贵的。与之相比,FinGPT更倾向于轻量级的调整,迅速适应新的数据,大大降低了训练成本(预计低于300美元)。及时更新的金融数据至关重要。它应该允许及时的更新(月度或周度更新)并使用自动数据策划管道。BloombergGPT拥有特权数据访问和APIs,然而FinGPT提供了更易于接触的替代方案。它优先考虑轻量级的调整,利用一些最佳可用的开源LLM的优势,然后用金融数据进行训练,对金融语言建模进行微调。关键技术是"RLHF (来自人类反馈的强化学习)",这在BloombergGPT中并不存在。RLHF使LLM模型能够学习个人偏好(如风险厌恶级别、投资习惯、个性化的Robo-advisor等),这是ChatGPT和GPT4的"秘密"成分。

通过FinGPT的示例,我们可以看到该项目在中国和美国金融市场的应用,其使用ChatGLM、LLaMA和LoRA(低秩适应)进行训练。

而且,FinGPT不仅仅是一个金融AI模型。它还包括了FinNLP——这是一个为所有对金融领域的LLMs和NLP感兴趣的人提供的一个“游乐场”。在这里,我们为金融领域的LLM训练和微调提供了完整的管道。相关的详细代码和介绍可以在这里找到,或者您可以参考wiki。

从技术的角度来看,FinGPT具有强大的潜力,尤其是在金融和科技相交的领域。未来,我们期待看到更多的金融科技解决方案采用FinGPT,以此开启新一轮的金融科技创新浪潮。

官方给的基于中国的金融数据的案例:

Ⅰ. 数据准备

1.下载标题

在此文件中,我们从东方财富下载了金融新闻的标题和URL。

2.下载内容

在此文件中,我们从东方财富下载了金融新闻的内容。

3.添加标签

在此文件中,我们为新闻标题和内容添加了标签。

标签是由今天的股价和五天后的变动百分比决定的。 变动百分比 >= 0.06:非常积极 0.02 <= 变动百分比 <= 0.06:积极 -0.02 <= 变动百分比 <= 0.02:中性 -0.06 <= 变动百分比 <= -0.02:消极 变动百分比 <= -0.06:非常消极

Ⅱ. 制作数据集

创建按日期分类的数据集

您可以运行此notebook来生成alpaca格式的数据集文件。

请分别运行以下两个文件以生成hugging face数据集格式的数据集。

change_jsonl_train_and_valid.sh

make_dataset_train_and_valid.sh

Ⅲ. 训练(微调)

请运行以下代码

cd training

sh finetune.sh

标签: #jsonchange事件