• 直播预告丨中高频多因子库存储的最佳实践


    因子挖掘是量化交易的基础。随着历史交易数据日益增多,交易市场量化竞赛的不断升级和进化,量化投研团队开始面对数据频率高、因子数量多的场景,以10分钟线10000个因子5000个股票为例,一年的因子数据约为 2.3T 左右,1分钟线的数据量达到23T,3秒线的数据量将达到460T。如此量级的数据就对因子存储方案提出了很高的要求。

    那么,我们要如何解决中高频多因子数据的存储问题呢?目前行业有哪些核心挑战?

    让我们来听听 @Davis 是怎么说的~

    直播预告丨中高频多因子库存储的最佳实践

    因子库存储有哪些挑战?

    庞大的数据量

    因子计算通常有3个维度,股票、因子和时间。我们做一个简单的计算,国内股票总个数按5000来算;因子个数一般机构大约为1000起,多的甚至有10000;时间频率高的是每3秒生成一次数据,频率低的也有10分钟一次——也就是说,一只股票一个因子一天会生成24到4800个 tick。面对如此庞大的数据量,如何保证高效的数据写入是因子库存储的一大挑战。

    动态变化的因子库

    因子库经常会发生变化,往往需要新增因子、修改因子定义,或加入新的股票等。面对 T 级的因子数据,单个因子的新增、修改、删除耗时应该保证在秒级才能确保整体量化投研的效率。

    最适合金融计算的输出方式

    量化金融的多因子建模通常需要以面板数据进行截面因子分析。用户需要从海量的因子数据中尽可能高速并精准的读取数据,对齐多个因子后以面板的方式输出。这对数据库的性能提出了极大的挑战。

    直播预告

    2022年12月1日晚7点半,DolphinDB 创始人周小华博士,和 DolphinDB 数据分析负责人毛忻玥,将与大家共聚直播间,围绕「高频多因子存储的最佳实践」与大家展开探讨。

    直播中,你将了解到:

    因子库介绍

    DolphinDB 实现了哪些因子库?因子库实现要解决什么难题?与 Python 的性能对比如何?

    高频多因子存储要面对哪些问题?

    这对解决方案提出了什么要求?

    现有解决方案分别有哪些优劣势?

    DolphinDB 最新研发成果和产品发展方向

    报名方式

    链接:直播 | 中高频多因子库存储最佳实践

    填写报名信息,均可立即报名!报名成功将在直播开始前收到服务通知。

     

  • 相关阅读:
    ClickHouse入门手册1.0
    【Wamp】局域网设备访问WampServer | 使用域名访问Wamp | Wamp配置HTTPS
    IO 模型的演变
    JavaSE综合大练习——图书管理系统的实现
    c++ 线程安全的string类
    Python下载与安装进阶
    【Redis】Redis内存模型
    新唐NUC980使用记录:U-Boot & Linux 编译与烧录(基于SD1位置SD卡)
    WIFI7协议概述
    基础算法相关笔记
  • 原文地址:https://blog.csdn.net/qq_41996852/article/details/128037233