騰訊開源數據組件Fast-Causal-Inference，用于分布式向量化統計

騰訊開源數據組件FastCausalInference，用于分布式向量化統計

IT之家 9 月 18 日消息，騰訊在其公眾號“騰訊開源”中宣布，旗下開源分布式數據科學組件項目 FastCausalInference 目前已經在 GitHub 中公布。

▲ 圖源 “騰訊開源”公眾號

據悉，這是由騰訊微信研發，采用 SQL 交互的，基于分布式向量化的統計分析、因果推斷計算庫，據稱“解決已有統計模型庫 （R / Python) 在大數據下的性能瓶頸，提供百億級數據秒級執行的 Causal inference 能力，同時通過 SQL 語言降低統計模型使用門檻，易用于生產環境中，目前已在微信視頻號、微信搜一搜等微信內部多個業務進行了應用。”

官方介紹：

提供海量數據秒級執行的 Causal inference 能力

基于向量化 OLAP 執行引擎 ClickHouse / StarRocks，速度上更益于極致化用戶體驗。

極簡的 SQL 使用方式

SQLGateway WebServer 通過 SQL 語言降低統計模型使用門檻，并在上層提供極簡的 SQL 使用方式，透明做引擎相關的 SQL 展開和優化。

提供基礎算子、高階算子的因果推斷能力，及上層的應用封裝

支持 ttest, OLS, Lasso, Treebased model, matching, bootstrap, DML 等。

IT之家同時得知，官方表示，首個版本已經支持如下特性：

基礎因果推斷工具

• 基于 deltamethod 的 ttest，支持 CUPED

• OLS，億行數據，亞秒級

進階因果推斷工具

• 以 OLS 為基礎的 IV，WLS，以及其他 GLS，DID，合成控制，CUPED，mediation 正在孵化

• uplift：千萬數據分鐘級別運算

• bootstrap / permutation 等數據模擬框架，解決沒有顯示解的方差估計問題

參考