th p42s10c故障7

th p42s10c故障7

前沿拓展：

---

作者 ｜ 溫金雄、彭濤、周玉峰

小 T 導(dǎo)讀：為了解決廣大新能源汽車車主面臨的充電效率問(wèn)題，協(xié)鑫能科打造了以換電為核心業(yè)務(wù)的移動(dòng)能源品牌「協(xié)鑫電港」，需要對(duì)各種數(shù)據(jù)流進(jìn)行科學(xué)管理、合理運(yùn)用與智能調(diào)度，在數(shù)據(jù)庫(kù)的選擇上尤為重要。本文分享了他們對(duì)于數(shù)據(jù)庫(kù)架構(gòu)的搭建思考以及 TDengine 的應(yīng)用心得。

企業(yè)簡(jiǎn)介

協(xié)鑫能源科技股份有限公司（證券簡(jiǎn)稱：協(xié)鑫能科 002015.SZ） 系協(xié)鑫（集團(tuán)）控股有限公司旗下企業(yè)，主營(yíng)業(yè)務(wù)為清潔能源運(yùn)營(yíng)、移動(dòng)能源運(yùn)營(yíng)以及綜合能源服務(wù)。公司傾力打造從清潔能源生產(chǎn)、補(bǔ)能服務(wù)到儲(chǔ)能的便捷、經(jīng)濟(jì)、綠色的出行生態(tài)圈，為電動(dòng)化出行提供一體化能源解決方案，致力于成為領(lǐng)先的移動(dòng)數(shù)字能源科技運(yùn)營(yíng)商。

1、業(yè)務(wù)痛點(diǎn)

隨著新能源汽車的廣泛普及，補(bǔ)能的效率問(wèn)題逐漸成為了廣大車主面臨的痛點(diǎn)難題。為了解決此難題，作為一家頭部的新能源公司，協(xié)鑫能科創(chuàng)新突破，切入能源服務(wù)領(lǐng)域，打造了以換電為核心業(yè)務(wù)的移動(dòng)能源解決方案品牌「協(xié)鑫電港」。

由于這是一個(gè)在全新領(lǐng)域中打造的全新項(xiàng)目，想要獲得成功，需要對(duì)各種數(shù)據(jù)流進(jìn)行科學(xué)管理、合理運(yùn)用與智能調(diào)度，所以針對(duì)該場(chǎng)景，我們一開(kāi)始便把量級(jí)最大的物聯(lián)網(wǎng)數(shù)據(jù)處理方案鎖定在了時(shí)序數(shù)據(jù)庫(kù)（Time Series Database）上，重點(diǎn)對(duì)比了 InfluxDB、OpenTSDB 以及 TDengine。

最終，TDengine 以其獨(dú)特而科學(xué)的設(shè)計(jì)和優(yōu)秀的測(cè)試表現(xiàn)成為我們選中的時(shí)序數(shù)據(jù)處理引擎，承擔(dān)了用戶車輛數(shù)據(jù)、電池設(shè)備數(shù)據(jù)以及換電港工作設(shè)備等的海量數(shù)據(jù)存儲(chǔ)分析任務(wù)，為我們解決了該項(xiàng)目上難度最大的一個(gè)環(huán)節(jié)。最終，我們決定使用 TDengine 2.4.0.10 版本，并在電信的天翼云上落地了該項(xiàng)目。

2、架構(gòu)與搭建

從流量削峰以及數(shù)據(jù)安全的角度出發(fā)，我們會(huì)先通過(guò)使用某 MQTT 消息服務(wù)器把這些不同種類的設(shè)備數(shù)據(jù)先統(tǒng)一轉(zhuǎn)發(fā)給到 Kafka。其中不同類型的數(shù)據(jù)，將會(huì)分別上傳到不同的 Kafka topic，最后再通過(guò) Java 連接器把數(shù)據(jù)寫入 TDengine。具體架構(gòu)如下圖所示：

在整體架構(gòu)上，除了 TDengine，也有一些其它數(shù)據(jù)庫(kù)共同支持系統(tǒng)服務(wù)，其中 MySQL 負(fù)責(zé)存儲(chǔ)訂單、流水等需要精細(xì)查詢的關(guān)系型數(shù)據(jù)，但由于 MySQL 可以承受的數(shù)據(jù)量比較有限，為了做一些大表的連接查詢，因此我們也接入了 TiDB，負(fù)責(zé)分析報(bào)表類數(shù)據(jù)的存儲(chǔ)。

目前接入 TDengine 最主要的入庫(kù)數(shù)據(jù)是車輛傳感器（如：車輛里程、經(jīng)緯度等）以及換電站電池相關(guān)的傳感器（電池的各種指標(biāo)）數(shù)據(jù)。當(dāng)前共有 55 張超級(jí)表，子表數(shù)量達(dá)到 11 萬(wàn)張。

我們當(dāng)前在 TDengine、TiDB、MySQL 中存儲(chǔ)的數(shù)據(jù)量比例大概為 6:3:1，僅僅使用了三臺(tái) 4C+16G 的服務(wù)器，TDengine 便挑起了整個(gè)系統(tǒng)數(shù)據(jù)存儲(chǔ)的大頭，輕松支撐起了我們的服務(wù)。在數(shù)據(jù)庫(kù)的選擇上，我們一直認(rèn)為不同數(shù)據(jù)庫(kù)之間術(shù)業(yè)有專攻，不得不承認(rèn)，TDengine 在存儲(chǔ)引擎上的獨(dú)特設(shè)計(jì)，在降低成本方面的效果十分顯著。

對(duì)于 TDengine，我們一開(kāi)始使用的是單節(jié)點(diǎn)，在穩(wěn)定運(yùn)營(yíng)了幾個(gè)月后，于今年 3 月完成了動(dòng)態(tài)擴(kuò)容，發(fā)展到了 3 節(jié)點(diǎn)集群模式，把數(shù)據(jù)庫(kù)也升級(jí)到了三副本（從圖中可以看出來(lái)）。

TDengine 的動(dòng)態(tài)擴(kuò)展非常方便，只要確保一些必要的參數(shù)保持一致，就可以直接通過(guò) “create dnode”把新的計(jì)算資源加進(jìn)來(lái)。加入后，再通過(guò) “alter database iot replica 3” 這個(gè)命令，即可直接在線令數(shù)據(jù)庫(kù)變?yōu)?3 副本，從而實(shí)現(xiàn)數(shù)據(jù)的備份及高可用。

3、效果分析

當(dāng)前，我們?cè)?TDengine 中一共存儲(chǔ)了數(shù)百億級(jí)別的數(shù)據(jù)量（由于表結(jié)構(gòu)各異，不方便統(tǒng)計(jì)，不在本篇文章中展示），存儲(chǔ)空間大概占用 600GB 左右（200GB3），CPU 日常使用為 15% 左右，內(nèi)存使用在 20% 左右。

在查詢方面，在此列舉一些我們常用的 SQL，TDengine 的響應(yīng)速度都很快，完全可以滿足我們的需求：

select max(pmk)min(pmk) from aodong_109 where sid=&39;P42100001&39; and sd=0 and ts>&39;20211201 00:00:00&39;

select last(sv),last(st) from aodong_112 where bn=&39;001PB0GM000002B3L0300067&39;;

4、關(guān)于 TDengine 的一些思考

由于我們業(yè)務(wù)是 247 不間斷運(yùn)轉(zhuǎn) ，所以沒(méi)有時(shí)間做版本升級(jí)。我們首先計(jì)劃抽出時(shí)間把 TDengine 版本升級(jí)到比較新的版本，再做一些碎片重組壓縮的工作來(lái)加強(qiáng)查詢效率。此外，我們還計(jì)劃使用 Flink 從 TDengine 中讀取數(shù)據(jù)做流式計(jì)算（看到了官方發(fā)布了 Flink 適配 TDengine 的文章 https://www.taosdata.com/engineering/8704.html）。

隨著業(yè)務(wù)快速增長(zhǎng)，TDengine 集群存儲(chǔ)的數(shù)據(jù)量也會(huì)越來(lái)越大，而數(shù)據(jù)又需要長(zhǎng)期保留，大數(shù)據(jù)量的運(yùn)維對(duì)于 TDengine 來(lái)說(shuō)將是一個(gè)巨大的挑戰(zhàn)。伴隨數(shù)據(jù)量級(jí)的增長(zhǎng)，備份、遷移、庫(kù)、表的運(yùn)維都會(huì)受到影響，也有可能遇到我們之前沒(méi)有經(jīng)歷過(guò)的問(wèn)題，這就需要 TDengine 集群實(shí)現(xiàn)升級(jí)、擴(kuò)展、拆分、維護(hù)等運(yùn)維操作。未來(lái)我們希望能積累更多的經(jīng)驗(yàn)分享給社區(qū)，讓更多的人了解 TDengine。

對(duì)于 TDengine 未來(lái)的發(fā)展，我們也有自己的期待：

希望能增加動(dòng)態(tài)修改參數(shù)功能，減少停機(jī)維護(hù)次數(shù)。實(shí)現(xiàn)類似慢 SQL 日志功能，降低高負(fù)載、調(diào)優(yōu)事后分析定位、回溯故障原因。進(jìn)一步權(quán)衡 udp 帶來(lái)的好處和導(dǎo)致的各種問(wèn)題。我們經(jīng)常連接報(bào)錯(cuò) Ref is not there ，目前來(lái)看在客戶端添加 rpcForceTcp 1 應(yīng)該是有效的。增強(qiáng)報(bào)錯(cuò)信息可讀性，很多報(bào)錯(cuò)提示不夠明確，無(wú)法快速判斷出具體原因。

總而言之，希望 TDengine 后面越來(lái)越好，也希望我們的合作能更上一層樓。

TDengine | 時(shí)序數(shù)據(jù)庫(kù)_開(kāi)源時(shí)序數(shù)據(jù)庫(kù)_實(shí)時(shí)數(shù)據(jù)庫(kù) 濤思數(shù)據(jù)點(diǎn)擊了解更多 TDengine Database 的具體細(xì)節(jié)。

拓展知識(shí)：