Commit cc9339fd authored by aakash.bedi's avatar aakash.bedi

added data push function

parent 4c5662f8
Pipeline #58260 failed with stage
...@@ -2,6 +2,7 @@ if __name__ == "__main__": ...@@ -2,6 +2,7 @@ if __name__ == "__main__":
from dotenv import load_dotenv from dotenv import load_dotenv
load_dotenv(dotenv_path='config.env') load_dotenv(dotenv_path='config.env')
import warnings import warnings
import numpy as np
from loguru import logger from loguru import logger
from scripts.core.engine.mppt_data import GetData from scripts.core.engine.mppt_data import GetData
from scripts.utils.reading_tags import GetTags from scripts.utils.reading_tags import GetTags
...@@ -9,6 +10,8 @@ from scripts.core.engine.tags_data import get_tags_data ...@@ -9,6 +10,8 @@ from scripts.core.engine.tags_data import get_tags_data
from scripts.utils.start_end_date import KairosStartEndDate from scripts.utils.start_end_date import KairosStartEndDate
from scripts.utils.preprocessing import DataPreprocessing from scripts.utils.preprocessing import DataPreprocessing
from scripts.core.engine.inv_and_mppt_level import TrainingInference from scripts.core.engine.inv_and_mppt_level import TrainingInference
from scripts.core.engine.final_tags import GetFinalDf
from scripts.core.data_puller_push.kafka_push import CalculatedDataPush
warnings.filterwarnings("ignore") warnings.filterwarnings("ignore")
...@@ -19,7 +22,9 @@ start_date, end_date, start_timestamp, end_timestamp = KairosStartEndDate().star ...@@ -19,7 +22,9 @@ start_date, end_date, start_timestamp, end_timestamp = KairosStartEndDate().star
def get_tag_details(): def get_tag_details():
try: try:
get_tags = GetTags(base_path=base_path) get_tags = GetTags(base_path=base_path)
get_final_df = GetFinalDf()
tags_excel = get_tags.read_tag_excel() tags_excel = get_tags.read_tag_excel()
df_final_tags = get_final_df.get_predicted_current_tags(tags_excel=tags_excel)
mppt_tags = get_tags.get_mppt_tags(df=tags_excel, substrings='MPPT') mppt_tags = get_tags.get_mppt_tags(df=tags_excel, substrings='MPPT')
df = get_tags_data(mppt_tags=mppt_tags, df = get_tags_data(mppt_tags=mppt_tags,
start_timestamp=start_timestamp, start_timestamp=start_timestamp,
...@@ -31,7 +36,8 @@ def get_tag_details(): ...@@ -31,7 +36,8 @@ def get_tag_details():
df_mppt = mppt_data.current_voltage_mppt_data(df=df) df_mppt = mppt_data.current_voltage_mppt_data(df=df)
data_preprocessing = DataPreprocessing() data_preprocessing = DataPreprocessing()
df_mppt = data_preprocessing.remove_outliers(df=df_mppt, param_list=['tilt_irradiance', 'voltage_mppt', 'current_mppt']) df_mppt = data_preprocessing.remove_outliers(df=df_mppt, param_list=['tilt_irradiance', 'voltage_mppt',
'current_mppt'])
df_mppt, df_train, df_test = data_preprocessing.train_test_split(df=df_mppt) df_mppt, df_train, df_test = data_preprocessing.train_test_split(df=df_mppt)
unique_inv_id = list(df_train.inv_id.unique()) unique_inv_id = list(df_train.inv_id.unique())
unique_mppt_id = list(df_train.mppt_id.unique()) unique_mppt_id = list(df_train.mppt_id.unique())
...@@ -45,9 +51,17 @@ def get_tag_details(): ...@@ -45,9 +51,17 @@ def get_tag_details():
model=model, model=model,
inv_id=inv_id, inv_id=inv_id,
mppt_id=mppt_id) mppt_id=mppt_id)
df_result = mppt_data.get_final_data(x_test=x_test, y_test=y_test, predictions=predictions) df_result = get_final_df.get_final_data(x_test=x_test,
y_test=y_test,
predictions=predictions)
final_dict = get_final_df.get_final_predicted_tags(df_predicted_current_tags=df_final_tags,
inv_id=inv_id, mppt_id=mppt_id)
df_result["timestamp"] = df_result["datetime"].values.astype(np.int64) / 10 ** 9
df_result["timestamp"] = df_result["timestamp"].astype('int')
CalculatedDataPush(df_result=df_result, final_tags_dict=final_dict).kafka_data_push()
# function to push the data to kairos # function to push the data to kairos
logger.info(f'{df_result.shape}') logger.info(f'{final_dict}')
except Exception as e: except Exception as e:
logger.exception(f'Exception - {e}') logger.exception(f'Exception - {e}')
except Exception as e: except Exception as e:
......
This source diff could not be displayed because it is too large. You can view the blob instead.
iter RMSE iter RMSE
0 0.2692964719 0 0.252648957
1 0.258083442 1 0.2421789369
2 0.247760476 2 0.2320061772
3 0.2377924956 3 0.2222630613
4 0.2283793129 4 0.2130678784
5 0.2193944633 5 0.2044236959
6 0.2107527152 6 0.1961344435
7 0.202718083 7 0.1888777062
8 0.1949315754 8 0.181950943
9 0.1875224358 9 0.1748871531
10 0.180765735 10 0.1685501907
11 0.1739757876 11 0.1628686194
12 0.1678233509 12 0.157326155
13 0.1618256524 13 0.1521998837
14 0.1564252946 14 0.1471368176
15 0.1510555759 15 0.1425767808
16 0.1460218679 16 0.1382665655
17 0.1413732764 17 0.134179339
18 0.1369137946 18 0.1304038773
19 0.1327311224 19 0.1268538558
20 0.1287778564 20 0.1235813635
21 0.1250815938 21 0.1204593889
22 0.1215790172 22 0.1175363572
23 0.1181865932 23 0.1150111747
24 0.1150963943 24 0.1125939488
25 0.1122115368 25 0.1103436472
26 0.1094371903 26 0.1082570724
27 0.1068700428 27 0.1063063057
28 0.1044623821 28 0.1044952449
29 0.1021321695 29 0.1029832579
30 0.1000464985 30 0.1015498954
31 0.09811471224 31 0.1001404331
32 0.09612252361 32 0.09878088515
33 0.09436634107 33 0.09748507998
34 0.09274936637 34 0.09632696319
35 0.09126349055 35 0.0952354289
36 0.08981925819 36 0.09428346558
37 0.08846160512 37 0.09344170585
38 0.08734000998 38 0.0925400701
39 0.08619072748 39 0.09178929876
40 0.08518615391 40 0.09109795137
41 0.08422040918 41 0.09051927069
42 0.08335523784 42 0.08986837776
43 0.08254045364 43 0.08933390598
44 0.08170258325 44 0.08885739433
45 0.08091613729 45 0.08839839282
46 0.0802211608 46 0.08801532107
47 0.07965115419 47 0.08760195416
48 0.07906794752 48 0.08726041296
49 0.07854155973 49 0.0869377522
50 0.07794838214 50 0.08666720549
51 0.07732478653 51 0.08635058291
52 0.07670870773 52 0.08599885619
53 0.07626100396 53 0.08569343059
54 0.07586207033 54 0.08538645424
55 0.07538025826 55 0.08509046355
56 0.07496071844 56 0.08487754518
57 0.07465781428 57 0.08464447401
58 0.07430872528 58 0.08445279498
59 0.07390490575 59 0.08426527131
60 0.07356052373 60 0.08398405071
61 0.07313008753 61 0.08370692388
62 0.0728172485 62 0.08346160515
63 0.07245824784 63 0.08333064811
64 0.0722506465 64 0.08319604768
65 0.07196196116 65 0.08309198044
66 0.0716904739 66 0.08285467166
67 0.07155453914 67 0.08274160405
68 0.07136746712 68 0.0825886989
69 0.07111351285 69 0.08249033839
70 0.07100226647 70 0.08233486605
71 0.07090214053 71 0.08213217094
72 0.07062867395 72 0.08197015928
73 0.07054428335 73 0.08180206187
74 0.07039160928 74 0.08168486467
75 0.07019474993 75 0.08156746673
76 0.07005779542 76 0.0815013622
77 0.06982322111 77 0.08141598491
78 0.06975321718 78 0.0813408888
79 0.06958447161 79 0.08127639087
80 0.06938419825 80 0.08113164297
81 0.06920802589 81 0.08099059784
82 0.06908513439 82 0.08087627006
83 0.06893034621 83 0.08075661641
84 0.06885057309 84 0.08069929175
85 0.06876959006 85 0.08057972171
86 0.06865037018 86 0.08048008669
87 0.0684872619 87 0.08036281743
88 0.0683665145 88 0.08024562069
89 0.06819063826 89 0.08016512885
90 0.06812118257 90 0.08007673399
91 0.06805316375 91 0.0800286202
92 0.06800638099 92 0.07987654099
93 0.06790128694 93 0.07979305258
94 0.06781983602 94 0.07974462719
95 0.06771089333 95 0.07964014891
96 0.06765821741 96 0.07956395711
97 0.06758945707 97 0.0795288619
98 0.06753715569 98 0.07942930273
99 0.06749735779 99 0.07932947902
100 0.0674161878 100 0.07927241425
101 0.06733545589 101 0.07920289802
102 0.0672015421 102 0.0791487122
103 0.06714708338 103 0.07907156993
104 0.06703376326 104 0.07897886632
105 0.06691199285 105 0.07892077503
106 0.06683089238 106 0.07886927058
107 0.06676273987 107 0.07874606498
108 0.06665915313 108 0.07864715802
109 0.06656994911 109 0.07855198177
110 0.06645016246 110 0.07847276709
111 0.06636219408 111 0.07833559096
112 0.06626214303 112 0.07828136535
113 0.06616507483 113 0.07823908959
114 0.06609787556 114 0.07811597408
115 0.06594174888 115 0.07810393829
116 0.06589023978 116 0.07799897567
117 0.06581725931 117 0.07789204856
118 0.0657280351 118 0.07782162889
119 0.06564852024 119 0.07771067085
120 0.06562323013 120 0.07763544233
121 0.06556184376 121 0.07760521643
122 0.06552106402 122 0.07752694371
123 0.0654490618 123 0.07746975887
124 0.06538941975 124 0.07733528432
125 0.06532342289 125 0.07723795593
126 0.06519434438 126 0.07715021139
127 0.06512998599 127 0.07708754202
128 0.06503128615 128 0.07698865621
129 0.06496585539 129 0.07693243807
130 0.06490523496 130 0.07684175325
131 0.06483697669 131 0.07674736659
132 0.06477170054 132 0.07672957964
133 0.06473138173 133 0.0766569002
134 0.06464924381 134 0.07659621845
135 0.06454291112 135 0.07650263077
136 0.06441986018 136 0.0764020329
137 0.06437335476 137 0.07636715119
138 0.0643173042 138 0.07629120425
139 0.06423286243 139 0.07619619004
140 0.06419310728 140 0.07615462438
141 0.0641468083 141 0.0760845799
142 0.06410944248 142 0.07597308631
143 0.0640755453 143 0.07593040104
144 0.06396388101 144 0.07587846364
145 0.06390396909 145 0.07580272342
146 0.06382018092 146 0.07577459334
147 0.06370744452 147 0.07572829347
148 0.06363921619 148 0.0756618626
149 0.06354586648 149 0.07558069805
150 0.06347780467 150 0.0755020145
151 0.06343010348 151 0.07540987917
152 0.06335464222 152 0.07537497687
153 0.06330869588 153 0.07528706356
154 0.06326124443 154 0.07521524304
155 0.06318237299 155 0.07513330612
156 0.06310103486 156 0.07505420114
157 0.0630706422 157 0.07499456863
158 0.06301156972 158 0.07489999944
159 0.06295827355 159 0.07484967168
160 0.06288707207 160 0.07480819763
161 0.06276202733 161 0.07475926491
162 0.06272338677 162 0.07469734179
163 0.06266365766 163 0.07464369918
164 0.06256207496 164 0.07462040544
165 0.06249731688 165 0.07450137063
166 0.06242140524 166 0.07448174626
167 0.06236803145 167 0.07441138853
168 0.06227940219 168 0.07435959629
169 0.06221363866 169 0.07427189866
170 0.06214387826 170 0.07419710045
171 0.06208320758 171 0.07411839126
172 0.06202834751 172 0.07409398497
173 0.0619859167 173 0.0740785215
174 0.0619551617 174 0.07402792507
175 0.06186386801 175 0.07396108755
176 0.06177553947 176 0.07390578951
177 0.06170070696 177 0.07380462362
178 0.06164782678 178 0.07373081894
179 0.06159436314 179 0.0736588369
180 0.06156799303 180 0.07356566861
181 0.06149920393 181 0.07346381249
182 0.06145668174 182 0.07340040207
183 0.06142822595 183 0.07332633517
184 0.06135476531 184 0.07329392197
185 0.06129551719 185 0.07326242515
186 0.06127042832 186 0.07322153887
187 0.06121784724 187 0.07315114262
188 0.06119834152 188 0.07307059018
189 0.06112207124 189 0.07297851042
190 0.06106556091 190 0.07293169089
191 0.06100846346 191 0.0728374809
192 0.06095460054 192 0.07278024335
193 0.06088849596 193 0.07271033301
194 0.06081467248 194 0.07262741202
195 0.06078881643 195 0.07255553448
196 0.06070236494 196 0.07251399581
197 0.06066082143 197 0.07239780003
198 0.06063408267 198 0.07234818482
199 0.06057457193 199 0.07224186228
200 0.06054894228 200 0.07219371833
201 0.06051102577 201 0.07214574042
202 0.06046093445 202 0.07206345912
203 0.06039968779 203 0.07198887185
204 0.06037458341 204 0.071943849
205 0.06032085263 205 0.07189431519
206 0.06028359121 206 0.0718191816
207 0.0602515349 207 0.07173140513
208 0.0602211697 208 0.07170177514
209 0.06019929101 209 0.07167814891
210 0.06012608626 210 0.07161633595
211 0.06007396062 211 0.07154755686
212 0.06004126831 212 0.0715130084
213 0.06002033221 213 0.07146770159
214 0.05995199154 214 0.07140413032
215 0.05987599484 215 0.07133820214
216 0.05985448494 216 0.07128415189
217 0.05977865957 217 0.07124678707
218 0.05969975646 218 0.07121125767
219 0.05967749356 219 0.07117224814
220 0.05965094149 220 0.07111635814
221 0.05960973195 221 0.07105572413
222 0.05958454571 222 0.07100043854
223 0.05951451604 223 0.07097469139
224 0.05946138231 224 0.07089595331
225 0.05943529003 225 0.07080111424
226 0.05941706232 226 0.07075326648
227 0.05939308912 227 0.07069060252
228 0.0593277332 228 0.07060833575
229 0.05928890178 229 0.07053306871
230 0.05926861808 230 0.07044004628
231 0.0592322133 231 0.07037895048
232 0.05920458275 232 0.07030790291
233 0.05915707306 233 0.07022961959
234 0.05914271301 234 0.07018610691
235 0.05910845803 235 0.07015544604
236 0.05905222454 236 0.07009759019
237 0.05902188745 237 0.07002310557
238 0.05896284552 238 0.07000879806
239 0.05890516688 239 0.06993752527
240 0.0588882094 240 0.069863797
241 0.05883352813 241 0.06980671149
242 0.05878810874 242 0.06976479544
243 0.05875385748 243 0.06968975813
244 0.05871614763 244 0.06966225849
245 0.05866574123 245 0.06964788227
246 0.05861131447 246 0.06957129924
247 0.05855267695 247 0.06953711293
248 0.05850602813 248 0.06947791343
249 0.05847568328 249 0.0694214808
250 0.05843619256 250 0.06936031487
251 0.05842042263 251 0.06932934773
252 0.0583798086 252 0.0692792011
253 0.05832398027 253 0.06922508309
254 0.05827511291 254 0.06920501353
255 0.05822798415 255 0.06917682521
256 0.05817421825 256 0.06914415188
257 0.05810409676 257 0.06909728035
258 0.05807496455 258 0.06907519752
259 0.05805997884 259 0.06902876999
260 0.05797441288 260 0.06899785129
261 0.0579358936 261 0.06897151069
262 0.05792111902 262 0.06891613553
263 0.05787948138 263 0.06888013473
264 0.05782857388 264 0.06882596009
265 0.05778111154 265 0.06879808364
266 0.05771170564 266 0.06876353608
267 0.05766655715 267 0.0687183412
268 0.05763884325 268 0.0686714486
269 0.05759460044 269 0.0686175628
270 0.05754262132 270 0.06860462157
271 0.05750392549 271 0.06858581711
272 0.05749002645 272 0.06854470767
273 0.05747657826 273 0.06849211971
274 0.05743978422 274 0.06842902999
275 0.05735977631 275 0.06838617538
276 0.0573061557 276 0.0683671429
277 0.05727469951 277 0.06832680264
278 0.05724817004 278 0.06828927444
279 0.05722185571 279 0.06822384303
280 0.05719187601 280 0.06820271239
281 0.05716782538 281 0.06817203402
282 0.05715865406 282 0.06810496321
283 0.05714977347 283 0.06806459757
284 0.05707261351 284 0.06805284487
285 0.05701167077 285 0.06800161568
286 0.05698297577 286 0.0679519143
287 0.05690688167 287 0.06791119229
288 0.05687058862 288 0.06786264823
289 0.05683805444 289 0.06782448344
290 0.05678878647 290 0.06779981264
291 0.05676334665 291 0.06773677254
292 0.05673932829 292 0.06770845015
293 0.05672697244 293 0.06765899272
294 0.05668855491 294 0.06761138033
295 0.0566531198 295 0.06753208188
296 0.05657371236 296 0.06747954888
297 0.05653613509 297 0.06745326887
298 0.05650022085 298 0.06741004628
299 0.05648781019 299 0.06738121255
300 0.05646300295 300 0.06735477708
301 0.05639154254 301 0.06730643847
302 0.05632021997 302 0.06728080111
303 0.05625248648 303 0.06722277937
304 0.05622408468 304 0.06718211985
305 0.05619983349 305 0.06713229431
306 0.05616095078 306 0.06710197061
307 0.05608780895 307 0.06706681515
308 0.05602435964 308 0.06703360582
309 0.05600580765 309 0.06700867398
310 0.05599420373 310 0.06695771964
311 0.05597054216 311 0.0669136606
312 0.05591059091 312 0.06687038211
313 0.05584363592 313 0.06684662161
314 0.05581009802 314 0.06681435576
315 0.05575603465 315 0.06679182821
316 0.05568828634 316 0.0667597598
317 0.05565402175 317 0.06674376854
318 0.05563121947 318 0.06667144792
319 0.05561371306 319 0.06664764427
320 0.05559054853 320 0.0665919053
321 0.05554392891 321 0.06656307236
322 0.0555018101 322 0.06649554271
323 0.05548013867 323 0.06642835472
324 0.05541639526 324 0.06639806778
325 0.05539039966 325 0.0663774875
326 0.05537922216 326 0.06631119406
327 0.05535445647 327 0.06626463157
328 0.05531832954 328 0.06622366729
329 0.05527566103 329 0.06619394844
330 0.0552535205 330 0.06617156966
331 0.05518993564 331 0.06614472186
332 0.0551349651 332 0.06610902015
333 0.05510331803 333 0.06605814255
334 0.05505443318 334 0.06602756623
335 0.055043341 335 0.06600144652
336 0.05502869436 336 0.06598239433
337 0.05500706521 337 0.06593047873
338 0.05499681107 338 0.0658773282
339 0.05494002138 339 0.06586201052
340 0.05491891893 340 0.06582729173
341 0.05487923229 341 0.06580518284
342 0.05485863939 342 0.06577744285
343 0.05478606901 343 0.06576262364
344 0.05476205748 344 0.06572882673
345 0.054751047 345 0.06570024794
346 0.05469958967 346 0.06566207665
347 0.05462718805 347 0.06563209515
348 0.05460320392 348 0.06561447467
349 0.05453061096 349 0.065574145
350 0.05450741336 350 0.06550492537
351 0.05449370426 351 0.06545559342
352 0.05446492616 352 0.06544123623
353 0.05443328167 353 0.06538302913
354 0.05442262936 354 0.06535181256
355 0.05440970884 355 0.06531317938
356 0.05436025721 356 0.06526974624
357 0.05431246075 357 0.0652415885
358 0.05429024574 358 0.06519436117
359 0.05427652893 359 0.06512076883
360 0.05423427021 360 0.06508682932
361 0.05419285136 361 0.06501937404
362 0.05415283931 362 0.06500445611
363 0.05411392449 363 0.06496985761
364 0.05407900702 364 0.0649253546
365 0.05402916113 365 0.06491111131
366 0.05396766225 366 0.06489100832
367 0.05394287835 367 0.06486261205
368 0.05391535561 368 0.06482922665
369 0.05388991502 369 0.06479456842
370 0.0538244021 370 0.0647810957
371 0.0538013315 371 0.06475374409
372 0.05377978732 372 0.06474615236
373 0.05375887034 373 0.06471697228
374 0.05374601229 374 0.06469328698
375 0.05370886729 375 0.06464879154
376 0.05366226743 376 0.06463298978
377 0.05362680264 377 0.06457205909
378 0.0536064239 378 0.06454829409
379 0.05355051182 379 0.06452657117
380 0.05350487449 380 0.06446499396
381 0.05347018582 381 0.06443840392
382 0.0534260984 382 0.06438306752
383 0.05336388712 383 0.06435137494
384 0.05334522687 384 0.06430737532
385 0.05332580155 385 0.06428100441
386 0.05329354699 386 0.0642521913
387 0.05328135002 387 0.06423726564
388 0.05326245662 388 0.06418945624
389 0.05322867181 389 0.06414695869
390 0.05317607421 390 0.06409826132
391 0.05314529502 391 0.06406878868
392 0.05309575697 392 0.06403791517
393 0.05305716627 393 0.06398260554
394 0.05300029772 394 0.06393270215
395 0.05295380544 395 0.06390829826
396 0.05292758751 396 0.06387900589
397 0.05287383689 397 0.06387342924
398 0.05283749376 398 0.06382190615
399 0.05279257954 399 0.06379526094
400 0.05273370061 400 0.06375621117
401 0.05271596804 401 0.06370039892
402 0.05269875636 402 0.06364061933
403 0.0526884356 403 0.06362829041
404 0.05267387753 404 0.06353161708
405 0.05264076539 405 0.06347240473
406 0.05261132362 406 0.06344708372
407 0.05256963939 407 0.06341016155
408 0.05253087555 408 0.06339822769
409 0.052463696 409 0.0633452459
410 0.05244674507 410 0.0633251406
411 0.05243030708 411 0.06329061272
412 0.05241387956 412 0.06327110161
413 0.05235193239 413 0.0632404322
414 0.05230890101 414 0.06322370027
415 0.05225400399 415 0.06320473966
416 0.05223319989 416 0.06317190553
417 0.05221713347 417 0.06315350098
418 0.05219759458 418 0.06312740485
419 0.05216620262 419 0.06311381539
420 0.05211525608 420 0.06306166104
421 0.05210558879 421 0.06303093446
422 0.05207356155 422 0.06298011475
423 0.05203045591 423 0.06295362267
424 0.05195258476 424 0.06292751374
425 0.05193664234 425 0.06288005747
426 0.05192123425 426 0.06287335235
427 0.05190621781 427 0.06284435349
428 0.0518880162 428 0.06281161684
429 0.05187869716 429 0.06276822683
430 0.05183093144 430 0.06274309715
431 0.05179965606 431 0.06268722944
432 0.05173811944 432 0.06262965598
433 0.05169000791 433 0.06259290264
434 0.05167529225 434 0.06254513432
435 0.05162982296 435 0.06251090548
436 0.05158249009 436 0.06248606709
437 0.05153793008 437 0.06245782452
438 0.05149596507 438 0.06242021155
439 0.05146386068 439 0.06240425635
440 0.0514213214 440 0.06236175726
441 0.05139430215 441 0.06233394042
442 0.05136737594 442 0.06231220088
443 0.0513294482 443 0.06228505204
444 0.05129007719 444 0.06226407793
445 0.0512609694 445 0.06222425922
446 0.05123506785 446 0.06219976578
447 0.05121031047 447 0.06215549888
448 0.05117956739 448 0.06213166898
449 0.05114959017 449 0.06211280556
450 0.0511203573 450 0.0620715098
451 0.05110760331 451 0.06202110265
452 0.05107907573 452 0.06200324714
453 0.05105125293 453 0.06198200706
454 0.05102125369 454 0.06196592888
455 0.05099408989 455 0.06194346354
456 0.05094998876 456 0.06192605037
457 0.05092343576 457 0.06189318356
458 0.05089753754 458 0.06187583613
459 0.05087227625 459 0.06184378685
460 0.05084763466 460 0.06183760272
461 0.05082359611 461 0.06180194328
462 0.05080014455 462 0.06178375396
463 0.05077080839 463 0.06176382523
464 0.05076186156 464 0.06174746155
465 0.05075322899 465 0.06173158583
466 0.05074043707 466 0.0617045683
467 0.05071823486 467 0.06166882041
468 0.05071009393 468 0.06163610165
469 0.05068842955 469 0.06160849805
470 0.05068057083 470 0.06158637375
471 0.05067298602 471 0.06155231828
472 0.0506435854 472 0.06153739942
473 0.05062242089 473 0.06151037653
474 0.05060177005 474 0.06147714396
475 0.05059443889 475 0.06145494538
476 0.05058736133 476 0.06140355491
477 0.05056720507 477 0.06138195929
478 0.05056036852 478 0.06136640703
479 0.05054069675 479 0.0613338295
480 0.05053409192 480 0.0613058079
481 0.05051489209 481 0.06129151878
482 0.05050851015 482 0.06128003178
483 0.05050234613 483 0.06125641168
484 0.05047769256 484 0.06120818472
485 0.05047178117 485 0.06118784721
486 0.05046607048 486 0.06116181802
487 0.0504244286 487 0.06113695118
488 0.05041889659 488 0.06111777367
489 0.05039561374 489 0.06108592665
490 0.05039068081 490 0.06105378027
491 0.05038407197 491 0.06102859558
492 0.05037771222 492 0.06100426739
493 0.05035080716 493 0.06097178996
494 0.05034466003 494 0.06092592209
495 0.05032312692 495 0.06091249223
496 0.0503046719 496 0.06090740461
497 0.05028776304 497 0.0608845507
498 0.05027394144 498 0.06084748846
499 0.05025773037 499 0.06082604545
500 0.05024223375 500 0.06080120024
501 0.05023233093 501 0.06075754968
502 0.0502174985 502 0.06073800424
503 0.05020431254 503 0.06072401642
504 0.05017268075 504 0.06069345638
505 0.05016132659 505 0.06066667686
506 0.05012733266 506 0.06063823864
507 0.05011310675 507 0.0606119005
508 0.0501078267 508 0.06059352494
509 0.05010268804 509 0.06055907744
510 0.05009587177 510 0.06046993241
511 0.050079715 511 0.06045746892
512 0.05007195316 512 0.06044050871
513 0.05006695399 513 0.06041961324
514 0.05006210521 514 0.06038994347
515 0.05005468215 515 0.06035939825
516 0.05004445093 516 0.06033975025
517 0.05003339745 517 0.06028864939
518 0.05002605014 518 0.06025761998
519 0.0500073694 519 0.06023582106
520 0.05000009316 520 0.06022103595
521 0.04999301494 521 0.060176077
522 0.04998901923 522 0.06015803043
523 0.04996513504 523 0.06014097225
524 0.04990349824 524 0.06012326115
525 0.049893258 525 0.06009301533
526 0.04985778804 526 0.06006714027
527 0.049805713 527 0.06003841986
528 0.04980200943 528 0.05998656609
529 0.04979555377 529 0.05995742765
530 0.04977349556 530 0.0598956572
531 0.04972517415 531 0.05987596626
532 0.04967712313 532 0.05983535162
533 0.04966540524 533 0.05981844633
534 0.04964347404 534 0.05980117021
535 0.04960040785 535 0.05978442252
536 0.04957827454 536 0.05976532446
537 0.04955558647 537 0.0597276666
538 0.0495108989 538 0.05967698133
539 0.04946376209 539 0.05965334788
540 0.04941724052 540 0.05962419644
541 0.04937341804 541 0.0596116631
542 0.04933545533 542 0.05959511906
543 0.04931779235 543 0.05957250623
544 0.04929734635 544 0.05953261133
545 0.04927786062 545 0.05951096503
546 0.04927176694 546 0.059467385
547 0.04924676215 547 0.05945339396
548 0.04923251127 548 0.05944023967
549 0.04920693253 549 0.05942752556
550 0.04918252795 550 0.0593778859
551 0.0491585783 551 0.05935182061
552 0.04910790167 552 0.05932434043
553 0.049063985 553 0.0592787296
554 0.04905829887 554 0.05925228819
555 0.04905275924 555 0.05922141053
556 0.0490473619 556 0.05919463663
557 0.04904148359 557 0.05918242595
558 0.0490130584 558 0.05915414143
559 0.04897936695 559 0.05910980399
560 0.04896586075 560 0.05909286073
561 0.04894295188 561 0.05905957805
562 0.04892977421 562 0.05903923138
563 0.0489244903 563 0.05901789252
564 0.04888844479 564 0.05899634131
565 0.04886981425 565 0.05895246342
566 0.04884929973 566 0.05892672023
567 0.0488364175 567 0.05889508593
568 0.04881178951 568 0.05881186164
569 0.0487944174 569 0.05879515342
570 0.04878181113 570 0.05875525311
571 0.04877662075 571 0.05874041276
572 0.04875504273 572 0.0587199686
573 0.04870972469 573 0.05869560487
574 0.048690909 574 0.05867152276
575 0.04864716848 575 0.05864661592
576 0.04863179819 576 0.05862851264
577 0.04861223589 577 0.05860761571
578 0.04857812021 578 0.05856912395
579 0.04853870479 579 0.05855050626
580 0.04851464402 580 0.05853076338
581 0.0484746316 581 0.05847745336
582 0.04846230309 582 0.05846473512
583 0.04844103385 583 0.05842339095
584 0.04842900489 584 0.05840757707
585 0.04839792227 585 0.05838855678
586 0.04838617401 586 0.0583730204
587 0.04834228938 587 0.05834667787
588 0.04832071985 588 0.05833230761
589 0.04830924026 589 0.05830857525
590 0.04828837972 590 0.05828551117
591 0.04824600134 591 0.05825577455
592 0.04820568412 592 0.05824726646
593 0.04819162715 593 0.05820756486
594 0.04817165972 594 0.05819556881
595 0.04814468008 595 0.05818499334
596 0.04810415064 596 0.05816225121
597 0.04809736192 597 0.05815173068
598 0.04806317374 598 0.05814709181
599 0.04803424214 599 0.05813894802
600 0.04802298258 600 0.05811329531
601 0.04799102509 601 0.05810183278
602 0.04796245386 602 0.05806534166
603 0.04793782799 603 0.05802539562
604 0.04791526095 604 0.05799091796
605 0.04790149313 605 0.05792143939
606 0.04786624392 606 0.0578831569
607 0.04784447477 607 0.05786765884
608 0.04780659536 608 0.05784679011
609 0.04778321296 609 0.05782388674
610 0.04776048813 610 0.05778762974
611 0.04773842728 611 0.05777346148
612 0.04771117915 612 0.05775862853
613 0.04768117161 613 0.05773740048
614 0.04765421609 614 0.05772083777
615 0.04764319993 615 0.05769404276
616 0.04761109044 616 0.05762098943
617 0.04758268851 617 0.05760588868
618 0.04757192257 618 0.05758058483
619 0.04753880294 619 0.05754642744
620 0.04751947171 620 0.05752663546
621 0.0474884588 621 0.05750352162
622 0.04745791389 622 0.05746386783
623 0.04742831418 623 0.05743747866
624 0.04740934285 624 0.05741249523
625 0.0473802376 625 0.05737516381
626 0.04735241871 626 0.0573381789
627 0.04734122975 627 0.05727692362
628 0.04733058275 628 0.05725469847
629 0.04730302995 629 0.05721619703
630 0.04727638788 630 0.05718768398
631 0.04726254827 631 0.05716753314
632 0.04722525035 632 0.0571504057
633 0.04721507006 633 0.05713341153
634 0.04718499966 634 0.05711820254
635 0.04715902834 635 0.05705052009
636 0.04714077801 636 0.0570132681
637 0.04709757428 637 0.05700071612
638 0.04707637048 638 0.05698098102
639 0.04706534316 639 0.05694908438
640 0.04705482043 640 0.05691322112
641 0.04703709439 641 0.05690084823
642 0.04701170585 642 0.05688992161
643 0.04700141927 643 0.05685888995
644 0.04698730462 644 0.05683130445
645 0.04697705063 645 0.05680984616
646 0.04696172835 646 0.0567968464
647 0.04693085794 647 0.05678147081
648 0.04690211942 648 0.05676582199
649 0.04686776141 649 0.05675086591
650 0.04685049344 650 0.05673648617
651 0.04682339341 651 0.05672150126
652 0.04681333555 652 0.05671271004
653 0.04680056389 653 0.05669309017
654 0.04676915807 654 0.0566748066
655 0.04673238657 655 0.05665476607
656 0.04669977278 656 0.05663935192
657 0.04666991638 657 0.05662580991
658 0.04663831504 658 0.05659282071
659 0.04661599633 659 0.05656484528
660 0.04660261437 660 0.05653394226
661 0.04659276462 661 0.05650879091
662 0.04657744727 662 0.0564973064
663 0.04653582232 663 0.05644724186
664 0.04652619685 664 0.05640494778
665 0.04650225063 665 0.05634163669
666 0.04649289114 666 0.05632043519
667 0.04648397669 667 0.05630267044
668 0.04647548166 668 0.05627297668
669 0.04645813208 669 0.05623733816
670 0.04641971585 670 0.05622296318
671 0.0463797821 671 0.0561950798
672 0.04634676445 672 0.05617322294
673 0.04632929781 673 0.05613294481
674 0.04632116477 674 0.05611566002
675 0.04628273073 675 0.05608800061
676 0.04626835819 676 0.05606538399
677 0.04625892288 677 0.05603131978
678 0.04624433641 678 0.05601518748
679 0.04623130664 679 0.05599689029
680 0.04621735102 680 0.05596677125
681 0.046196856 681 0.05592740043
682 0.04617627514 682 0.05590645058
683 0.04616416931 683 0.05589396377
684 0.04613640492 684 0.05586583433
685 0.04610026161 685 0.05583849017
686 0.04608574991 686 0.0558204156
687 0.04604856505 687 0.05580359154
688 0.04602914469 688 0.05576954813
689 0.04600354876 689 0.05576038667
690 0.04597485282 690 0.05573557606
691 0.04595783374 691 0.05571831118
692 0.04594115357 692 0.05570176651
693 0.04592493775 693 0.05567972015
694 0.04589720711 694 0.05567539954
695 0.04588141786 695 0.05565191904
696 0.04586606268 696 0.05559892863
697 0.04583861189 697 0.05558826099
698 0.04580115157 698 0.05554942181
699 0.04577481369 699 0.05553311208
700 0.04575897944 700 0.05551507711
701 0.04573710702 701 0.05550259867
702 0.04571368245 702 0.05548582194
703 0.04568719624 703 0.05547795368
704 0.04566215501 704 0.05547163912
705 0.04565282649 705 0.05546554222
706 0.04562731832 706 0.05544744259
707 0.04559367779 707 0.05542446148
708 0.04558456198 708 0.05537601504
709 0.04556256413 709 0.05534893833
710 0.04554138011 710 0.05532063919
711 0.04551924609 711 0.05530213174
712 0.04550160961 712 0.05528252917
713 0.04547842616 713 0.05525703865
714 0.04545724112 714 0.05521141779
715 0.04543677924 715 0.05519381025
716 0.04541567017 716 0.05518655649
717 0.04539071584 717 0.05516496689
718 0.045368646 718 0.05514295962
719 0.04535008506 719 0.05512173125
720 0.04532447086 720 0.0551047411
721 0.04530990195 721 0.05507831781
722 0.04528241436 722 0.05505226019
723 0.04525472024 723 0.05502714505
724 0.04522583505 724 0.05500521749
725 0.04521768873 725 0.05498133461
726 0.04520976548 726 0.05496638074
727 0.04517421209 727 0.0549542268
728 0.04515734477 728 0.05491276636
729 0.04512997998 729 0.05488802347
730 0.04509177966 730 0.05485469806
731 0.04507226766 731 0.05484331813
732 0.04504450763 732 0.0548252011
733 0.04502786102 733 0.05480257532
734 0.04499297615 734 0.05477970405
735 0.04498164058 735 0.05475859612
736 0.04495569723 736 0.05473815594
737 0.04493877155 737 0.05471674551
738 0.04491986605 738 0.05467463428
739 0.04488516554 739 0.05463588878
740 0.0448708904 740 0.05459820969
741 0.04486191583 741 0.05459006555
742 0.04485181865 742 0.05455534354
743 0.04484425403 743 0.05454749532
744 0.04482564433 744 0.0545144822
745 0.04481812563 745 0.05450369252
746 0.04479632161 746 0.05446705903
747 0.04478755224 747 0.05444104955
748 0.04477827105 748 0.05441635549
749 0.04474011798 749 0.05440016686
750 0.04470601653 750 0.05438971927
751 0.04468818237 751 0.05437270943
752 0.0446559914 752 0.05436212258
753 0.04464199688 753 0.05434147025
754 0.04463305794 754 0.05432428282
755 0.04460318445 755 0.05430832855
756 0.04456945868 756 0.05428994739
757 0.04454232504 757 0.05426772922
758 0.04452862202 758 0.05423482594
759 0.04451528919 759 0.05420986354
760 0.04450231436 760 0.05418851795
761 0.04449554629 761 0.05415744539
762 0.04447352474 762 0.05414355352
763 0.04446276025 763 0.0541281288
764 0.04445243488 764 0.0541135194
765 0.04443629003 765 0.05410536502
766 0.04441731959 766 0.05407819056
767 0.04439841245 767 0.05404933545
768 0.04437347852 768 0.05400648583
769 0.0443550366 769 0.05397311507
770 0.0443370548 770 0.05394526371
771 0.04431965319 771 0.05392765211
772 0.04430249527 772 0.05392390176
773 0.04428300377 773 0.05391006821
774 0.04426597175 774 0.05389227433
775 0.0442493747 775 0.05387384369
776 0.04422565459 776 0.05385572427
777 0.04420941042 777 0.05383546259
778 0.04419046837 778 0.05381642728
779 0.0441669859 779 0.05376762801
780 0.04414763538 780 0.05374753029
781 0.04412494915 781 0.05372138949
782 0.04409895769 782 0.05370346219
783 0.0440750074 783 0.05369183314
784 0.04406650825 784 0.05367629562
785 0.04405191138 785 0.05366194955
786 0.04404285969 786 0.05364246623
787 0.0440347511 787 0.05363503607
788 0.04401960875 788 0.05360718848
789 0.04399606578 789 0.05359590449
790 0.04397322476 790 0.05358677448
791 0.0439471647 791 0.05356985353
792 0.04392732526 792 0.05354256977
793 0.04390555918 793 0.0535138874
794 0.04388112356 794 0.05347630855
795 0.04385812981 795 0.05345131509
796 0.04384136947 796 0.05343329987
797 0.04381369036 797 0.05342029451
798 0.04379902877 798 0.05338573876
799 0.04378991529 799 0.05338208875
800 0.04376611067 800 0.05334866514
801 0.04373381234 801 0.0533386752
802 0.04370234049 802 0.05330707815
803 0.0436848083 803 0.05329073918
804 0.04366919832 804 0.05327856568
805 0.04363813217 805 0.05327119591
806 0.04362413997 806 0.05326138696
807 0.043610703 807 0.05324425589
808 0.04359030053 808 0.05322033226
809 0.04357734469 809 0.0532092082
810 0.04356180426 810 0.0531867883
811 0.04354248371 811 0.05317696845
812 0.04353098658 812 0.05315722861
813 0.04351992915 813 0.05315391184
814 0.04348904124 814 0.05314090953
815 0.04347175586 815 0.05312550417
816 0.04345189742 816 0.05307697665
817 0.04341981633 817 0.05306039344
818 0.04339921762 818 0.05304998421
819 0.04338153223 819 0.05302119672
820 0.04335414566 820 0.05299835438
821 0.04333360751 821 0.0529708812
822 0.04330051189 822 0.05293768228
823 0.04326965645 823 0.05291965575
824 0.04321911646 824 0.05290100865
825 0.04319192421 825 0.05288051157
826 0.04316485217 826 0.05285537596
827 0.04315871265 827 0.05282299759
828 0.04312928376 828 0.05279594817
829 0.04308335515 829 0.05278532969
830 0.04307107352 830 0.05276994715
831 0.04305039373 831 0.05275708063
832 0.04302447639 832 0.05273716511
833 0.04299800145 833 0.05272577296
834 0.04297295643 834 0.05269956526
835 0.04295308809 835 0.05268467134
836 0.04294123665 836 0.05266463868
837 0.04291726818 837 0.05264952815
838 0.04288655173 838 0.05263460801
839 0.04286626953 839 0.05261920374
840 0.04285782271 840 0.05257439714
841 0.04283956357 841 0.05256114336
842 0.04281342987 842 0.0525468638
843 0.04280518997 843 0.05252109133
844 0.0427939272 844 0.05249043058
845 0.04278590098 845 0.05248164473
846 0.04275962303 846 0.0524716851
847 0.04271638593 847 0.05245490511
848 0.04270006511 848 0.05242928518
849 0.04268944417 849 0.05241577828
850 0.04267298944 850 0.0523934813
851 0.04265928501 851 0.05236447967
852 0.04263495692 852 0.05232586812
853 0.04262710484 853 0.052309292
854 0.04260470678 854 0.05229394918
855 0.04259705055 855 0.05227829328
856 0.04258874184 856 0.05224532051
857 0.04257170764 857 0.05221724333
858 0.04254344788 858 0.05220239389
859 0.0425359773 859 0.05218794504
860 0.04252622831 860 0.05216142213
861 0.04251012999 861 0.05214960206
862 0.04248023531 862 0.05213971135
863 0.04246257523 863 0.05211348895
864 0.04242677418 864 0.0520997049
865 0.04242222234 865 0.05205202969
866 0.04238036207 866 0.05203699236
867 0.04237162685 867 0.05201703357
868 0.04232971816 868 0.05199462119
869 0.04230541791 869 0.05198202401
870 0.04228751244 870 0.05196996861
871 0.04225652519 871 0.05195065984
872 0.0422394253 872 0.05192929619
873 0.04220868158 873 0.05191660095
874 0.04217884346 874 0.05189117533
875 0.04214850951 875 0.05187959965
876 0.0421255614 876 0.051868514
877 0.04210342107 877 0.0518440003
878 0.04207820064 878 0.05181390515
879 0.04203982209 879 0.05180437335
880 0.04203259997 880 0.05179078187
881 0.04199676226 881 0.05178083839
882 0.04198971416 882 0.05177591784
883 0.04196994459 883 0.05175279151
884 0.04193848378 884 0.05173465619
885 0.04190961025 885 0.05171568689
886 0.04188055959 886 0.05170242637
887 0.04186859919 887 0.05168914451
888 0.04184165996 888 0.05167469268
889 0.04182006975 889 0.05166246234
890 0.04179986027 890 0.05164046363
891 0.0417783606 891 0.05160845522
892 0.04176265393 892 0.05159562888
893 0.04173673919 893 0.05156707955
894 0.04171676941 894 0.05155352135
895 0.04170985162 895 0.05153171615
896 0.04169942831 896 0.0515068529
897 0.04168004236 897 0.05148946369
898 0.04167330346 898 0.05147375913
899 0.04163668338 899 0.0514627782
900 0.04160890539 900 0.05144806073
901 0.04160130997 901 0.05143649498
902 0.04159391646 902 0.0514206172
903 0.04157182989 903 0.05139345594
904 0.04155624065 904 0.05137006722
905 0.04153292274 905 0.05135003574
906 0.04151946467 906 0.05133703362
907 0.0415125877 907 0.05132794669
908 0.04149516074 908 0.05130193665
909 0.04146490169 909 0.05127707084
910 0.04144859052 910 0.0512450204
911 0.04141991988 911 0.05123260848
912 0.04140011384 912 0.05121017692
913 0.04137770633 913 0.05119533254
914 0.04136495878 914 0.05117243719
915 0.04135019667 915 0.05116437336
916 0.04134347504 916 0.05113367815
917 0.04133690813 917 0.05111562905
918 0.04131180612 918 0.05109771594
919 0.04129682407 919 0.0510809242
920 0.04126957023 920 0.05106914598
921 0.04124430739 921 0.05105001513
922 0.04122866237 922 0.05103906401
923 0.0412035693 923 0.05101740442
924 0.04117746876 924 0.05100711155
925 0.0411597003 925 0.0509971472
926 0.04113798228 926 0.05097380287
927 0.04112113613 927 0.05096364674
928 0.04110302094 928 0.05095436833
929 0.04108821989 929 0.05094299736
930 0.04107291623 930 0.05090113542
931 0.04105716387 931 0.05087967734
932 0.04103198644 932 0.05086814672
933 0.04099958899 933 0.05085920876
934 0.04098004996 934 0.05085021513
935 0.04096219912 935 0.05083206663
936 0.04094785878 936 0.0508168572
937 0.04092707665 937 0.05080022308
938 0.04091427343 938 0.0507917535
939 0.04088685624 939 0.0507767932
940 0.04087179116 940 0.05075259285
941 0.04086067715 941 0.05073360009
942 0.04084226437 942 0.05071345535
943 0.04083625269 943 0.05069361323
944 0.04082542173 944 0.0506708425
945 0.04081955401 945 0.05066266792
946 0.04080609437 946 0.05064115762
947 0.04078306494 947 0.05062869197
948 0.04075871272 948 0.05061281533
949 0.04073994069 949 0.05060530967
950 0.04072185652 950 0.05059411059
951 0.04070407897 951 0.05057808205
952 0.04069137435 952 0.05056068995
953 0.04067062306 953 0.05055054646
954 0.04064580865 954 0.05054376558
955 0.0406373999 955 0.05053520068
956 0.04060554708 956 0.0505286816
957 0.04058397403 957 0.05052344912
958 0.04056106315 958 0.05051724511
959 0.04053907103 959 0.05050545293
960 0.040518731 960 0.05047202724
961 0.04050554786 961 0.0504569078
962 0.04049990858 962 0.05044412061
963 0.04047656687 963 0.05043861576
964 0.04047106634 964 0.05042432422
965 0.04044448168 965 0.05041945224
966 0.04042069463 966 0.05040767332
967 0.04039804264 967 0.05039756758
968 0.04039267078 968 0.05038734298
969 0.04037983788 969 0.05037148123
970 0.04035365961 970 0.05035720187
971 0.04032902095 971 0.05033870185
972 0.04031507244 972 0.05033289932
973 0.04029767036 973 0.05030403567
974 0.04027233754 974 0.05028499155
975 0.04025034434 975 0.05026191435
976 0.04023390121 976 0.05025053815
977 0.04020670223 977 0.05023471442
978 0.04018543838 978 0.05021303088
979 0.04016681389 979 0.0501990438
980 0.04014551725 980 0.05018690257
981 0.04013510677 981 0.05017308015
982 0.04011477393 982 0.05015268447
983 0.04009220232 983 0.05013442538
984 0.04007495497 984 0.05011020492
985 0.04005738232 985 0.05008937224
986 0.04003690561 986 0.05007838255
987 0.0400193475 987 0.05005229721
988 0.04000712877 988 0.05003608483
989 0.03999526381 989 0.05001450939
990 0.03998691452 990 0.05000901885
991 0.03997319037 991 0.05000520489
992 0.03995536171 992 0.04999524073
993 0.03993098485 993 0.04997237946
994 0.03991120083 994 0.04995481823
995 0.03988989539 995 0.04994525495
996 0.03987555844 996 0.04994129583
997 0.03985932115 997 0.04992387509
998 0.03984358399 998 0.04991179772
999 0.0398203998 999 0.04990110236
03828489
...@@ -2,7 +2,7 @@ APP_NAME=dalmia-solar-degradation ...@@ -2,7 +2,7 @@ APP_NAME=dalmia-solar-degradation
KAIROS_URI=https://iLens:iLensDAL$456@dalmia.ilens.io/kairos/ KAIROS_URI=https://iLens:iLensDAL$456@dalmia.ilens.io/kairos/
KAIROS_METRIC=ilens.live_data.raw KAIROS_METRIC=ilens.live_data.raw
AGGREGATOR=max AGGREGATOR=max
AGGREGATOR_VALUE=30 AGGREGATOR_VALUE=15
AGGREGATOR_UNIT=minutes AGGREGATOR_UNIT=minutes
KAFKA_HOST=192.168.0.220 KAFKA_HOST=192.168.0.220
KAFKA_PORT=9092 KAFKA_PORT=9092
......
from loguru import logger
from scripts.core.data_puller_push.push_data import insert_values_3cp
class CalculatedDataPush:
def __init__(self, df_calculated, all_cal_tags_dict):
self.df_calculated = df_calculated
self.all_cal_tags_dict = all_cal_tags_dict
def kafka_data_push(self, df_calculated):
try:
logger.info(f"Calculated dict length = {len(self.all_cal_tags_dict)}")
logger.info(f"Calculated df shape with Date and Timestamp column = {df_calculated.shape}")
df_calculated_tags_dict = {col: self.all_cal_tags_dict[col] for col in df_calculated.columns
if col not in ('Date', 'timestamp')}
for i, j in df_calculated.iterrows():
my_dict = {v: j[k] for k, v in df_calculated_tags_dict.items()}
logger.info(f"{j['timestamp'], j['Date'], my_dict}")
insert_values_3cp(j['timestamp'], my_dict)
except Exception as e:
logger.exception(f'Exception - {e}')
...@@ -34,7 +34,9 @@ class KairosQuery: ...@@ -34,7 +34,9 @@ class KairosQuery:
"sampling": { "sampling": {
"value": KairosDb.aggregator_value, "value": KairosDb.aggregator_value,
"unit": KairosDb.aggregator_unit "unit": KairosDb.aggregator_unit
} },
"align_sampling": True,
"align_end_time": True
} }
] ]
} }
......
from loguru import logger
from scripts.core.data_puller_push.push_data import insert_values_dalmia
class CalculatedDataPush:
def __init__(self, df_result, final_tags_dict):
self.df_result = df_result
self.final_tags_dict = final_tags_dict
def kafka_data_push(self):
try:
logger.info(f"final_tags_dict = {self.final_tags_dict}")
logger.info(f"df result shape = {self.df_result.shape}")
for i, j in self.df_result.iterrows():
my_dict = {v: j[k] for k, v in self.final_tags_dict.items()}
logger.info(f"{j['timestamp'], j['datetime'], my_dict}")
insert_values_dalmia(j['timestamp'], my_dict)
except Exception as e:
logger.exception(f'Exception - {e}')
from json import dumps from json import dumps
from kafka import KafkaProducer from kafka import KafkaProducer
from loguru import logger from loguru import logger
from scripts.constants.app_configuration import Kafka from scripts.constants.app_configuration import Kafka
def insert_values_3cp(ts, my_dict): def insert_values_dalmia(ts, my_dict):
kairos_writer = KairosWriter() kairos_writer = KairosWriter()
kairos_writer.write_data( kairos_writer.write_data(
{ {
...@@ -46,7 +44,7 @@ class KafkaProducerUtil: ...@@ -46,7 +44,7 @@ class KafkaProducerUtil:
class KairosWriter(KafkaProducerUtil): class KairosWriter(KafkaProducerUtil):
def write_data(self, data_json, topic): def write_data(self, data_json, topic):
site_id = "site_116" site_id = "site_107"
logger.debug(f"Data being pushed to kafka topic: {topic}") logger.debug(f"Data being pushed to kafka topic: {topic}")
msg_counter = 0 msg_counter = 0
for k, v in data_json.items(): for k, v in data_json.items():
......
import pandas as pd
from loguru import logger
class GetFinalDf:
@staticmethod
def get_final_data(x_test, y_test, predictions):
try:
df_result = pd.DataFrame(index=[i for i in range(len(y_test))])
df_result['datetime'] = x_test['datetime']
df_result['actual_current_mppt'] = y_test
df_result['predicted_current_mppt'] = predictions
df_result.drop(['actual_current_mppt'], axis=1, inplace=True)
df_result = df_result.round(2)
df_result.reset_index(drop=True, inplace=True)
logger.info(f'{df_result.shape}')
return df_result
except Exception as e:
logger.exception(f'Exception - {e}')
@staticmethod
def get_predicted_current_tags(tags_excel):
try:
df = tags_excel.copy()
df['parameter_name'] = df['parameter_name'].str.replace('Potential Current MPPT ',
'potential_current_mppt_')
df['inv_id'] = df['inv_id'].str.replace('INV ', 'inv_')
df['mppt_id'] = df['parameter_name'].copy()
df['mppt_id'] = df['mppt_id'].str.replace('potential_current_', '')
req_substrings = 'mppt_'
data_with_substring = [data for data in df['mppt_id'] if req_substrings in data]
df = df.loc[df['mppt_id'].isin(data_with_substring)]
df = df.sort_values(['inv_id', 'mppt_id'])
df.reset_index(drop=True, inplace=True)
return df
except Exception as e:
logger.exception(f'Exception - {e}')
@staticmethod
def get_final_predicted_tags(df_predicted_current_tags, inv_id, mppt_id):
try:
df = df_predicted_current_tags[df_predicted_current_tags['inv_id'] == inv_id]
df = df[df['mppt_id'] == mppt_id]
df.reset_index(drop=True, inplace=True)
final_dict = {}
for index in range(df.shape[0]):
tag_id = df.iloc[index, df.columns.get_loc('tag_id')]
parameter_name = df.iloc[index, df.columns.get_loc('parameter_name')]
final_dict['predicted_current_mppt'] = tag_id
return final_dict
except Exception as e:
logger.exception(f'Exception - {e}')
\ No newline at end of file
...@@ -30,29 +30,5 @@ class GetData: ...@@ -30,29 +30,5 @@ class GetData:
except Exception as e: except Exception as e:
logger.exception(f'Exception - {e}') logger.exception(f'Exception - {e}')
@staticmethod
def get_final_data(x_test, y_test, predictions):
try:
df_result = pd.DataFrame(index=[i for i in range(len(y_test))])
df_result['datetime'] = x_test['datetime']
df_result['actual_current_mppt'] = y_test
df_result['predicted_current_mppt'] = predictions
df_result['potential_current_mppt_loss'] = df_result['predicted_current_mppt'] - \
df_result['actual_current_mppt']
df_result.loc[df_result['potential_current_mppt_loss'] < 0, 'potential_current_mppt_loss'] = 0
df_result['hour'] = df_result['datetime'].dt.hour
df_result.loc[df_result['hour'].between(left=18, right=23, inclusive='both'),
'potential_current_mppt_loss'] = 0
df_result.loc[df_result['hour'].between(left=0, right=6, inclusive='both'),
'potential_current_mppt_loss'] = 0
df_result.drop(['hour'], axis=1, inplace=True)
df_result['total_potential_current_mppt_loss'] = df_result['potential_current_mppt_loss']. \
rolling(min_periods=1, window=len(df_result)).sum()
df_result.drop(['actual_current_mppt', 'predicted_current_mppt'], axis=1, inplace=True)
df_result = df_result.round(2)
df_result.reset_index(drop=True, inplace=True)
logger.info(f'{df_result.shape}')
return df_result
except Exception as e:
logger.exception(f'Exception - {e}')
...@@ -9,7 +9,9 @@ class GetTags: ...@@ -9,7 +9,9 @@ class GetTags:
def read_tag_excel(self): def read_tag_excel(self):
try: try:
df = pd.read_excel(f'{self.base_path}/tags_download.xlsx') df = pd.read_excel(f'{self.base_path}/tags_download.xlsx')
df.drop(['Site', 'Plant', 'Line', 'Tag'], axis=1, inplace=True) df.drop(['Site', 'Plant', 'Line', 'Tag', 'Unit', 'Tag Register', 'System Rules', 'Target',
'Target limits', 'Deviation', 'Indicator', 'Lower Limit', 'Upper Limit'],
axis=1, inplace=True)
df.rename(columns={'Tag ID': 'tag_id', 'Tag Name': 'tag_name', df.rename(columns={'Tag ID': 'tag_id', 'Tag Name': 'tag_name',
'Equipment': 'inv_id', 'Parameter Name': 'parameter_name'}, inplace=True) 'Equipment': 'inv_id', 'Parameter Name': 'parameter_name'}, inplace=True)
return df return df
......
Markdown is supported
0% or
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment