Improve emitter and time stamping.

The emitter failed to keep book on hosts where ansible did not succeed.

inventory.yml

@@ -1,147 +1,149 @@
 $ANSIBLE_VAULT;1.1;AES256
-62343438353064306334646339343562363666323133383166663932666133323032346635313632
-3233353735353339663737393336323662393336323539350a393563656332623361373263336365
-62303036303062643966316335326533346532653961636132343538653432656432396562633538
-3632396262653165320a373838636564633838626330376663643865353931333036343131393234
-39373435363134373539313335626135323037653739333935356430656563353666656238623332
-39613266376637623932643064663032663965396165623966383231626130653561633531373265
-65663836303438613063653566356234656663633031316662643637393461386530383461333333
-66366430636633623762366334666338316663306637643663626162333266383963656430663066
-35343132366562633563336335336130353531626363646631353663623964303261613530643962
-61356436623664346137633239643032613665323464663961373463653338626266636361316332
-63336466663363396564343264346335303936663261333061336133623635326430363862396263
-63303166333837323036623461653331666266653764383738313330333036323532613630396137
-61346133636265306664306433313963616131653631626131313430393839356536643361643632
-62393064356139393633363836633337323563336530363434386535646631656434613830336336
-34663534383334393139656233343730393231333333386330383761306632313861333363653066
-62386562326464653936613065656265613035633534363866343532373235346338356639613337
-33333763393466393965616634646430393939333536663166376264626135663662353761303934
-62303666616162393361333631656239386430663134643966323936373437623666383361343931
-63373832646137363030363665393066623235316235353332623137303437626635353164393033
-32613764323034343161333062646635336566333761376631333562316234326430376339346565
-66666535643636363831366234386236636133646365616436646232333636333766393139663530
-32613430626363343466393136306466393933393236636334333237616666643439303362666436
-30326135336366353635633661643036653631633930366661626339333637663461366663643262
-61373835303763383236336262363335343961366632373132373462303262396235633230666530
-66663266653430646438383739306161336366373164626235653161613763346339346661366136
-33653239636230616234346363636262386465396364373335383064323831373539643939396639
-62323833303063643437653261356130353435343335353662366230363238323664313265363061
-33663664386638333664323336373865356233643463636263373130383339326236353638333237
-63343830633638306634343633346563613531316530353463663662633531323637386631343530
-36376235643239333766373835343466663639383130373332346238386539653363373163623834
-37363135313263303831643832633566323736303561393634353739373563316539376566336335
-30626331393738666638306365346238313862363739303066613136653034363930613561663339
-35343335326533366333336337376366656331653133343361316539393531616232656631613463
-63333535653462303963626336333533376336636466323863633434363635353433366137343664
-34356636376139313033313137366564396634633631336431336532623365666364383734383636
-37306165656261346530666136613738363535373034326439393265653639633132653863306563
-30313361343434383831363965366264393863613339383261313462626136633239393933626465
-34353161373735643933666430353038623331646563343336656338636239646235326265366462
-34363832393261346339386362383433396565326562393136616337353662653134333535346437
-63383838353731656631323537353338613433626630623736653337323261333830306332643738
-30666131663535343239346332303766306661326436653637613134316365316233666132653932
-61353465663962653838373962636533303730303364393963643135316335306562363936356263
-35643466333138613131316562376236613161363863333566346163333130616163316431366635
-35343162333337393436633639386333646462336634366533623330643339616564653266333934
-62646265323730366339386637656561313036393138323735323832303933323766356466306331
-30303030303264626235323839396564356533313334313636653331373334396331393563366238
-32393066333064373238626334666131353131643464343961303130323935383332393235383332
-64663335333265396466343232336363306666666663623632633531313863313138343061303037
-39306430373537663461656330656463623763336233666361653331383165326237643930316464
-30383830663466383065376665313333613161663830663038363765613162333662376532303364
-36393265643636353766303062653365666263326465633063333333363234363765663738323663
-64336164646661636231363437663636373234643361323035356139343764653062323439393361
-62316438363635653233626333393739396237356535326463306235616465333533623763356564
-38393065323835333232613865383263646131313063333662633865636534303166663465383333
-64643861336465363138383764313063336561393266386563333635643761633736313339616561
-33613639393836656232356533653466346364303538333437323739663165666636663433306336
-30366339613532356465363235326330363266646134326236626635313239616437326439396432
-39343833363233323239303964373238343231366363373633363739306636373937656664663830
-30636335373339666538613034393661323661373038316439373763356365333838323838646434
-31366630316435343466386535656636663633363331636463633362636436643030363333623438
-39663936323934373838616233643334306532376565323233333664343332326165323332643732
-64663437666133316561326663383832363765633462306237623230306233383333356534303664
-33306462643932353430306439313539376236316466653330323365653166633563613239336437
-38383864633064303362303239343130626564613431666433626663346131633633626365626164
-33323436326430303761663765616165393132396264383266666530366331663632623662633534
-33383233653636316239333661303766626266373964376265636231353334313963313339383264
-35343938366664613763623037313135343838656434366334326437623130616563313335613530
-61343765396635656338343261363030313734613663336337313365386662646165646430373636
-61373434396639353339343238626239383161633135393534363133313331393036656138376534
-66633633303864613632393439396662653232626635636563386230623136313737343262663231
-36313833646565306237393536336231313830336135343232356263386663356537383832373530
-33623534313938323765313737643236316435336238626366636265613936373064306537336430
-36326434646538646462326636666237393631383561313463333262616530616363633833666165
-63613831353666323639356537373763616261626661633963636361386165386630383765616135
-31353234343733393464376536316162636230323136643266636437646562346330363365646466
-63376238366137333238633739393633663838623432333961356530326563333833333538383766
-32333933363238323631613232373731623664303839636132393736346533396238313932623264
-39613937366338626536656230633730653463323230336430373838613737646666366662613935
-38373161323737646464383732306636323461646439383932353131626437373463333931346361
-62373138363462616438636537626164366461313665333637666663333139333231616261313833
-32366339633831376537326238636464313433363836653331353839303233346538623038396138
-34343534383130666137306562313139343335303434663432333865396430323138616130623335
-66653163356334383038313034326163373664393161656232386331663161643430356563393837
-37323532653034393333356137663966633865393864623638353338623066636634386336303139
-61633666643235616133363439373163303361666365373431633762393965323764653730383536
-65303762343133383565313461623031633833326531326636343632323636666633643733386563
-61373064343339323837306262623364336232363761373734333136343230373964616361653031
-61636161633538636538396436386362396461303737633732653763663137653864663733633836
-61643337663030323031326438646533363365333530656434643933326638653137663839396464
-35313065393665343037303733616164363065333062383030623830623763646132313238663434
-66653362333463343261386463323234303663303661306238646466326466376136303232323232
-63323963646234636438303265666331316534393962386538356339306537363464353830613764
-66656264393965353138396538653435303435383036616635343434356538633638373762646438
-30656236346662356562646665636138303661346634613361343766343435343862313233313166
-37616564663233333131623563303737383438323832396239656462363966663934616133346630
-36363939643932353739383535633434646163656230613261353462633631613135386638336665
-34303139323436326364326236626536663261313134663935343365653534346437643261363637
-61303532373435356663646136396139656234333961646364393035393864313236663764323766
-35643666633830376133393566386562306432343563653035333033306138316161653731613061
-34313335366363646334316564323265643631666466393632393533356135653539336261623761
-63366633636336393562636238316132386333363161383763386338623830343839613338646665
-35316632316339393265313334356637393762383966386539376634636263323638323037373736
-38353862633864343937613331303939663038346235616232643264623439313363366339313230
-33666538623834326330376533316536666531666466663035303238356636356465646230313230
-33636235396135303362363831326130356438643432343737623430393639623363333439353534
-33616636626635326138313266333366653765636637393033336237333038663765366539616439
-36366333396562363761336131626632353036653066623133666262663662623765333732663534
-31643034616132373363393338623132616637303630616437363930623633666635646664656536
-30316564623266353763346563346337343661626630623834303162306337343233303663616230
-66656339373335663331613261656331393164396262656234653838306632613966336164393739
-31353035383832396262643539373839373662646133326236666536366134353838326136663735
-32666438313535313166356166626330393933646536336436323531306436353539376464656563
-36383762643331663933663362353765383363636532366438306232636537353231663665663164
-64343439653766643862343331393538336330633032636131623862363734356232336333303466
-39303537373830623862376162303563366539313066643766313561306661663034336533346130
-61343461316136373661356665373266353364386462346235646263623061396561353966336539
-34376430663961376439326437663434363035303536393439336164386235393962666134386439
-35646133303232316566653038313735383233313435356266663739333964313530393964346663
-63616635396135363661373161616666323239306635656161383136323831336638346564643561
-37396130363138663761613231393264633861633836323236663931616330633035303632353365
-39383734326337356138626235346238363537323262633839393762383462373033653031326363
-66336631333230313166626531326435656430373538396436623430643062333034306135623136
-34386334643839613437333063663663316138366634373931313434323039303233613664363765
-64333437353662626538653930336263323537356461303031316537653566333235353239626266
-62316631643132626235656231633566663365396232366564306166383264653363356433396335
-62343530396237363337613837333338613561313063656530393933653164323166633638616561
-32633830343461336466613338633865376663373933613231303938316534353866393063616139
-65663766666632613366636632653931363232303339396231636235396230353138336134633763
-30636362313564316332316134343661313664333730366362633762346339366265303633346666
-39623539386461613232353065343862613463633465633337306435316639666436393038646337
-33393932656438656431666439336437633465336438653661366566613765656264316233613162
-65393061383438643364613030643835646463633235323138636264613834613034396166323862
-37663236386538666630663866346539623734396664376632653537343430306539633362366666
-61343637616163663838653361636364326162363739303436643733343337333561633934623239
-33303666656530366231613539623037343233623931616335616365386564316661393336363139
-65363564336638326662653237373665383061633930323338336338633836306636306262363733
-61663364383130626466656133333636333661316563373731383434316230396337626237386263
-33323436373830326437646131373132653831373333663863373166366437353661303966363362
-38366435633562373734313232363739636232376164336235313632366535306465613530373336
-63666136316333366362303566336636306366333330656561663738373439343033333433643339
-33313835643164356563663366653065373037633633623137366630316637393364646563336664
-37333132356463316437383561326636646434353664303863393332373836643165666139353561
-35653537373364383266653265316261323031643735653333353232646239346338323066313061
-39373634346563376665613763316439383932653166316363393530363966383461303233333930
-64366263363432623563313535666131613765326639313338623830393062316436623036623732
-3836333637666134663839636634616464373539376263623131
+61363036653134613330616231656533336663303062323734623234393436623962343935333162
+3430616335383530383366383930626563383931323538370a623162333933653466353034663262
+30366438363835663932373330386539353930376139373461636264616565376665336365336637
+6333653339623062390a343137663763663037393237346130363463383966613036353539306161
+39616162363836376531623132633465393231613261333261386465376339383031373066643462
+31373236623937616237333632363236616338626133616164313634343063323133303835336266
+32643265633533393263346366366162346335323236393033626235353433356664396363366465
+63356539636163666265646366333732623537383031626538343137663262333739303531323566
+66316137316538643132323538383936336435356534353032613733633138643932613737626233
+35323737366261633664336437613730386232666564643361643031373033643739653031393231
+64356433396539323164373931653863336562333161383230336639316266633365323462633865
+30333235336336643331653034653134353166326336373266353632633234343338323166343332
+36616335653232613435313236626665386437313263633864393432363765303362393931323337
+62303165346631636635303039376666643061363839653961393539646566346361643334643163
+37666663636238306266396165343037326362386662613466633662396231613633373138353131
+30343462633865626139383933613337363661333036363237343336323966306563633131383734
+35313266346366653338346464356666653537386264303866303562333963616562333933666236
+63613436636164373264386639326534383333336261323232373437366136316336346536353938
+64633932326665656465353738336136366634646434356136346365346663356339343639643538
+30333734616535653064336335363366636635326430643138613461313666633138626134366364
+65646636303261363936323364653137626538356339306333323038376364356635666436653330
+66633837313830626434393239313062386335656339623661303461656362396265656238323034
+36653537636239623366636233633462393636663937353535303261643363393133343638366631
+62326562643634353235366163643063323464643532376330613862353034633561626339323165
+33316163376630643131323332393266396331353531366264396461373538343531383262343361
+61656430343863306163626262613434313737656335623863626662376162666235623539326264
+63333666343830303934373761376432663139373637393939633930373038663063316635346664
+31623635346638353364343862363432353430623762336462643363326435303663343132656133
+30666265343162336137646230666662323033313561353336306461666638323761383632393230
+30396337646130373266306463663239373064393236643031373037326230653836383932393164
+64343231326366386231613231313630386266303463356231303065643762383334663666656566
+63383936373030376263363935643663623838346233343736343563633262356564633437373662
+66396633346233633432343562373038663834343238626333626430386233643230373930666532
+62383336633638323136383133613762346261613963353437656366356461653262346230333733
+38653862343331316631653231343066323835306634393632366566613230343338303961336235
+31343466393339653065646231363136633866626634376563353931616464333432323231643832
+34316234643863653763323136373135666336376136346339376664303232386532383063663036
+33383236383363303261353138346234363063623736353132663230306230663137366565343162
+36326666376336316534313630336464396338313866613462643236336461323239303635393330
+38356136653035306538386365306232613966333332393035376164373932656139666233633036
+64623966663135666234306231393062306338356461626332316630353964356336323261363236
+30646534353766636232363437633037373766353866343033633630393437633739663530643439
+33316338336538383165333766613634636163666266306435353132663538366138623438386131
+37656664613833313530663031633833373634643031303037366264646233666232613638636532
+36373835663332656462643135366635636639613661663436376433353966343135616561323135
+65346636623833303733346430303563666230613430393364313534656430336532333636396434
+32303737336662373765336665376431303033623063663761373431326234343764393961396261
+37303264363662313663663736653935366334336562303536346532343464336236646665666638
+64636437656261303938636563393838326633306131386235663838326564373739373565393834
+32613131316433306162626339316436376432326365663239323338626231313434303833343433
+36633937613161643934393538633434663838303430353434323463336438343734333363323232
+34343262306334613237393134323834643438336437386565666333373665626131616236383730
+32643132343764383333393936643032623064313566333831373265383932326630653634313034
+38313839616535663865643234326131323961363036343336643432363735356461353938333835
+33306665333638363464336463396464666466613935323339623437303034626136626461343366
+35396465333436326139373862323533366237653836646465313436343637373365653266303362
+64316633636530353461373563363736383437373932356333366138346361346536636334363334
+63666430353038373639336165363033626566303633383731336639656363626330316633366139
+62346162343332303136336362376438396431333436383362313733353861633135306237343635
+30376535346438376138643161626338353562396232633837666233386235623131643333313161
+33386465306231303330313030363432323462393064363266363331373338613665356564396134
+64613762633533346136646562353338393131663164306535653038623035623231303137356233
+65613931396537313737303235663730623165663863393937326466653265393463623062636237
+65356337323236643661333863366332303239303231373036303631316431656635633863646333
+31383432646666623131646230323937366332626537633131383238656436636365336466313431
+61326637616533663330356265643331656231306239363661366136303135386464646332643834
+33666338633664353531656463653930326161323861663963643063646338633635636336393738
+62343730396234653132653139343330623932363835643766613239356333326532316136626638
+35376663323438313238383332653630333432623061616561323834323935323365343762616232
+38383538323239656130336336383132386666653338333662306331636138306435346636393661
+31386366643639393734393037653764363865326235313663393030356233313137373733373364
+35626337666530656135353539643734653861663534353762333433646537646636666533613261
+62636433636330333437643861306236613330323838333331666231633437306139336339356434
+37616134616366383239663233643864613762613862363038346631383162643432623766303934
+32306530343434366334386464316533613239623335623633376633313638353531353963373539
+34663330636362326537613233373132646130386662353864663632666233356335616533363334
+64323830396132356538646531656661613164353634383939623361373734636237633030396463
+62346161636332386633353064343764373631643962373664613863336337346333633234646565
+35653137613736313630623465663739386238306530316637646664633233333461386464376161
+38363735366161323166333662333930363837306262346261323831303336356661316431653537
+32383262363464626337666131376666323535396231653338636262636532333235313564633764
+64383431376137373464333264353638373733366633303764396139666237333939653130383166
+34616535363635356166663162383037643263636531303465616633363561636130633666306339
+66666665373136633963333162626636346130323034653836613737616234366564363063353438
+31333064636431613462366666666531353139653566363662353263666666383035636231613335
+61336530623664666534613364306634333632373333636564663537323530393339396636396566
+64376164306238366465623164633034383937396235666538346333613931383163623132633335
+62353834383530656537303434373838616432313536613433643433313562633630366465316464
+36316564376362646234323438613062306362333535336566633937326565386264643162376662
+64656338366236386537643564306131636230373939376439363939343134623639313238323865
+34353734663036353535356664393635656335623633373139656534386531346139646565656634
+37633363336636656235623465356661623433323832373539306533626433663737666233366666
+64343034613137616562366161343165333737373831643963663932306665623465363631356165
+32383735626361346539653134336539363038653736323466613366623230623266623265623737
+61393464653735643539396330366266626366633966633433343037393539663436336630333264
+34363864356565303732646163393562653064393731623534323637313865666164643239653166
+65636131656462623231313963643831626365353066646134633038393031626537396433363035
+35373030616561356464386661333966623163383431373731363932656138346437356462346135
+37343538343264613032613833653666636263653465383635313036626134333165383137343862
+66363066623639373137646364303462303031346661666130643034383234346265353539336339
+31646265376463363530633332646530373339346663636365663936363338346532623032323231
+30313630633836656666356466383166393036663431393962313861383634636535323463306135
+39313164303263343464663335366262396366663138336338616330366663383166386338656430
+37306464346136363736353838636439333863343761346461336337353065633433353333363961
+35616637626331646330653866316165653462353532373137393235386132366431306430346335
+35346333623766303963613162653164633762353738346361343732353939346362306132623261
+32306334303965633162336462396337353037613465323632313038656566323866343936386337
+63353136373436363065393163626237396665653035643365373865613162393164613631383530
+63376232316362656466386564393139636131306564643331623861353636313438323031396264
+32663334613438646662366530656233373466643066363131313864326537653932383737373932
+61663333313538613034663461313964313366643332393962346639313965653734623463383331
+36343936323332393633346232626439366262303635313466633665313130376366313561336230
+62366139373563306666383562616335623664396236336164643262386363643037396665623865
+65623864623939653265623733343361356432303438623736623330393164323039623465353266
+31363562316438316461363839373833366463316262326632373238643338656561643566626337
+63396431366562373831623337643134663139663832383630653330343331306262646630633261
+65333262323463636534623137653534653665306662666365303738333732393264386132396633
+36613362303663326337333138316261343135666637626133383833393234353836326233616637
+61646130383264383430616637396365633561646132616361383830393966306139633966633635
+35373531653737356562323739643465313139663831643730663238653962383961636664343930
+32393836656230633432323631643631363364643161383930646666376665326163353131393733
+38653530383264343233306630393865646462373761363135386461336239646662386239336663
+35343337656564333434363963333137623237333361626466663236336565346661393634393163
+34343466353064343564313533306630653764613239323638313837343335616134376631323461
+39616132656431373265313738643234643733396361373637393433343666356338383736333137
+65653962323561333033613732653630636131623938393037373935613364313936623562343938
+61663736626538323565376631366363333430316334356136333863656635636665653563643435
+64383135613935363130303437313861313739653333306638303839366166343362633130666532
+37653139633639343032373737623161346134636538643661363666616233356438383266303565
+38353536366232636637333331303739616230303332656534333633623336316266376431333861
+33616232636137613537626230353163326531333336336434363465633466383530633733386535
+32386638653531643933316661333137323236343330656631336139616336613032366161633839
+62373065653937343162336331623639333437393864386133653663353235393938653235373333
+33386263383839396138323566386361393933623332343762653864626439613866623137633963
+63383632653636353065316531333465353763653565616230303532333763393731343165356666
+63616132376139666631393066323438353335313165316539626562646638643865373234303635
+33663330336638653463373337656464396463326231323739376238373264356136636362386164
+32353238383262633061353466333531646236303465323735373035623935356564656138623735
+32393431653163323935613663343064663234313436643463633465376265633466333036386363
+36396434303164343532343430323639346535613663643031383363386161643236646236373763
+65623965316138333037643138613731613833336663393732353439366539393439316536343938
+30366663363539626639326565343931323564336636386534326663356562353339343732333930
+65613064663437366437386364303366356165343639656532373664333030363639353937363463
+34356538353363366331326661613237326163386666313639356335656366633333616264633766
+62396262323663376338363466343333633663306334666634633662663432313861323738303961
+38396561663436363461626465613663616564333236343834386261653462656532656561393636
+32666431646433356134376165336562316234326435336437636133323463366364393034363733
+62633739613634353733

lmn-client.yml

@@ -87,12 +87,7 @@
     - lmn_security
 
   tasks:
-    - name: Timestamp successfull run
-      ansible.builtin.shell: date --iso-8601=seconds >> /root/.ansible/stamps
-      changed_when: False
-      tags: upgrade
-
-## Temporary fixes and quirks:
+    ## Temporary fixes and quirks:
     - name: Fix 8086:4909 external graphics card
       replace:
         dest: "/etc/default/grub"
@@ -244,6 +239,14 @@
         line: DefaultTimeoutStopSec=5s
         insertafter: '^#DefaultTimeoutStopSec=.*'
 
+#################
+
+    - name: Timestamp successfull run and send up-to-date report
+      ansible.builtin.shell:
+        cmd: date --iso-8601=seconds >> /root/.ansible/stamps && /usr/local/sbin/reporter
+      changed_when: False
+      tags: upgrade
+
 #################
 
 - name: Apply additional laptop configuration

tools/emitter

@@ -28,7 +28,6 @@ echo "Time stamp at: $timestamp."
 #dir="$(mktemp -d)"
 dir="/tmp/emitter"
 mkdir -vp "$dir"
-touch "$dir/${timestamp//T*/}"
 
 hlist=""
 n=0
@@ -51,24 +50,23 @@ find_outdated(){
             if [[ -z "$ipa" ]] ; then
                 # FIXME: Outdated report format, try fallback:
                 ipa="$(sed -nE "s|^.+default via.+ src ($r) metric.+|\1|p" "$file" | head -1)"
+                echo -ne "\n Outdated '$ipa': $file"
             fi
-            $debug && echo "'$ipa'."
-            if ! grep -q "$ipa" "$dir/${timestamp//T*/}" ; then
-                echo "$ipa" >> "$dir/${timestamp//T*/}"
-                hlist="$hlist,$ipa"
-                n=$(( n + 1 ))
-                if [[ $(date --date="$d" +%s) -lt $(date --date="$git_date" +%s) ]] ; then
-                    ## ansible run needed at least on one machine, run it on all:
-                    echo "Triggering full ansible run!"
-                    ansible_arg=""
-                fi
+            hlist="$hlist,$ipa"
+            n=$(( n + 1 ))
+            if [[ $(date --date="$d" +%s) -lt $(date --date="$git_date" +%s) ]] ; then
+                ## ansible run needed at least on one machine, run it on all:
+                echo -n "✗"
+                ansible_arg=""
             else
-                $debug && echo "Host already processed before."
+                echo -n  "U"
             fi
+        else
+            echo -n '✓'
         fi
     done <  <(find "$logdir" -maxdepth 1 -type f -mmin -$age -print0)
     hlist="${hlist#,}"
-    echo -n "Running hosts: $running, to be upgraded: $n. "
+    echo -n " $n/$running "
 }
 
 run_ansible(){
@@ -78,8 +76,7 @@ run_ansible(){
              ansible-playbook --vault-password-file ~/.vaultpwd \
              -bi inventory.yml "$pbook.yml" "$ansible_arg" -l "$hsts" ; then
             while IFS= read -r ipa ; do
-                sed -i "/$ipa/d" "$dir/${timestamp//T*/}"
-                echo "IP address '$ipa' removed from '$dir/${timestamp//T*/}'."
+                echo "Ansible for IP address '$ipa' failed."
             done < "$dir/$pbook.retry"
         fi
     fi
@@ -87,10 +84,10 @@ run_ansible(){
 
 #################
 while true ; do
-    date --rfc-3339=seconds
+    date +%H:%M | tr '\n' ' '
     find_outdated
     run_ansible "$hlist"
     t=$(( 600/(n*n+1) ))
-    echo -n "Sleeping for $t seconds now ... "
+    echo "sleeping ${t}s "
     sleep $t
 done