Netdata: add monitoring for postgresql databases

files/miniflux/docker-compose.yml.j2

@@ -38,6 +38,7 @@ services:
       - POSTGRES_DB={{ miniflux_postgres_database }}
     networks:
       - "miniflux_network"
+      - "{{ web_proxy_network }}"
     volumes:
       - {{ postgres_data_dir }}:/var/lib/postgresql/data
     healthcheck:

files/netdata/docker-compose.yml.j2

@@ -2,7 +2,7 @@
 services:
 
   netdata:
-    image: netdata/netdata:v2.6.0
+    image: netdata/netdata:v2.6.1
     container_name: netdata
     restart: unless-stopped
     cap_add:

files/netdata/go.d/postgres.conf

@@ -0,0 +1,6 @@
+autodetection_retry: 0
+jobs:
+  - name: outline_db
+    dsn: 'postgresql://netdata:{{ netdata_postgres_password }}@outline_postgres:5432/outline'
+  - name: miniflux_db
+    dsn: 'postgresql://netdata:{{ netdata_postgres_password }}@miniflux_postgres:5432/miniflux'

files/outline/docker-compose.yml.j2

@@ -58,8 +58,7 @@ services:
     container_name: outline_redis
     restart: unless-stopped
     networks:
-      - "outline_network"
-    
+      - "outline_network"   
 
   outline_postgres:
     image: postgres:16.3-bookworm
@@ -69,6 +68,7 @@ services:
       - {{ postgres_data_dir }}:/var/lib/postgresql/data
     networks:
       - "outline_network"
+      - "{{ web_proxy_network }}"
     environment:
       POSTGRES_USER: '{{ outline_postgres_user }}'
       POSTGRES_PASSWORD: '{{ outline_postgres_password }}'

playbook-netdata.yml

@@ -42,21 +42,34 @@
         group: "{{ app_user }}"
         mode: "0640"
 
-    - name: "Copy prometheus plugin config file"
-      ansible.builtin.copy:
-        src: "files/{{ app_name }}/go.d/prometheus.conf"
-        dest: "{{ config_go_d_dir }}/prometheus.conf"
-        owner: "{{ app_user }}"
-        group: "{{ app_user }}"
-        mode: "0640"
+    - name: "Find all go.d plugin config files"
+      ansible.builtin.find:
+        paths: "files/{{ app_name }}/go.d"
+        file_type: file
+      delegate_to: localhost
+      register: go_d_source_files
 
-    - name: "Copy fail2ban plugin config file"
-      ansible.builtin.copy:
-        src: "files/{{ app_name }}/go.d/fail2ban.conf"
-        dest: "{{ config_go_d_dir }}/fail2ban.conf"
+    - name: "Template all go.d plugin config files"
+      ansible.builtin.template:
+        src: "{{ item.path }}"
+        dest: "{{ config_go_d_dir }}/{{ item.path | basename }}"
         owner: "{{ app_user }}"
         group: "{{ app_user }}"
         mode: "0640"
+      loop: "{{ go_d_source_files.files }}"
+
+    - name: "Find existing go.d config files on server"
+      ansible.builtin.find:
+        paths: "{{ config_go_d_dir }}"
+        file_type: file
+      register: go_d_existing_files
+
+    - name: "Remove go.d config files that don't exist in source"
+      ansible.builtin.file:
+        path: "{{ item.path }}"
+        state: absent
+      loop: "{{ go_d_existing_files.files }}"
+      when: (item.path | basename) not in (go_d_source_files.files | map(attribute='path') | map('basename') | list)
 
     - name: "Grab docker group id."
       ansible.builtin.shell:

vars/secrets.yml

@@ -1,142 +1,153 @@
 $ANSIBLE_VAULT;1.1;AES256
-62653431636461623338643536653736633166303934626565363963373637396534303130373035
-6565376162653735313737333439633862643366336264650a633265316463323062653032363861
-32626536343138663837633334316537373662653262366163633334623764633938323363363962
-6230333564643665320a613862653632363363616266336338346539323964383736366235306437
-33306363353163383663643062656330313134353836666232616532316264303564336235356661
-30653262363866653139646436333036393837383262643537313933613939326433313565393465
-31373036353133663337613935343038616164316132303833363338623863633234656537653039
-62626436346238636234393939366139363034306432326538656264343733356537393332633836
-38636639626665666238656338363633383566616638353235383465623232646537616230626630
-63303130316438353934656636393366306566346362356564393661643064323630636463383061
-37636461386432323136393739633862313337333261306664323361393835323034643134383461
-31313762616538336666656137373631336132383364646163633732323431613239333563653332
-65616664333839363834333362626238633833666430653738613636333432333430333861356339
-61323865663661383534343964346238383134613532616637346235616139383434623564333361
-31636165653261363830623162623738333937316664633434346431626630393837366666643434
-61643734653834326434353431393732376266626266313264376235323838313539306463653864
-36393461366230643234376161623330326365616539323965633431633238386262373562383161
-39323634633166643038356434616461613864303334393932663730303839373530643933323839
-66353337326336656635636362356531613634623633303461336565363564393964663430393666
-64326439346233346132653230343234653430653239636362616561636166343030303863373337
-36363633646432613138313062346164663730313061363432396138323561366430316439343036
-32353931393064666231323863656165363066313236613332356161363139616636333963386130
-37363030383765613132353161613766633635363033656561343038633839313933646264383730
-64336339646264383332373639326164373163383966626363653762643037353636376336626136
-33346533303036326531316332306461646361376435316438376161663162336335353938366565
-30633133653431393066393961313138383337313731653031323432633766356338316366373432
-32373937663961623739633439636661336461346132376533373961666432353937373066643165
-61663063363661633938373365393665356665636562646265313834373962336566393835633339
-34396666396162613162326331313037303933366564623837386338363063636564656339336639
-66346465366233663534373465313930323134313835316464363263383866313563396263616535
-63383265623865636162346635613863356266336664343434393437656134353639353535383332
-62623934643930313939646466663336633034343534396137333264623263663866663339663266
-30343234356536663262616363376663646264353331646164376331376639363135373137396437
-37363166386233356434656237373535326162303437346233623263663534383032363638376134
-61653939306433393437656465343066613530396265396262373433383637656266303064623234
-64333062353435373863636439663561393763333538303836303631666262326430623835656138
-37653562353562373935333235316430613737653862303933333062643663333364333966643461
-33323335346566363337643161303835356336306232653763346639323265373432376239363566
-64373562653238333865326335613133636335373739396335633631313431363061616139303463
-37333364393438666532396131343637373833353766396234383739306565646439366438653032
-33656330343061636338643465653664326338663233316631303465666632653436633135643664
-64616132366632666431653262393035393163343664303961396431666236303864303865343634
-35616634613165373637653235323164323666343436646339646637646234306163333462393063
-32346534636165656436353036316232303266616135303663343631303565623562616237306365
-65303938646239393564333461343238636335336533633265383066653734613332656563666434
-31316665613630336263613934316361383332363164323266373565323239343033666663396534
-39323739313636616232663535386439363065333766623837336230303334656466656262613363
-37386664336436376530373436353235616437333834646563353830626162336261333135383866
-64383930316531373366646335306131633166353161336463376530353066356530393665393063
-31613636386532623035373866373065633233633135343439616662616232366337313764646436
-64626262643532613136373238316561616361393433323066326333663663353236393662396539
-31653036303031303462643231333965653536666136313638613832393361666131363435633932
-31663864326563663230626237643763333737613239373134626433636564386231383961316162
-39383165336433626466393935383363396333636131643733663866356434366664613766396263
-34313934626133653361633665323131613736306331373732323434323535346136393964356231
-62346136356331393238346333393266613365633563626238353530333931613330663765393936
-32333261353634646366323238353238643837633735636662356630373464343330626630656130
-36356565356430643133386461313335343436316263303064366139316638663161356332386362
-37376431393661386231313763303266313630323362363664336366633035353562303439373630
-33343265633630343065363461363064653933303932613761303538393734373962613633386539
-66636534333537313135356665633966326430373062346136326532666638303334653263646431
-38393131653338316663313265653861663334326635353137623739396636333637343137636339
-32303836373535326363396434326233623532633931653039643763326263616232333462616631
-36666564623030396134346665386661386433366266363739626161653062323963313365353161
-35643530343439326133613939353737653165326538666530366530323963363839373032326462
-34666235376263616364656130633637346334353934396132353263313237316366303137386430
-64653563333963313361303239666361336136356363306266633833366262326431616161613238
-38653538613032386238623839663332613064333031303939363733396635373238666562386536
-32316566666435376239386637396334643861643634316338613063656465373164646530363865
-34373130636435326130633437303539646535336131393339613139383636333763336530636534
-34636666666265373636326666333130623863316465663333653466353063313134386262333739
-62626264393362353663303531313061643538663532333164336662343732373463623166396539
-39396531376338616538633633343733343765306237656466666232623163303738643431633763
-61656335616430653936303831393664653365363764333362373337323364323039363163353461
-61336536316466396636306266353830316665343739613033346538333830306263386134613737
-64316339613462346438656362346664303762643766373364343931626530626439336634666537
-31633964386564663531343764326666666261643464353438353035333665363434646661646663
-38636239373331623061343730376632393963303732393533396464633131633435373161303163
-66383461343861326665623463636262336562633936623563373136613063356362383862663232
-37333331373431393137363735613366656434323065346661366433663464666363343231393863
-64633530316230653065356165366135396531663731323866376162306238343962376362633234
-61626563306431623336623737353931316236623333623337383366613262346631646330313637
-39366239396330303461303666396431663062626533336136643039353034633230353765353334
-38613362653963336162326163356662356661386630353664333265373032316531656131376665
-37376262363130336161613230333863653662623436666361396561613935323432663665643138
-38616564636634613164313666393532396265396135326538336665373232316461326635306131
-34343632636637653835653131613161316237346239363830386536363933643532333533373333
-39643364306163666366376535653333323435383332633961343930633635383030356463333964
-39626130666166313234386439383833616265316265363430343134633730336261383435356138
-62373063346238613061363033343366623633373034346531303538396335653938646664303962
-31336634623135616237323837623831306535316463613266326262663934303938373132343735
-37656335333263326531646162393738653632376164323165393563656138613830633936396433
-61353332343134636564333233393863643837353366386234376237623435663765343366363033
-63326233383962633266303962613361643464613764303531333930363736323535386632393766
-61353666303134663466333330383031333933666137346364656364313965656164303065303530
-34616130653061613934393831373130333566363736626261316330303966656162326638333130
-66373133613536623566303432356666346535636237616561323063643439616436393666376536
-32613830343636393031333737376332396230313034393062663437613838363263333233613439
-30623039336339373234326261306435366332656164613439376139346333616331326561383963
-30643133376632656564616536323863373237623263366266396264633464373765316164346165
-37636233633661643362636630356333333766613036663335613264333439323239633861363034
-34663937376530653837653236303839336631313863363239626632646436653638366638366566
-39306538353231623434373537313862386335393262633062313432646232623863383731313031
-30656366363837366666393933346238363336363030373836386230343062363661306263633163
-33626562623935643665626239386133636531393536336661613430343630333961303233343430
-63656666346138643163393663316134666336323961626163376461663635633834333337393062
-61656163613234633965356133666335343065626137633137333266613561633936386136643134
-37383562663031393133326662623136386539633066323336306262346236613161613637626162
-36636133666334333636653535623732343233396430653566393165353431303739656239373738
-33323939633264303139323162613964306237376461383261646635343036313639626539373238
-32336537373436373338386432646139303831383138326564333739353761616336346461356532
-38303138656533386231303336336564656135346162376662663962663763353830663237323138
-33373331656637363139626132393231313136303936633161636261643264313230356261366165
-39666331306262643566663830626663656530303831343231323336306266363735393966613062
-63353938386263376166316335656164633233633465303065663565373764343031663866653135
-64663766386436653665356265333565323336636539656237303334383636353161643366656637
-66356532373130323236313936623964663433333965326662333833316437326461326165376661
-66396537653032346666363965313339323331303864616230646361386335663138613433326261
-35613430363864336635343434333761656639633863323534653862383936653762646134356664
-38326463326239636162333435656561343739366364313738663535636136323439373462643832
-62633661663337343538393466613734633531666532353161616231323161646237653736346561
-64323063656366373931396639393261643333393333626539663561636661393936316539633263
-63343331313464623636353031343232613534663565303538333164306531303438616539386364
-30376233333630336431336364663834633734636261353364343564333639623737363538313462
-61616233663335303062336635376435643965373039336231346234363436356238356162613138
-65326532663461616263626238346535623136633039613939353132313836373962646463333535
-65313562346631633435616232366166373763346337303561326130333936346130363431383036
-62356435616630396539303633343166646461393030336462366463636138316333633363643636
-65376131333731356566333237363266656466376539326438313930376363386231616138336335
-65333735653830373035656265336331346562353233663465343935383235303930633831613137
-64303130666532303733633133386334613733383562613661643931636136386264396438316366
-61653964643135646332343764666134336666336232376465353462356632346533633961636534
-32643234396636303135663562656435376561336235303837643932366334616265383639343733
-65633833653763643366646232343765306131313465326263623636386131376463356139623334
-39343163366439643334646663393434353333316234623530393431643539346435616263303734
-61633066653838363933646230623238653431393061646430383537343363643562653831336362
-37626630633161653763386663373630306564663339393265663732623434643231326335376562
-37663234643466366535326461396631633430613431346134316635653032663033623465346338
-61353331393631343365663233376330333730366161353362626166646232313666336333386265
-33373761313536326165343339346263316636363362393365663034353964373164643763383037
-3666
+63373036366166656237633763383561363561323666346539353465653164393563353131636162
+6330633963646139633734373466336161656133343736610a363264333136343131373964303837
+30333663333433633366333333363035313937383130643635653031613238626434356662366366
+6663396465666330340a623164663965353364383338373062383065376331313665316463383565
+34326435643363633235656436633839333832626138623432626134616632383533326363326466
+62393761663633636263656437316539653864306234343733373732623731376330323031356662
+64386364393730333636343630363230656135363536303537343036616139616131323933336138
+34336666316335323737626633383138383862656330656561363063313431653063363037656461
+39386431323763613332396539353738356164346634396437313934646632393766613666383234
+66333532326238626531303964623439333630663265616566636339303465653061353066353866
+39323866346362366230663639663464333535313939643938343261343963636537333337636337
+39383466346665653930313235336535316137616365366431363166623364633261663336623666
+62663365663634336566386265353433393461393962373364643964346665613761616563306461
+34376134333037626262393938656134353831633563346261343931663737303664663262356339
+65306432363461323235356265303338386466653665656633633439623430663133663562613132
+33363762653538643362646263653164313164323539393563653063346234393331656430383538
+38626565643138663230383432626466313434303263616436656134376638653565623037306635
+38313539396631623861316566396235356336643439623731623264376163346230613638333334
+33613930396238396534353463656336323033316239373361303233356339643630626431323338
+32613032363337383965313266343362313437633263376464613136653932663833633663623261
+32303432353736636139386233633762333363323431633039356536643237306439376139613935
+34353264346565356539363662346631306566373130623562653435303166346163653563333062
+39623563333637653537616634383739313133623633616238316566356239646431336230633636
+39363861313161323530363961323530633838623437316337323566663532316238623039323663
+31656561626336613233343635353363383161346435633934633239623232393963383536353630
+33326239303531363066336565313134646135643433636437313334303030383731653637396432
+38643532353331633032366438623566313237383363633239343063356632613166336561653561
+37386561373265323565386365366664326130613633643737356439653164663963396230653932
+63386337323463666533613733623864346365393135623465326239333163303833353162303038
+65363362353130396239323831343330643432396361373262613836313438313262306431623565
+30376532613133313236396530396539306464383265376164616136663761336366666165623130
+38343435616631336633353761316331323664333464653564633632336439353066326435393234
+39333533633634383534663539323038636639366537623433316330353536323361653836373533
+63393637653234633033393130363939386132623032353939636366303934636162373761353430
+64626633343239356563373537306361643337303134613364316561303161363434333335356232
+37636637303033303835366230396563313432376530373438623639633034663161626536366262
+39306239366130636665623762646232333065373261623032663332383436376164306666353439
+32353939336131383534663236313862396230323265623437383766373866633663353435643565
+38373432383065383938626234393033646532666364353637323833383237333432363631643236
+61623362366239323031316130346136396135643831303964383162333930386364356164353936
+65353838333361363032323163363138323835376137613861316131663331326334353535633662
+33623139383535366361326635326532613035396364383937373661643938323639303631373938
+36366331386633356161636639653637366138633766333734623338313837633836613032636634
+30376334343064316639623932366337336132663262316135623161626634323366353862346135
+30383865316235663163636534613534353530343366626135613263326337666339306532333435
+37616663663364616461643366376532366332336630623133636437656532376231386130363262
+39326335633765346338346334303537363535646230373262626262396131393938643133636564
+36356434313963326631336663396161666463663633343631653138393233623662633730356663
+33363835343833326462646437666131663464306631636162316632613962613931653833393630
+37366335653739333632656363303631353337353366386163666261623964666562343366666334
+31613935626635323263663666303861363862303665656466613035383336633734613166613264
+35316536333339333866326137376531316261333965323962663661336666303866376138623937
+30633330363265386662643638366665316230613636336165646132666231333262323837626634
+38616232616465646130623136376138643637646232316564386135376561623865353566306161
+64306538313636373363666132616635396462363965316633633164353463356630393265353263
+31633661386335303632616239646161373734636632356437333134613939653761626231653061
+36623132613461333966333135333031346438663135633839656561323130343433663362336666
+31353734313039636562613138333033333437643537303739393037646639656666373432316366
+31363265316161626663313564666630353161386165333965396661643430323030313564326531
+63616663366662363035363238343364336563613238366436356233353430386664306530346161
+33613664346563363865326338336634623134333265383737323734653836633639663534616331
+30353830326663306133626234356334363963613064396463376431383032366234333531396634
+65633163363933343262313463336230633764326230623761356566326630623738363239623766
+66313631346563643634333263353637393236336435656338376665373035363030633437373665
+38643337613464393531643561316465623966346663616566393565356132333239333861663238
+64613265626266616664303538313930336362373030353531383834393934323264336139303066
+63306135333230326338666433356363333333323961613932346533326234313530616635363036
+37613662386137633063623337333532666561393962663236653664656337333636643934636631
+64363930646163336339336664306564326164323137383739646535323337386163626431356165
+61363737353234663561643833396330633930313665613735353937633035343035373435306230
+34363834653136643935643765386666376432353638646434363266396461393631613562616162
+33646535326337303735353261326162386237323436313538623062646233336136643730626539
+38333436623461636336353465343035663966313634313036616266356631616137643436396539
+61313437336337396638326563383563386631363461626363396434613037326634313464616134
+39666361343233323035383039623462613837646262643731356165343039663462363332643766
+64663937373733326138666562363137316361646265376166356233363263653165303631376431
+65633964633161353764646464386537326262613230313236306435393763656539373230306164
+30356234353131633539383631636534393263396531623133343964326463383335613063636365
+35376566633737623765636661333631616263623562643735353232326136303836643730613965
+32353936396634393432633664616636306637643934353032633463343634396431386564326361
+35313834656338656435386431653039393438323937643235666136316164366366653039663832
+33653437326532393330363535356639303632333838303437363435343136343634616337616635
+62333833396661383530303561333232616135343035626634653561643530646435616633333838
+62383136386536643135356639623735383663353236303139386330626166373863366637333263
+30346234643130653833643864386638366430383961363436363739303761336235613865306261
+34303735356636633331326638303635363433616466393530363737616165383038633637323236
+30343833343935353231306233303666343735383937646565306464633230326536633735333366
+65333232646364623736363263376438636664333738346435326632656330613162323136646562
+62653264663862353937316236353964366261313132353137303535643366656530613766346237
+39363633303163623430323566633738653535343461336234356231306662346638326538313933
+63666435383463346664623131646536313466613733653630643734356663363738336361663138
+34313230626161646537353138656637303163623230346633623430323034653531383163633362
+35353766336162353034613139363139316163613938666161373835393130623834323532396330
+61383962646463376234393362613265353137316436353832663131666239383534323130366366
+39336230313331313635633264623261663462613636663631353038633135353264366134386139
+34306134643862306161646337643462326239316131373834393763643165343862663732396139
+66363537623330346162326532613339373961393539393334323633613434666564626162303265
+39386265626364363233323162343837346130656136383463623562313932386436636235336237
+37646266306234656263656564353031626562663062313634666461383265663638626163386432
+62383830653132623638633934303762333663386637643266353634383033373234353665313336
+32633762323631663966386533313032633635383263613332316164633632663161643731306563
+38303661343738393439313866616232393235663762336363396266613332336534643836623732
+61643731653864623064343734633163353538626331653638623532653864396564366364626666
+33336633346661623030656261323265616536623733346632303662643936333061613462306563
+34336335346332393631393933316234366162656139323430323262633737323539663364383439
+34313566346162373036623038353432613434393761623532653666323366393661353938353935
+33356264323032303338323062366231633135663538333535666663366638636161623832383833
+30623838663561383434643131643861656235643539633762656161323931313266376266633162
+38613635653463653934336465326436323538366231626135396533363037323662353233643664
+65303235373930633833656564666634616434653731346363383933303361306235623132396232
+34613762613532326333366437376139373634663433666537383234666132326364616665313561
+63316431636432626565363161383538656361346365313437323038353666656631636162363834
+63373762306435373938333731333664346466613035646232363332613364373230393862306338
+38386365666533383833626266663463663632343930613338376636383132356437356330346237
+31326531323634363565393166663861363933373665363032633330303565636136633965383538
+38656164663836613766616432353764623265363061333331333132633530656663383164626438
+39346361336131373662623332643134636366613932653734363137303065343063616234316464
+62396532376265363236333365313739356330323463313337636363613164396261656565356532
+37393530303036653862366665353538636338303931366235663232636262373332643638643863
+62336234636366313636613963303832346430663137333136373432303762633461363435356666
+39636564363166623036363565303563653463366564633361343464333833363030363133623035
+31333437366331356461326336653763373633656637346334643363353164623636353933343566
+64316165383037636566313936356239333830336366633362633039643361613331643237336439
+61333936363365313633343565323966376439653565326431663131396136306631373665386134
+66393433623566656331346635666565633436313165663066376333306136336139646537373539
+31306337363038333434323830623335643761666361666662303937376237653963383536363038
+63366239306163346631303532323935633165383163323035313061643939333561356535636233
+62346164333334303864633630616638306432313962653866376637356562623339373937666463
+33306266373762353561656331333731653564616633326164343930616139343166323232366536
+37366562356635376339346366363761353630633237353730616365356134383037363963613964
+31303531633862373035326533656235343562363565366664303662613835393264346365333764
+32383362656163366630356637323136356333303062663537353661323433643866663635636335
+66616531353937376438386133346465356336663164646130633231366434323036353264633766
+39336162623834396636393636396563313664303263333534306564393139313035613635356439
+62396465306138353538316430613236333737653437653562393432396234383064343837326433
+63663337383332316665393430313435306234636466383862306362366531336463653732323439
+39626166313163323334663730376536323066386238336663316339303165616233323462363632
+35363562376332336337316539356265613463616435616330626130303139633632336664363863
+66663331633965373535613066643233303335663233613532663031356130306131333363393937
+34343035373165313864303133366331373466306364313263663865366431353465323034666464
+34393835313535386233616337316537623338643330346536303566373537356262343133376537
+63396335653033343364353461616666396364616430646566333336383862313635363837626439
+39356637653635643165653266633836626539663762303937636135386538343963313836313732
+33653666633062623662316662656339383331356139613964636639613438383331646561663731
+65656531376535353666323263343666333033316135386632313536303137303730356337656630
+33323739616664323734633034666536643433383138306437653161656665643735303463646465
+64333762346531326334663434313030373238333832363839373661303631373261336137653231
+66393731393131373335626630373564393131633133313761306263303965633330303061643064
+39666635646464616264326339623763316333363737653636666631373238366338333336323636
+34623237623133633432626463383737613834353631346136333465313833346661663338366234
+63333234353632356335383730613961363437306639623437653638353530373864633863663530
+33396632386337303931