| 1 | #ifndef  BRPROC_H_SEEN | 
|---|
| 2 | #define  BRPROC_H_SEEN | 
|---|
| 3 |  | 
|---|
| 4 | //---------------------------------------------------------------- | 
|---|
| 5 | // Projet BAORadio - (C) LAL/IRFU  2008-2011 | 
|---|
| 6 | // Classes de threads de traitememt donnees BAORadio | 
|---|
| 7 | //  Principales classes utilisables | 
|---|
| 8 | //  - BRMeanSpecCalculator (donnees FFT ou RAW apres BRFFTCalculator) | 
|---|
| 9 | //  - BRFFTCalculator (donnees RAW) | 
|---|
| 10 | //---------------------------------------------------------------- | 
|---|
| 11 |  | 
|---|
| 12 |  | 
|---|
| 13 | #include <string> | 
|---|
| 14 | #include <vector> | 
|---|
| 15 | #include <iostream> | 
|---|
| 16 |  | 
|---|
| 17 | #include "racqumem.h" | 
|---|
| 18 | #include "brbaseproc.h" | 
|---|
| 19 | #include "parlex.h" | 
|---|
| 20 | #include "sopnamsp.h" | 
|---|
| 21 | #include "tvector.h" | 
|---|
| 22 | #include "ntuple.h" | 
|---|
| 23 | #include "datatable.h" | 
|---|
| 24 | #include "swfitsdtable.h" | 
|---|
| 25 | #include "FFTW/fftw3.h" | 
|---|
| 26 |  | 
|---|
| 27 | using namespace std; | 
|---|
| 28 |  | 
|---|
| 29 |  | 
|---|
| 30 |  | 
|---|
| 31 | //--------------------------------------------------------------------- | 
|---|
| 32 | // Classe de traitement simple - calcul de spectres moyennes / voie | 
|---|
| 33 | // a partir de donnees de type FFT (firmware FFT ou firmware RAW | 
|---|
| 34 | // apres traitement par BRFFTCalculator) | 
|---|
| 35 | // Peut servir egalement comme classe de base, apres heritage et | 
|---|
| 36 | // redefinition des methodes ProcSpecWin() et/ou FlagBadPackets() | 
|---|
| 37 | //--------------------------------------------------------------------- | 
|---|
| 38 |  | 
|---|
| 39 | class BRMeanSpecCalculator : public BRBaseProcessor | 
|---|
| 40 | { | 
|---|
| 41 | public: | 
|---|
| 42 | BRMeanSpecCalculator(RAcqMemZoneMgr& memgr, string outpath, uint_4 nmean=1000, | 
|---|
| 43 | bool fgdatafft=true, bool fgsinglechan=false); | 
|---|
| 44 | virtual ~BRMeanSpecCalculator(); // Fait le nettoyage final , sauvegarde des objets ... | 
|---|
| 45 |  | 
|---|
| 46 | // Definit la taille de la fenetre temporelle (winsz = nb de paquets) des spectres a traiter | 
|---|
| 47 | // Cette zone est etendu de wszext paquet en debut et en fin de paquet | 
|---|
| 48 | void SetSpectraWindowSize(uint_4 winsz=15, uint_4 wszext=3); | 
|---|
| 49 | // Taille de la fenetre en temps (nb de paquets a traiter en bloc | 
|---|
| 50 | inline sa_size_t GetSpectraWindowSize() { return spec_window_.SizeZ()-2*spwin_ext_sz_; } | 
|---|
| 51 | // Taille de la zone d'extension de la fenetre de chaque cote | 
|---|
| 52 | inline sa_size_t GetSpecWinExtensionSize() { return spwin_ext_sz_; } | 
|---|
| 53 | // La taille de recouvrement est le double de la taille de la zone d'extension | 
|---|
| 54 | inline sa_size_t GetSpecWinOverlapSize() { return 2*spwin_ext_sz_; } | 
|---|
| 55 | // Retourne l'index (selon Z) dans le tableau des spectres en fonction du numero de paquet | 
|---|
| 56 | inline sa_size_t PaqNumToArrayIndex(uint_8 numpaq)  { return numpaq%spec_window_.SizeZ() ; } | 
|---|
| 57 |  | 
|---|
| 58 | // Pour definir le nombre maximum de fichiers de fenetres de spectres a sauver sur fichiers | 
|---|
| 59 | inline void SetMaxNbSepcWinFiles(uint_4 nmax=0)  {  nmaxfiles_specw_=nmax; } | 
|---|
| 60 |  | 
|---|
| 61 | // Pour definir le datatable a remplir - pas de DataTable rempli si pas appele | 
|---|
| 62 | virtual void DefineDataTable(); | 
|---|
| 63 |  | 
|---|
| 64 | inline void SetVarianceLimits(double vmin=0., double vmax=9.e99) | 
|---|
| 65 | { varmin_=vmin;  varmax_=vmax; } | 
|---|
| 66 |  | 
|---|
| 67 | // lecture des gains en fonction de la frequence depuis un fichier FITS | 
|---|
| 68 | // flag fgapp: Active ou desactive la renormalisation de coefficients de Fourier par les gains=f(frequence) | 
|---|
| 69 | void ReadGainFitsFile(string filename, bool fgapp=true); | 
|---|
| 70 |  | 
|---|
| 71 | protected: | 
|---|
| 72 | virtual int Process();   // appele paquet par paquet | 
|---|
| 73 | // appele par Process() pour traiter un groupe de paquets correspondant a une fenetre en temps | 
|---|
| 74 | virtual void ProcSpecWin(uint_8 numpaqstart, uint_8 numpaqend);  // appele fenetre par fenetre | 
|---|
| 75 | virtual void FlagBadPackets(uint_8 numpaqstart, uint_8 numpaqend); | 
|---|
| 76 | virtual void SaveMeanSpectra();  // Pour sauver les spectres moyennes ( + sigma ) dans un fichier | 
|---|
| 77 | virtual void SaveSpectraWindow();  // Pour sauver les spectres de la fenetre temporel ds un fichier | 
|---|
| 78 |  | 
|---|
| 79 |  | 
|---|
| 80 | uint_4 nmean_;  // Nombre de spectres pour le calcul des moyennes | 
|---|
| 81 | string outpath_;  // directory pour fichiers de sortie | 
|---|
| 82 | bool fgdatafft_; | 
|---|
| 83 | bool fgsinglechannel_; | 
|---|
| 84 | uint_4 numfile_; | 
|---|
| 85 | vector<uint_8> nbpaq4mean_; | 
|---|
| 86 | uint_8 totnbpaq_; | 
|---|
| 87 |  | 
|---|
| 88 | TMatrix< r_4 > mspecmtx_;    // Matrice des spectres moyennees | 
|---|
| 89 | TMatrix< r_4 > sigspecmtx_;    // Matrice des sigmas des spectres | 
|---|
| 90 |  | 
|---|
| 91 | TArray< r_4 > spec_window_;    // fenetre en temps sur les spectres | 
|---|
| 92 | uint_4 spwin_ext_sz_;          // Taille de la zone d'extension en debut et en fin | 
|---|
| 93 | TArray< uint_2 > clnflg_;      // flag de nettoyage resultant de la routine   FlagBadPackets() | 
|---|
| 94 | uint_8 paqnum_w_start;     // numero de paquet du debut de la fenetre en temps (inclusif) | 
|---|
| 95 | uint_8 paqnum_w_end;       // numero de paquet final de la fenetre en temps (non inclusif) | 
|---|
| 96 |  | 
|---|
| 97 | uint_4 nbtot_specwin_;    // nombre total de fenetre de spectres traites | 
|---|
| 98 | uint_4 nmaxfiles_specw_;   // nombre maximum de fichier de fenetre_spectre | 
|---|
| 99 |  | 
|---|
| 100 | TMatrix< r_4 > sgain_;   // gain en fonction de la frequence | 
|---|
| 101 | bool fg_apply_gains_; | 
|---|
| 102 |  | 
|---|
| 103 | double varmin_, varmax_;  // limites pour la coupure sur la variance | 
|---|
| 104 | vector<uint_8> nbadpaq_; | 
|---|
| 105 |  | 
|---|
| 106 | FitsInOutFile* ofsdtp_;   // Output fits stream for datatable | 
|---|
| 107 | SwFitsDataTable* dtp_;    // DataTable | 
|---|
| 108 | double* xnt_; | 
|---|
| 109 | }; | 
|---|
| 110 |  | 
|---|
| 111 | //------------------------------------------------------------------------- | 
|---|
| 112 | // Classe WBRFFT : Calcul de TF sur donnees brutes (firmware RAW) | 
|---|
| 113 | //   en utilisant FFTW et en effectuant une copie ds tableau local | 
|---|
| 114 | //------------------------------------------------------------------------- | 
|---|
| 115 | typedef unsigned char IDT ;   // definition type de donnees en entree de WBRFFT | 
|---|
| 116 | typedef int_2  IIDT ;      // definition type de donnees intermediaire | 
|---|
| 117 | typedef float  ODT;  // type de donnees en sortie (complex < ODT > ) | 
|---|
| 118 | //----Classe WBRFFT---- | 
|---|
| 119 | class WBRFFT { | 
|---|
| 120 | public: | 
|---|
| 121 | WBRFFT(uint_4 sz=0); | 
|---|
| 122 | virtual ~WBRFFT(); | 
|---|
| 123 |  | 
|---|
| 124 | void SetInDataSize(uint_4 sz); | 
|---|
| 125 | void DoFFT(IDT *indata, complex<ODT> * ofc); | 
|---|
| 126 | static void PrintData(IDT *indata,  complex<ODT> * ofc, uint_4 sz); | 
|---|
| 127 |  | 
|---|
| 128 | uint_4 sz_;   // Taille tableau d'entree | 
|---|
| 129 | TVector< ODT > inp; | 
|---|
| 130 | TVector< complex<ODT> > outfc; | 
|---|
| 131 | fftwf_plan myplan_; | 
|---|
| 132 | static ZMutex* mtx_fftwp_;  // Mutex de protection pour la creation du plan fftw | 
|---|
| 133 | }; | 
|---|
| 134 | //-------------------- | 
|---|
| 135 |  | 
|---|
| 136 | //--------------------------------------------------------------------- | 
|---|
| 137 | // Classe de thread de calcul de FFT sur donnees RAW | 
|---|
| 138 | //--------------------------------------------------------------------- | 
|---|
| 139 | class BRFFTCalculator : public BRBaseProcessor | 
|---|
| 140 | { | 
|---|
| 141 | public: | 
|---|
| 142 | BRFFTCalculator(RAcqMemZoneMgr& memgr, bool fgsinglechannel=false); | 
|---|
| 143 | virtual ~BRFFTCalculator(); // Fait le nettoyage final , sauvegarde des objets ... | 
|---|
| 144 |  | 
|---|
| 145 | protected: | 
|---|
| 146 | virtual int Process(); | 
|---|
| 147 |  | 
|---|
| 148 | bool fgsinglechannel_; | 
|---|
| 149 | uint_8 totnbfftpaq_; | 
|---|
| 150 | WBRFFT ffts_; | 
|---|
| 151 | }; | 
|---|
| 152 |  | 
|---|
| 153 |  | 
|---|
| 154 | //------------------------------------------------------------------------- | 
|---|
| 155 | //    **** OBSOLETE : BRProcA2C et BRProcB4C | 
|---|
| 156 | //   Anciennes classes de traitement (Avant Nov2009) utilises par mcrd.cc | 
|---|
| 157 | //------------------------------------------------------------------------- | 
|---|
| 158 | //--------------------------------------------------------------------- | 
|---|
| 159 | // Classe thread de traitement avec 2 voies par frame (donnees raw/FFT | 
|---|
| 160 | //--------------------------------------------------------------------- | 
|---|
| 161 |  | 
|---|
| 162 | /*-- Arguments du constructeur : | 
|---|
| 163 | o mem : gestionnaire zones memoires avec contenant les "frames" avec 2 voies/frame | 
|---|
| 164 | o path : Chemin et nom des fichiers PPF produits (on ajoute _numero.ppf ) | 
|---|
| 165 | o nmean : Nombre de frame (paquets) moyennes | 
|---|
| 166 | o nmax : Nombre maxi de frames traites | 
|---|
| 167 | o fghist = true -> fait aussi l'histo des valeurs des echantillons temps | 
|---|
| 168 | o nfsmap>0 : fabrication de cartes (image 2D) des spectres, | 
|---|
| 169 | avec nfsmap=nombre de frequences sommes | 
|---|
| 170 | o fgnotrl = true -> fichiers fits / paquets sans trailer | 
|---|
| 171 | o card : numero de carte , juste pour les impressions | 
|---|
| 172 | */ | 
|---|
| 173 | class BRProcA2C : public ZThread {   // !!!! OBSOLETE  !!!! | 
|---|
| 174 | public: | 
|---|
| 175 | BRProcA2C(RAcqMemZoneMgr& mem, string& path, bool fgraw, | 
|---|
| 176 | uint_4 nmean=10, uint_4 nmax=100, bool fgtshist=false, | 
|---|
| 177 | uint_4 nfsmap=0, bool fgnotrl=false, int card=1); | 
|---|
| 178 | virtual void run(); | 
|---|
| 179 | void Stop(); | 
|---|
| 180 | inline void STOP() { stop_ = true; } | 
|---|
| 181 | protected: | 
|---|
| 182 | RAcqMemZoneMgr& memgr; | 
|---|
| 183 | bool stop_; | 
|---|
| 184 | bool fgraw_;   // true -> raw data | 
|---|
| 185 | uint_4 nmax_;  // Nombre maxi de blocs MemZone traites | 
|---|
| 186 | uint_4 nmean_;  // Nombre de spectres pour le calcul des moyennes | 
|---|
| 187 | uint_4 nfsmap_;  // Binning en frequence pour les cartes 2D temps-freq | 
|---|
| 188 | string path_; | 
|---|
| 189 | bool fghist_;   // if true, fill and save histogram with time sample values | 
|---|
| 190 | bool fgnotrl_;   // if true, don't check packet trailer - when using pre-june fits files | 
|---|
| 191 | int card_;   // Numeros de voies 2*card_-1, 2*card_ | 
|---|
| 192 | }; | 
|---|
| 193 |  | 
|---|
| 194 | //--------------------------------------------------------------------- | 
|---|
| 195 | // Classe thread de traitement 2 x 2 voies/paquet (Apres BRProcA2C) | 
|---|
| 196 | //         !!!! OBSOLETE  !!!! | 
|---|
| 197 | //--------------------------------------------------------------------- | 
|---|
| 198 | /*-- Arguments du constructeur : | 
|---|
| 199 | o mem1,mem2 : gestionnairea zones memoires avec contenant les donnees des 4 voies (2 voies/frame) | 
|---|
| 200 | o path : Chemin et nom des fichiers PPF produits (on ajoute _numero.ppf ) | 
|---|
| 201 | o nmean : Nombre de frame (paquets) moyennes | 
|---|
| 202 | o nmax : Nombre maxi de frames traites | 
|---|
| 203 | o fgnotrl = true -> fichiers fits / paquets sans trailer | 
|---|
| 204 | o card : numero de carte , juste pour les impressions | 
|---|
| 205 | */ | 
|---|
| 206 |  | 
|---|
| 207 | class BRProcB4C : public ZThread {  //   !!!! OBSOLETE  !!!! | 
|---|
| 208 |  | 
|---|
| 209 | public: | 
|---|
| 210 | BRProcB4C(RAcqMemZoneMgr& mem1, RAcqMemZoneMgr& mem2, string& path, | 
|---|
| 211 | bool fgraw, uint_4 nmean=10, uint_4 nmax=100, bool fgnotrl=false); | 
|---|
| 212 | virtual void run(); | 
|---|
| 213 | void Stop(); | 
|---|
| 214 | inline void STOP() { stop_ = true; } | 
|---|
| 215 | protected: | 
|---|
| 216 | RAcqMemZoneMgr& memgr1; | 
|---|
| 217 | RAcqMemZoneMgr& memgr2; | 
|---|
| 218 | bool stop_; | 
|---|
| 219 | bool fgraw_;   // true -> raw data | 
|---|
| 220 | uint_4 nmax_;  // Nombre maxi de blocs MemZone traites | 
|---|
| 221 | uint_4 nmean_;  // Nombre de blocs pour le calcul des moyennes | 
|---|
| 222 | string path_; | 
|---|
| 223 | bool fgnotrl_;   // if true, don't check packet trailer - when using pre-june fits files | 
|---|
| 224 | }; | 
|---|
| 225 |  | 
|---|
| 226 |  | 
|---|
| 227 |  | 
|---|
| 228 | #endif | 
|---|