Intern:Mastertracks

Hierfür braucht ihr den PanConverter, siehe https://doi.pangaea.de/10.1594/PANGAEA.823690

Mastertracks fielax (Schiffe)
(P/H = Polarstern/Heincke; OS = other ships)

Fielax hat den Auftrag offizielle Mastertracks für Schiffe zu erstellen, sie reichen das ganze dann im JIRA als issue ein. In der Submission enthalten:


 * File A xxcampaignxx_nav
 * File B xxcampaignxx_nav_generalized
 * Datenabstract
 * P/H: Hdl auf documentation
 * OS: Processing report pdfs and trackline maps als Files angehängt an das Ticket

Autor und Titel des Submission Tickets bitte ignorieren!

Beispiel: https://issues.pangaea.de/browse/PDI-25980

Es entstehen zwei Datensätze,

Datensatz 1 („Master tracks in different resolutions…“)
Muss enthalten: 3 oder 4 Further details references, und einen Other version link Abstract aus dem Ticket muss hier ran. Beispiel für Datensatz 1: https://doi.pangaea.de/10.1594/PANGAEA.937395
 * 1) Further details: Generalized master track of SHIP cruise xxx (als Referenz, file als attachment - info zu importfile siehe Flugzeuge Intern:Mastertracks) => File B
 * 2) Further details: Station list of SHIP cruise xxx (link e.g.: https://www.pangaea.de/expeditions/events/HE552 )
 * 3) Further details: P/H: Trackline map and processing report for navigation sensors from SHIP cruise xxx (link: e.g. hdl:10013/epic.e0df8912-61ee-4512-8de8-8c2210ba8a98) OS: zwei links e.g. Processing report for navigation sensors from SONNE cruise SO270 und Trackline map of navigation sensors from SONNE cruise SO270 die jeweils auf die Dokumente auf http://store.pangaea.de/documentation/trackline_reports/XXX zeigen
 * 4) Other version link auf Datensatz 2

Datensatz 2: ("Master track of ... in 1 sec resolution") :
Hat den Titel e.g.: Master track of HEINCKE cruise xxx in 1 sec resolution (zipped, 2.2 MB) und ist seit Ende 2020 ein extra Binary Datensatz, an dem als Further details der CR (wenn vorhanden), trackline map und der processing report hängt, und der Datensatz 1 "Master tracks in different.. " als other version verlinkt (e.g. https://doi.pangaea.de/10.1594/PANGAEA.925262)

Abstract aus dem Ticket kann hier auch ran. An diesen Datensatz das keyword 1 sec resolution hängen!

=> Beispiel für Datensatz 2: https://doi.pangaea.de/10.1594/PANGAEA.925262 Die Referenzen und die korrekt benannten und mit dem richtigen Header* versehenen zips werden erstellt, wenn man File A und File B (in .txt format) auf PanConverter zieht und auf Converter => Mastertracks (convert FIELAX -> PANGAEA) klickt. Man muss dann das zip file xxxx_generalized auf den korrekten Ort im HS (nav/mastertrack/XX) schieben und die Referenz einlesen. Das andere zip file (aus File A entstanden) ist die Basis für den Binary Datensatz 2 (s. oben). Referenz Importdatei wird automatisch generiert, nur bei P/H muss das "Trackline map and processing report.." hdl aus dem Abstract eingetragen werden. Außerdem wird eine 1sec resolution Binary Import Datei erstellt für Datensatz 2

Der Datensatz 1 wird erstellt indem man File A auf PanConverter schiebt und unter Converter auf Mastertrack (create import file in 10 min resolution) klickt. Im Import file kann man die Referenz-IDs gleich eintragen. Vorsicht, wenn er die Campaign nicht kennt steht im Titel Mist am Ende. Beispiel Heincke: https://doi.pangaea.de/10.1594/PANGAEA.925259 So sieht der Metaheader im entstandenen import file (xx_nav.txt auf PanConverter gezogen) aus: "AuthorIDs": [ @A@@ ], "SourceID": 32, "Title": "Links to master tracks in different resolutions of HEINCKE cruise (HE552)", "EventLabel": "HE552-track", "ParameterIDs": [ { "ID": 1599, "PI_ID": 506, "MethodID": 43, "Format": "yyyy-MM-dd'T'HH:mm" }, { "ID": 1600, "PI_ID": 506, "MethodID": 43, "Format": "###0.00000" }, { "ID": 1601, "PI_ID": 506, "MethodID": 43, "Format": "###0.00000" }, { "ID": 2960, "PI_ID": 506, "MethodID": 50, "Format": "###0.000", "Comment": "10-min average" }, { "ID": 2961, "PI_ID": 506, "MethodID": 50, "Format": "###0.0", "Comment": "10-min average" } ], "ProjectIDs": [ 15 ], "TopologicTypeID": 6, "StatusID": 4, "LoginID": 1

Autor ID muss noch eingetragen werden. Titel ist noch nicht korrekt (korrekter Titel im obigen Beispiel: Master tracks in different resolutions of HEINCKE cruise HE552, Bremerhaven - Bremerhaven, 2020-07-19 - 2020-07-25)

Die SourceID checken, bei Polarstern und Heincke ist es 32, sonst nehme ich immer das Institut des Fahrtleiters. Nach dem Einlesen muss man noch die Further details und Other version references anhängen.

Event label muss meist erst erstellt werden (track event), bitte hierfür nach dem Start-Endhafen schauen und dann in früheren Events die Lat/Long rausziehen. Date/Time kann man aus den Mastertrack Daten ziehen.

Mastertracks fielax Flugzeuge
Fielax liefert die xxx_mastertracks und xxx_mastertrack_generalized.

- mastertrack_generalized so wie sie sind zippen (e.g. mit PanTool) und als attachment zur Referenz einesen.

=> ich habe das im Converter jetzt eingebaut, dass er für die Schiffe das Referenz importfile korrekt erstellt, für die Flugzeuge muss dies manuell erstellt werden

- Die xx_mastertrack files auch zippen, die braucht man dann für den 1-sec Datensatz.

- Processing report und trackline map werden auf store.pangaea.de/documentation/trackline_reports abgelegt als ein zip was dann in allen Flügen verlinkt wird.

- Dann aus den zips ne filelist machen (PanTool)

- Die mastertracks_generalized kann man dann weghauen, die _mastertrack files im txt Format auf PanConverter ziehen und auf Mastertrack (create import file in 30 sec resolution) gehen.

=> .._imp Dateien werden kreiert

Die ursprünglichen xxx_mastertrack (txt) Dateien verwenden, um die Events rauszuziehen. Dafür auf PanTool ziehen, und Extract lines – beginn at line 2 und extract first and last line klicken. Die entstehenden files kann man mit Concatenate files by lines zusammenfassen. Start und End Date und Lat/Long noch nebeneinander setzen, Campaign, Area und Device (AC) hinzufügen und fertig.

Aus der oben kreierten filelist kann man dann die Referenzen für den „Generalized master track“ und die „Trackline map and processing report“ erstellen (Titel und URI welche auf die zips auf dem HS zeigen) und einlesen. Ausserdem kann man sie nutzen für eine search and replace database:

Die _imp Dateien müssen noch mit Hilfe einer search and replace database angepasst werden (Autor, Titel). => Die Database mit PanTool – Search and replace many strings at once – einsetzen.

Fertig zum Import. Bzw. ich musste die import txts noch ein bisschen bearbeiten, da das Event und der Export filename nicht _mastertrack hinten (Event) bzw. vor „link-to-mastertrack“ (Export filename) haben soll.

Die 1sec resolution Other version Datensätze müssen auch aus einer Fileliste der Mastertrack.zips kreiert werden (Event und Binary Object),  sowie der Titel der Datensätze (z.B. Master track from POLAR 5 flight P5_223_MOSAiC_ACA_2020_2008060101 in 1 sec resolution (zipped, 87 kBytes)) => die Byte Zahl auf 0 Kommastellen runden und den Titel zusammenbauen. Die Datensätze einlesen und später als Other version an jeden Einzeldatensatz hängen (und nochmal komplett im Parent verlinken). Eine settings Datei kann für den Import verwendet werden.

Die Einzelfiles zu einem Parent zusammenfassen (Titel z.B.: Master tracks in different resolutions during POLAR 6 campaign FALKLAND_2017), an die Einzelfiles noch das keyword P[x]singletrack hängen (warum weiß ich nicht). Einzelfiles und Parent müssen dann noch die Referenz zu den „Trackline maps and master track processing reports for POLAR 6 campaign xxx“ angehängt bekommen. Ein zip das seit einiger Zeit von Fielax mitgeliefert wird und unter http://store.pangaea.de/documentation/trackline_reports/ abgelegt wird. Export filename für den Parent ist: Campaign_mastertracks; den abstract für das Parent liefert Fielax.

Bsp: https://doi.pangaea.de/10.1594/PANGAEA.936829

Search and replace database für die von PanConverter kreierten importfiles (@A@ = Autor, @D@ = Title:

@A@P6_204_ANT_GEA_2016_2017_1609230101_mastertrack@           26346

@A@P6_204_ANT_GEA_2016_2017_1612030703_mastertrack@           26346

@A@P6_204_ANT_GEA_2016_2017_1612040901_mastertrack@           26346

@D@P6_204_ANT_GEA_2016_2017_1609230101_mastertrack@           Links to master tracks in different resolutions from POLAR 6 flight ANT_GEA_2016_2017_1609230101

@D@P6_204_ANT_GEA_2016_2017_1612030703_mastertrack@           Links to master tracks in different resolutions from POLAR 6 flight ANT_GEA_2016_2017_1612030703

@D@P6_204_ANT_GEA_2016_2017_1612040901_mastertrack@           Links to master tracks in different resolutions from POLAR 6 flight ANT_GEA_2016_2017_1612040901