Intern:Mastertracks

Hierfür braucht ihr den PanConverter, siehe https://doi.pangaea.de/10.1594/PANGAEA.823690

Mastertracks fielax (Schiffe)
Fielax hat den Auftrag offizielle Mastertracks für Schiffe zu erstellen, sie reichen das ganze dann im JIRA als issue ein. In der Submission enthalten:


 * File A xxcampaignxx_nav
 * File B xxcampaignxx_nav_generalized
 * Datenabstract
 * Processing report pdfs and trackline maps als Files angehängt an das Ticket, Project ID4399 (DAM) an den Datensatz hängen

Autor und Titel des Submission Tickets bitte ignorieren!

Beispiel: https://issues.pangaea.de/browse/PDI-32156

Es entstehen zwei Datensätze,

Datensatz 1 („Master tracks in different resolutions…“)
Muss enthalten: 4 Further details references, und einen Other version link Abstract aus dem Ticket muss hier ran. Beispiel für Datensatz 1: https://doi.pangaea.de/10.1594/PANGAEA.937395
 * 1) Further details: Generalized master track of SHIP cruise xxx (als Referenz, file als attachment - info zu importfile siehe Flugzeuge Intern:Mastertracks) => File B
 * 2) Further details: Station list of SHIP cruise xxx (link e.g.: https://www.pangaea.de/expeditions/events/HE552 )
 * 3) Further details: "Processing report for navigation sensors from SHIP cruise xxx" (e.g. Processing report for navigation sensors from Maria S. Merian cruise MSM101 = Datei MSM101_nav.pdf als attachment zur Referenz hochgeladen)
 * 4) Further details: "Trackline map of navigation sensors from SHIP cruise xxx" (e.g. Trackline map of navigation sensors from Maria S. Merian cruise MSM101 = Datei MSM101_nav.jpg als attachment zur Referenz hochgeladen)
 * 5) Other version link auf Datensatz 2

Bitte im Titel Abfahrt- und Ankunfthafen sowie Abfahrts- und Ankunfsdatum mit angeben (siehe Beispiel)!

Datensatz 2: ("Master track of ... in 1 sec resolution") :
Hat den Titel e.g.: Master track of HEINCKE cruise xxx in 1 sec resolution (zipped, 2.2 MB) und ist seit Ende 2020 ein extra Binary Datensatz, an dem als Further details der CR (wenn vorhanden), trackline map und der processing report hängt (gleiche Referenz wie in Datensatz 1), und der Datensatz 1 "Master tracks in different.. " als other version verlinkt (e.g. https://doi.pangaea.de/10.1594/PANGAEA.937381)

Abstract aus dem Ticket kann hier auch ran. An diesen Datensatz das keyword 1 sec resolution hängen!

=> weiteres Beispiel für Datensatz 2: https://doi.pangaea.de/10.1594/PANGAEA.947299

Letzte Schritte:
Die Importdatei für Datensatz 2, die Referenz-Importdatei und die korrekt benannten und mit dem richtigen Tabellen-Header* versehenen zips werden erstellt, wenn man File A und File B (in .txt format) auf PanConverter zieht und auf Converter => Mastertracks (convert FIELAX -> PANGAEA) klickt.

Das jpg (trackline map), die pdf (processing report) und das xxx_generalized.zip (=Further details No. 1, siehe Beschreibung bei Datensatz 1) sind die files die man für die Referenz-Importdatei braucht. Das andere zip file (aus File A entstanden, e.g. HE600_mastertrack.zip) ist die Basis für den Binary Datensatz 2.

Der Datensatz 1 wird erstellt indem man File A (xx_nav.txt) auf PanConverter schiebt und unter "Converter" auf "Mastertrack (create import file in 10 min resolution)" klickt. So sieht der Metaheader für Datensatz 1 im entstandenen import file aus (es heißt dann e.g. HE600_mastertrack_imp.txt): "AuthorIDs": [ @A@@ ], "SourceID": 32, "Title": "Master tracks in different resolutions of HEINCKE cruise (HE600)", "EventLabel": "HE600-track", "ParameterIDs": [ { "ID": 1599, "PI_ID": 506, "MethodID": 43, "Format": "yyyy-MM-dd'T'HH:mm" }, { "ID": 1600, "PI_ID": 506, "MethodID": 43, "Format": "###0.00000" }, { "ID": 1601, "PI_ID": 506, "MethodID": 43, "Format": "###0.00000" }, { "ID": 2960, "PI_ID": 506, "MethodID": 50, "Format": "###0.000", "Comment": "10-min average" }, { "ID": 2961, "PI_ID": 506, "MethodID": 50, "Format": "###0.0", "Comment": "10-min average" } ], "ProjectIDs": [ 15 ], "TopologicTypeID": 6, "StatusID": 4, "LoginID": 1

Autor ID muss noch eingetragen werden. Titel ist noch nicht korrekt (korrekter Titel im obigen Beispiel: Master tracks in different resolutions of HEINCKE cruise HE600, Bremerhaven - Bremerhaven, 2022-05-31 - 2022-06-10)

Die SourceID checken, bei Polarstern und Heincke ist es 32, sonst nehme ich immer das Institut des Fahrtleiters. Nach dem Einlesen muss man noch die Further details und Other version references anhängen. Für alle Schiffe ausser Heincke und Polarstern bitte das Projekt DAM anhängen!

So sieht das Importfile für Datensatz 2 aus, das generiert wird (es heißt, e.g. HE600_1-second-resolution_imp.txt): Die Metadaten (Titel, Autor, Source etc.) muss man sich selbst erstellen, ich übernehme immer eine Settingdatei von einem früheren Datensatz und passe ihn an. Abstract aus dem Ticket.

Das Event label muss meist erst erstellt werden (track event), bitte hierfür nach dem Start-Endhafen schauen (Beides in Comment des Events eintragen) und dann aus früheren track-Events die Lat/Long rausziehen. Date/Time kann man aus den Mastertrack Daten ziehen, Beispiel:

Allerletzter Schritt: Wenn alles eingelesen ist dann trage ich immer noch die doi des Mastertracks, und den link zur trackline map in die Campaign metadaten (2. Tab "Details", unter den "Additional Attributes") ein. Ausserdem informiere ich den Fahrtleiter = Autor des Datensatzes per E-Mail.

Mastertracks fielax Flugzeuge
Zuallererst mal kann man die Campaign in 4D dazu anlegen, die gibt es sicher noch nicht, Fahrtleiter liefert meist Fielax, sonst Daniel Steinhage fragen. Die Events werden auch in diesem Zuge anlegt (s. weiter unten).

Fielax liefert die xxx_mastertracks und xxx_mastertrack_generalized.

- mastertrack_generalized so wie sie sind zippen (z.B. mit PanTool) und als attachment zur Referenz einlesen (Titel z.B.: Generalized master track from POLAR 6 flight P6_224_Perma_X_2021_2106140101).

=> ich habe das im Converter jetzt eingebaut, dass er für die Schiffe das Referenz importfile korrekt erstellt, für die Flugzeuge muss dies manuell erstellt werden

- Die xx_mastertrack files auch zippen, die braucht man dann für den 1-sec Datensatz.

- Processing report und trackline map wurden früher auf store.pangaea.de/documentation/trackline_reports abgelegt, aber jetzt sollte es als ein Referenz attachment (ein zip) eingelesen werden, was dann in allen Flügen verlinkt wird (Titel ist z.B.: Trackline maps and master track processing reports for POLAR 6 campaign P6_224_Perma_X_2021).

- Dann aus den oben genannten mastertrack-zips ne filelist machen (PanTool)

- Die mastertracks_generalized.txt kann man dann weghauen, die _mastertrack files im txt Format auf PanConverter ziehen und auf Mastertrack (create import file in 30 sec resolution) gehen.

=> .._imp Dateien werden kreiert

Die ursprünglichen xxx_mastertrack (txt) Dateien verwenden, um die Events rauszuziehen. Dafür auf PanTool ziehen, und Extract lines – beginn at line 2 und extract first and last line klicken. Die entstehenden files kann man mit Concatenate files by lines zusammenfassen. Start und End Date und Lat/Long noch nebeneinander setzen, Campaign, Area und Device (AC) hinzufügen und fertig.

Aus der oben kreierten filelist kann man dann die Referenzen für den „Generalized master track“ und die „Trackline map and processing report“ erstellen (mit den Spalten: Titel, URI , Attachment) und einlesen. Ausserdem kann man sie nutzen für eine search and replace database:

Die _imp Dateien müssen noch mit Hilfe einer search and replace database angepasst werden (Autor, Titel). => Die Database mit PanTool – Search and replace many strings at once – einsetzen.

Fertig zum Import. Bzw. ich musste die import txts noch ein bisschen bearbeiten, da das Event und der Export filename nicht _mastertrack hinten (Event) bzw. vor „link-to-mastertrack“ (Export filename) haben soll.

Die 1sec resolution Other version Datensätze müssen auch aus einer Fileliste der Mastertrack.zips kreiert werden (Event und Binary Object),  sowie der Titel der Datensätze (z.B. Master track from POLAR 5 flight P5_223_MOSAiC_ACA_2020_2008060101 in 1 sec resolution (zipped, 87 kBytes)) => die Byte Zahl auf 0 Kommastellen runden und den Titel zusammenbauen. Die Datensätze einlesen und später als Other version an jeden Einzeldatensatz hängen (und nochmal komplett im Parent verlinken). Eine settings Datei kann für den Import verwendet werden.

Die Einzelfiles zu einem Parent zusammenfassen (Titel z.B.: Master tracks in different resolutions during POLAR 6 campaign FALKLAND_2017), an die Einzelfiles noch das keyword P[x]singletrack hängen (warum weiß ich nicht). Einzelfiles und Parent müssen dann noch die Referenz zu den „Trackline maps and master track processing reports for POLAR 6 campaign xxx“ angehängt bekommen. Ein zip das seit einiger Zeit von Fielax mitgeliefert wird und unter http://store.pangaea.de/documentation/trackline_reports/ abgelegt wird. Export filename für den Parent ist: Campaign_mastertracks; den abstract für das Parent liefert Fielax.

Bsp: https://doi.pangaea.de/10.1594/PANGAEA.936829

Search and replace database für die von PanConverter kreierten importfiles (@A@ = Autor, @D@ = Title:

@A@P6_204_ANT_GEA_2016_2017_1609230101_mastertrack@           26346

@A@P6_204_ANT_GEA_2016_2017_1612030703_mastertrack@           26346

@A@P6_204_ANT_GEA_2016_2017_1612040901_mastertrack@           26346

@D@P6_204_ANT_GEA_2016_2017_1609230101_mastertrack@           Links to master tracks in different resolutions from POLAR 6 flight ANT_GEA_2016_2017_1609230101

@D@P6_204_ANT_GEA_2016_2017_1612030703_mastertrack@           Links to master tracks in different resolutions from POLAR 6 flight ANT_GEA_2016_2017_1612030703

@D@P6_204_ANT_GEA_2016_2017_1612040901_mastertrack@           Links to master tracks in different resolutions from POLAR 6 flight ANT_GEA_2016_2017_1612040901