Intern:Mastertracks

Hierfür braucht ihr das Mastertrack Jupyter-Notebook von Giorgio.

Mastertracks fielax (Schiffe)
Fielax hat den Auftrag offizielle Mastertracks für Schiffe zu erstellen, sie reichen das ganze dann im JIRA als issue ein. In der Submission enthalten:


 * File A xxcampaignxx_nav
 * File B xxcampaignxx_nav_generalized
 * Datenabstract
 * Processing report pdfs and trackline maps als Files angehängt an das Ticket,

Autor und Titel des Submission Tickets bitte ignorieren!

Beispiel: https://issues.pangaea.de/browse/PDI-33385 Die Dateien wie sie sind herunterladen und in den "Data - input " Ordner des Mastertrack-JupyterNotebooks packen. Das xxx_external_parameters.json ausfüllen (siehe Bild, SourceID für AWI Schiffe die 32, für Leitstellenschiffe das Institut des Fahrtleiters, für Alkor die 20147 usw); dann das Notebook starten.

! Bei Sonne, Maria S. Merian, Meteor, Elisabeth Mann Borgese, Alkor und Atair Project ID4399 (DAM_Underway) und technical keyword ID52591 (DAMUnderwayResearchData) an den Datensatz hängen !

Es entstehen ein Referenz-Import-zip und zwei Datensätze,

Datensatz 1 („Master tracks in different resolutions…“)
Muss enthalten: 2 Further details references, 1 Data Processing Report reference, und zwei Other version links (eine Referenz, ein Datensatz) Abstract aus dem Ticket muss hier ran. Beispiel für Datensatz 1: https://doi.pangaea.de/10.1594/PANGAEA.954531
 * 1) Other version: Generalized master track of SHIP cruise xxx (als Referenz, file als attachment) => File B
 * 2) Further details: Station list of SHIP cruise xxx (link e.g.: https://www.pangaea.de/expeditions/events/HE552 )
 * 3) Further details: "Trackline map of navigation sensors from SHIP cruise xxx" (e.g. Trackline map of navigation sensors from Maria S. Merian cruise MSM101 = Datei MSM101_nav.jpg als attachment zur Referenz hochgeladen)
 * 4) Data Processing Report: "Processing report for navigation sensors from SHIP cruise xxx" (e.g. Processing report for navigation sensors from Maria S. Merian cruise MSM101 = Datei MSM101_nav.pdf als attachment zur Referenz hochgeladen)
 * 5) Other version link auf Datensatz 2 (in Datensatz 2 muss kein Other version link mehr zurück auf Datensatz 1 gesetzt werden, das geht seit 2023 automatisch!)

Datensatz 2: ("Master track of ... in 1 sec resolution") :
Hat den Titel e.g.: Master track of HEINCKE cruise xxx in 1 sec resolution (zipped, 2.2 MB) und ist seit Ende 2020 ein extra Binary Datensatz, an dem als Further details der CR (wenn vorhanden), trackline map und als "Data Processing Report" der processing report hängt (gleiche Referenz wie in Datensatz 1). Der Datensatz 1 "Master tracks in different.. " ist (seit 2023 automatisch) schon als other version verlinkt, weil "Other version" es ein cross-link ist.

Abstract aus dem Ticket bitte hier auch ran. An diesen Datensatz das keyword 1 sec resolution hängen!

=> weiteres Beispiel für Datensatz 2: https://doi.pangaea.de/10.1594/PANGAEA.954527

ACHTUNG: Das Event label muss meist erst erstellt werden (track event), bitte hierfür nach dem Start-Endhafen schauen (Beides in Comment des Events eintragen) und dann aus früheren track-Events die Lat/Long rausziehen. Date/Time kann man aus den Mastertrack Daten ziehen, Beispiel: Allerletzter Schritt: Wenn alles eingelesen ist dann trage ich immer noch die doi des Mastertracks, und den link zur trackline map in die Campaign metadaten (2. Tab "Details", unter den "Additional Attributes") ein. Ausserdem informiere ich den Fahrtleiter = Autor des Datensatzes per E-Mail.

Mastertracks fielax Flugzeuge
Hierfür braucht ihr den PanConverter, siehe https://doi.pangaea.de/10.1594/PANGAEA.823690

Zuallererst mal kann man die Campaign in 4D dazu anlegen, die gibt es sicher noch nicht, Fahrtleiter liefert meist Fielax, sonst Daniel Steinhage fragen. Die Events werden auch in diesem Zuge angelegt (s. weiter unten).

Fielax liefert die xxx_mastertracks und xxx_mastertrack_generalized.

- mastertrack_generalized so wie sie sind zippen (z.B. mit PanTool) und als attachment zur Referenz einlesen (Titel z.B.: Generalized master track from POLAR 6 flight P6_224_Perma_X_2021_2106140101).

=> für die Flugzeuge muss derzeit die ReferenzImport Datei manuell erstellt werden

- Die xx_mastertrack files auch zippen, die braucht man dann für den 1-sec Datensatz.

- Processing report und trackline map wurden früher auf store.pangaea.de/documentation/trackline_reports abgelegt, aber jetzt sollte es als ein Referenz attachment (ein zip) eingelesen werden, was dann in allen Flügen verlinkt wird (Titel ist z.B.: Trackline maps and master track processing reports for POLAR 6 campaign P6_224_Perma_X_2021).

- Dann aus den oben genannten mastertrack-zips ne filelist machen (PanTool)

- Die mastertracks_generalized.txt kann man dann weghauen, die _mastertrack files im txt Format auf PanConverter ziehen und auf Mastertrack (create import file in 30 sec resolution) gehen.

=> .._imp Dateien werden kreiert

Die ursprünglichen xxx_mastertrack (txt) Dateien verwenden, um die Events rauszuziehen. Dafür auf PanTool ziehen, und Extract lines – beginn at line 2 und extract first and last line klicken. Die entstehenden files kann man mit Concatenate files by lines zusammenfassen. Start und End Date und Lat/Long noch nebeneinander setzen, Campaign, Area und Device (AC) hinzufügen und fertig.

Aus der oben kreierten filelist kann man dann die Referenzen für den „Generalized master track“ und die „Trackline map and processing report“ erstellen (mit den Spalten: Title und Attachment) und einlesen. Ausserdem kann man sie nutzen für eine search and replace database:

Die _imp Dateien müssen noch mit Hilfe einer search and replace database angepasst werden (Autor, Titel). => Die Database mit PanTool – Search and replace many strings at once – einsetzen.

Fertig zum Import. Bzw. ich musste die import txts noch ein bisschen bearbeiten, da das Event und der Export filename nicht _mastertrack hinten (Event) bzw. vor „link-to-mastertrack“ (Export filename) haben soll.

Die 1sec resolution Other version Datensätze müssen auch aus einer Fileliste der Mastertrack.zips kreiert werden (Event und Binary Object),  sowie der Titel der Datensätze (z.B. Master track from POLAR 5 flight P5_223_MOSAiC_ACA_2020_2008060101 in 1 sec resolution (zipped, 87 kBytes)) => die Byte Zahl auf 0 Kommastellen runden und den Titel zusammenbauen. Die Datensätze einlesen und später als Other version an jeden Einzeldatensatz hängen (und nochmal komplett im Parent verlinken). Eine settings Datei kann für den Import verwendet werden.

Die Einzelfiles zu einem Parent zusammenfassen (Titel z.B.: Master tracks in different resolutions during POLAR 6 campaign FALKLAND_2017), an die Einzelfiles noch das keyword P[x]singletrack hängen (warum weiß ich nicht). Einzelfiles und Parent müssen dann noch die Referenz zu den „Trackline maps and master track processing reports for POLAR 6 campaign xxx“ angehängt bekommen. Export filename für den Parent ist: Campaign_mastertracks; den abstract für das Parent liefert Fielax.

Bsp: https://doi.pangaea.de/10.1594/PANGAEA.955718

Search and replace database für die von PanConverter kreierten importfiles (@A@ = Autor, @D@ = Title:

@A@P6_204_ANT_GEA_2016_2017_1609230101_mastertrack@           26346

@A@P6_204_ANT_GEA_2016_2017_1612030703_mastertrack@           26346

@A@P6_204_ANT_GEA_2016_2017_1612040901_mastertrack@           26346

@D@P6_204_ANT_GEA_2016_2017_1609230101_mastertrack@           Links to master tracks in different resolutions from POLAR 6 flight ANT_GEA_2016_2017_1609230101

@D@P6_204_ANT_GEA_2016_2017_1612030703_mastertrack@           Links to master tracks in different resolutions from POLAR 6 flight ANT_GEA_2016_2017_1612030703

@D@P6_204_ANT_GEA_2016_2017_1612040901_mastertrack@           Links to master tracks in different resolutions from POLAR 6 flight ANT_GEA_2016_2017_1612040901