Friday, December 16, 2011

Converting WSPR data to ADIF

For a long time I would like to use the data from the database on WSPRnet.org in my logbook to count DXCC and to do other things with it. Unfortenately the .csv database files that can be downloaded are too large to compile and I do not have the knowledge to do such a thing for example with SQL. Via Paul PC4T we know now that it is easy to copy the text with "special paste" in excel and make nice diagrams with it. So I searched on the internet for a excel sheet that could convert text to ADIF for import in you favourite logger in my case HRD. Now, you can find a lot about the subject and it seems to be easy to make a excel sheet with the help of this website: http://www.g6csy.net/ham/adif.html. If you can get the formulas working this is the way to go. Unfortenately it doesn't work on my computer whatever I tried, the result was a crash of excel. After hours of trying I decided to find something  else and came across the website of DL1HW were you can find adif2xls2adif.xls. This became my base for conversion to ADIF te way I like it. What software do you need:
  • Windows notepad (or another text editor)
  • adif2xlsadif.xls and of course Excel
  • Log Converter
  • Any logger that can import ADIF format
Log Converter is a program that is part of contest log checker, it is commercial but you can use it for free till 100 entries. More then enough for me as you don't get that much unique spots when transmitting with max. 1W. Now, you can't use the plain text as copied from the database it should be edit a little before pasting it in excel. But if you've done that a couple of times it will go faster. Here a step-by-step description:

- Copy the data from the WSPR database to notepad
- Insert a TAB between the date and time
- Go to replace (CTRL+H)
- In the pop up replace: replace the date for the format YYYYMMDD, replace your own call (in case PE4BAS) for the mode (WSPR or JT65), replace the ":" between the time for nothing, replace your own locator (in my case JO33jk) for the band (for example 10M).  Close the replace pop up.
- Copy the text with CTRL+A and CTRL+C
- Open adif2xls2adif.xls and remove all data on tab 2 except the line with column names.
- Change the column names and in this order: QSO_DATE, TIME_ON, MODE, RST_RCVD, BAND, CALL, GRIDSQUARE. 
- Paste with "special paste" the text beneath it and copy the right data in the right columns. Unused data can be removed
- Go to tab 1 and enter the preferred ADIF sequence at the second line to the same order as on tab 2. choose #2 to activate it.
- Select the data on tab 2 and choose the red arrow "to ADIF" on tab 1 to convert, you're now able to choose a name and path.
- Open Log Converter and open the just made ADIF file.
- Check for errors like early time spots, 930 should be 0930. You can change that in Log Converter.
- Save the ADIF file.
- Open a logger of choice like for example HRD and import the ADIF.

If adif2xls2adif is now saved it will remember the settings and that saves some steps next time. As the xls file is cardware don't forget to thank DL1HW for it with a card via post or bureau. My card for him is on it's way via the bureau!


I hope this is helpfull for some of you...






Al een hele tijd wil ik graag de data van de database op WSPRnet.org kunnen gebruiken om bijvoorbeeld mijn DXCC bij te kunnen houden of andere dingen er mee te doen. Helaas zijn de aangeboden database bestanden in .csv formaat te groot om te verwerken en heb ik ook de kennis niet om dit te doen met bijv. SQL. Via Paul PC4T was ik er wel achter dat de tekst gemakkelijk verwerkt kan worden in excel zolang je het maar in excel plakt met "speciaal plakken". Dus op internet eens gezocht naar het omzetten van excel naar ADIF om zo de gegevens te kunnen importeren in een logboek naar keuze, in mijn geval HRD. Nu kan je daar best wel veel over vinden, maar gek genoeg werkt het niet of zet het niet de gegevens om die ik wil. De makkelijkste en meest logische manier is te vinden op http://www.g6csy.net/ham/adif.html. Krijg je de formules werkende dan is dit de snelste manier, maar bij mij werkt het natuurlijk niet. Na een paar uur proberen heb ik maar wat anders gezocht en kwam op de site van DL1HW waar je o.a. een excel sheet kan downloaden dat heet adif2xls2adif.xls. Dit is dus de basis geworden van de conversie naar wat ik wil hebben. Wat heb je uiteindelijk nodig qua programma's: 
  • Windows Kladblok (of een andere tekst editor)
  • adif2xls2adif.xls en dus ook Excel
  • Log Converter
  • Een log programma dat ADIF kan importeren.
Log Converter is een programma dat in contest log checker zit, een commercieel programma. Maar gratis te gebruiken als je niet meer dan 100 QSO's wilt converteren. Voor mij is dat meer dan genoeg, want zoveel unieke spots krijg je over het algemeen niet op een dag met max. 1W. Nu is het zo dat de data van de database niet zonder meer gebruikt kan worden, er zal toch wat aan veranderd moeten worden. Maar als je dat een paar keer gedaan hebt is het zo gebeurd. Hier een stap-voor-stap beschrijving:

- Kopieer de data die je wilt hebben in kladblok.
- Zet tussen elke datum en tijd een TAB
- Ga naar "bewerken"-> "vervangen" (CTRL+H)
- In het schermpje vervangen: vervang de datum door het formaat YYYYMMDD, vervang : tussen de tijd door niks, vervang je eigen call (in mijn geval PE4BAS) door  mode (JT65 of WSPR), Vervang je eigen locator (in mijn geval JO33jk) door de band (bijv. 10M). Sluit het schermpje vervangen af.
- Kopieer alles met CTRL+A en CTRL+C
- Ga naar adif2xls2adif.xls en haal alle data op het 2e blad daar weg, bovenste namen van kolommen laten staan.
- Verander de namen van de kolommen in deze volgorde: QSO_DATE, TIME_ON, MODE, RST_RCVD, BAND, CALL, GRIDSQUARE. 
- Plak nu met speciaal plakken de data eronder.
- Zorg met knippen en plakken dat je juiste info in de juiste kolom staat. De rest kan verwijderd worden.
- Op blad 2 kan je de "preferred ADIF sequence" kiezen. Zet op de 2e lijn de volgorde zoals in blad 2. En kies het rondje #2 ervoor om het te activeren.
- Selecteer op blad 2 de gegevens en druk op blad 1 dan op de rode pijl "To ADIF". Je kan dan de filenaam kiezen en waar je het wilt neerzetten.
- Open Log Converter, open het net gemaakte ADIF bestand. Evt. fouten worden aangegeven bijv. de tijd 930 moet zijn 0930. Kan veranderd worden in Log Converter voor het saven. Save de ADIF file evt. met een andere naam.
- Daarna is de ADIF klaar om geïmporteerd te worden in bijvoorbeeld Ham Radio Deluxe.

Als je adif2xls2adif nu opslaat staan de gegevens er natuurlijk in zoals nu veranderd en dat scheelt de volgende keer een paar stappen en tijd. Aangezien the xls cardware is kan je DL1HW natuurlijk even een kaartje sturen om hem te bedanken. Mijn kaart naar hem is onderweg via QSL bureau.

Ik hoop dat ik hiermee een paar mensen geholpen heb. 

4 comments:

Tjeerd, PA3GNZ said...

Bas,

Ga je de WSPR resultaten in een apart logboek zetten?
In je reguliere logboek kan een vertekend beeld van je resultaten geven.

73, Tjeerd

PE4BAS, Bas said...

Hallo Tjeerd, gebruik al sinds 2009 een apart logboek hiervoor. Het zijn geen QSO's he. Maar tot nu toe deed ik invoeren met de hand. Nu is het gewoon een stuk simpeler geworden.

73, Bas

Paul Stam PAØK said...

Hallo Bas,
Mooi gedaan, wel veel handelingen om tot dit resultaat te komen.

Zelf wil ik mijn WSPR niet in een logboek zetten. Alleen 'echte' qso's.

Ik zet mijn WSPR data sinds begin oktober in Excel. Het enige wat ik zelf toevoeg hand matig is het DXCC.

Nu kan ik ook snel zien in welke landen ik gehoord ben, op welke band, en met welk vermogen.

Uiteindelijk kan ik statistieken gaan maken op basis van de verkregen data.

Maar ik vind het wel knap van je om dit zo uit te vogelen.

Ooit hoop ik dat wsprnet.org zelf knappe statistieken aanlevert. Dat moet toch kunnen.

Als je ziet dat VK3AMA dat wel kan met Hamspot.

73 Paul

PE4BAS, Bas said...

Hallo Paul, bedankt voor je reactie. Ik wou wel wat minder handelingen, maar de data die ik wil hebben staat gewoon er gewoon niet. Als alles eenmaal ingesteld is gaat het vrij snel. Ik heb et nu een paar dagen gedaan en alles gaat snel en foutloos. Ik zet het overigens alleen in het log voor eigen gebruik, niet om QSL te sturen of zo. Uiteraard kan je alles ook netjes bijhouden met xcel zelf, maar HRD V4 kent zulke leuke trucjes met landkaarten en output naar google earth. Overigens kun je op de site van DL1HW ook no andere leuke excel projecten vinden. Het is jammer dat niemand eigenlijk echt iets doet met de data van wsprnet.Of misschien gebeurt het wel maar weten wij er niets van af. Wat betreft dat "vogelen" ja daar had ik nu wel even de tijd voor. Overigens ben ik vandaag weer aktief met 1W WSPR en ben ik net al een paar keer gespot in Antarctica op 10m. Jouw record VK 0,1W staat nog, is mij nog even niet gelukt. Eerst even wachten op wat meer zonnevlekken. 73, Bas