IGetDBWiki/ToDoHistory

03/01/2007

GUI

• das Attribute linkOutURL muss unterstützt werden.
• the select dialog for EC-numbers (and maybe also others?) is including for some reason the empty string "" into its list of attributes, but does not show it in the dialog. Seems to happen only after clicking "select all". There seems to be an empty string in the TableModel object that is not displayed in the dialog, hence cannot be selected. However, when the user clicks on "select all", all rows in the TableModel object are selected, including the empty one. Now I have to see how I can get rid of this annoying behaviour (the hiding of the empty string, that is).

Engine

• noch einmal die beiden Klassen Engine und AttributeQueryRunner überarbeiten. Ich weiss nicht so recht, ob es unbedingt zwei Klassen sein müssen.
• bei den Implementationen der ResultSetWriter muss ich noch einmal die Implementation der Funktionen flush() und close() überarbeiten, vor allem bei dem Excel-Writer ist das nicht sauber gelöst.
• Es gibt ein Problem mit Joins: wenn z.B. eine EC-Nummer NULL ist, nicht gefilter, aber für den Export selektiert ist, wird diese Tabellenzeile exportiert. Damit das gleiche der Fall für GO-Nummer ist, muss ich tausende von NULL-Zeilen in der GO-Tabelle haben, ansonsten verschwindet diese Zeile. Es gibt ja verschiedene Join-Typen (INNER, OUTER-LEFT, etc.), jetzt gilt herauszufinden welcher Join-Typ der gewünschte ist.
• Vielleicht ist die BioMart-Engine doch nicht die beste Wahl. Schau Dir noch einmal BioWarehouse und Atlas an (beide haben eine Java-API).

Importers

• BRIDGE-links are not sufficient as EMMA doesn't have an BRIDGE-links to SAMS with the effect that all EMMA data is imported but not accessible.
• it might improve things if the EMMA table is also a main table. Then the data could at least be retrieved if it is not links to GenDB/SAMS data. Klappt nicht, die EMMA Tabelle müsste alle Spalten der GenDB übernehmen. Frag Alu mal, wo ich das Skript finde, mit dem ich EMMA mit GenDB/SAMS verlinken kann. Das Skript liegt in /bioinfo/BRIDGE/share/exec/link_emma2_gendb.pl (Dann muss man noch sicher gehen, dass EMMA auch versteht, dass u.U. die Bridge-Links nach SAMS zeigen)
• der GenDB-Importer (wahrscheinlich auch der SAMS-Importer) erzeugen haufenweise NULL-Zeilen in der GO-Tabelle. Das muss eigentlich nicht sein. In der Haupttabelle sind manche EC-Werte NULL, manche ein leerer String, muss auch nicht sein.
• der GenDB-Importer erzeugt unsinnige EC-Nummern (z.B. 4.1.3.64.1.3.34). Diese stehen bereits in der Datenbank (die meisten werden anscheinend vom EMBL-Importer erzeugt). Wahrscheinlich brauche ich einen Workaround in den Importern (GenDB und SAMS).
• die GO-IDs werden in GenDB als Nummern gehandhabt. Dadurch fehlen die voranstehenden Nullen (z.B. "6118" anstatt von "0006118"). Dies wird zu Problemen führen, z.B. bei der linkoutURL: http://godatabase.org/cgi-bin/amigo/go.cgi?view=details&query=GO:0006118 führt zur korrekten Seite, http://godatabase.org/cgi-bin/amigo/go.cgi?view=details&query=GO:6118 dagegen nur zu einen leeren Seite.

20/12/2006

GUI

• das Attribute linkOutURL muss unterstützt werden.
• the select dialog for EC-numbers (and maybe also others?) is including for some reason the empty string "" into its list of attributes, but does not show it in the dialog.

Engine

• noch einmal die beiden Klassen Engine und AttributeQueryRunner überarbeiten. Ich weiss nicht so recht, ob es unbedingt zwei Klassen sein müssen.
• bei den Implementationen der ResultSetWriter muss ich noch einmal die Implementation der Funktionen flush() und close() überarbeiten, vor allem bei dem Excel-Writer ist das nicht sauber gelöst.
• the HTML writer is throwing a NullPointerException when exporting:

java.lang.NullPointerException
        at igetdb.sql.writer.HtmlFileWriter.flush(HtmlFileWriter.java:94)
        at igetdb.sql.AttributeQueryRunner.processResultSetMysql(AttributeQueryRunner.java:486)
        at igetdb.sql.AttributeQueryRunner.executeQueryPostgresMysql(AttributeQueryRunner.java:395)
        at igetdb.sql.AttributeQueryRunner.executeQuery(AttributeQueryRunner.java:224)
        at igetdb.sql.AttributeQueryRunner.execute(AttributeQueryRunner.java:201)
        ...

• Es gibt ein Problem mit Joins: wenn z.B. eine EC-Nummer NULL ist, nicht gefilter, aber für den Export selektiert ist, wird diese Tabellenzeile exportiert. Damit das gleiche der Fall für GO-Nummer ist, muss ich tausende von NULL-Zeilen in der GO-Tabelle haben, ansonsten verschwindet diese Zeile. Es gibt ja verschiedene Join-Typen (INNER, OUTER-LEFT, etc.), jetzt gilt herauszufinden welcher Join-Typ der gewünschte ist.
• Vielleicht ist die BioMart-Engine doch nicht die beste Wahl. Schau Dir noch einmal BioWarehouse und Atlas an (beide haben eine Java-API).

Importers

• BRIDGE-links are not sufficient as EMMA doesn't have an BRIDGE-links to SAMS with the effect that all EMMA data is imported but not accessible.
• it might improve things if the EMMA table is also a main table. Then the data could at least be retrieved if it is not links to GenDB/SAMS data. Klappt nicht, die EMMA Tabelle müsste alle Spalten der GenDB übernehmen. Frag Alu mal, wo ich das Skript finde, mit dem ich EMMA mit GenDB/SAMS verlinken kann. Das Skript liegt in /bioinfo/BRIDGE/share/exec/link_emma2_gendb.pl (Dann muss man noch sicher gehen, dass EMMA auch versteht, dass u.U. die Bridge-Links nach SAMS zeigen)
• der GenDB-Importer (wahrscheinlich auch der SAMS-Importer) erzeugen haufenweise NULL-Zeilen in der GO-Tabelle. Das muss eigentlich nicht sein. In der Haupttabelle sind manche EC-Werte NULL, manche ein leerer String, muss auch nicht sein.
• der GenDB-Importer erzeugt unsinnige EC-Nummern (z.B. 4.1.3.64.1.3.34). Diese stehen bereits in der Datenbank (die meisten werden anscheinend vom EMBL-Importer erzeugt). Wahrscheinlich brauche ich einen Workaround in den Importern (GenDB und SAMS).
• die GO-IDs werden in GenDB als Nummern gehandhabt. Dadurch fehlen die voranstehenden Nullen (z.B. "6118" anstatt von "0006118"). Dies wird zu Problemen führen, z.B. bei der linkoutURL: http://godatabase.org/cgi-bin/amigo/go.cgi?view=details&query=GO:0006118 führt zur korrekten Seite, http://godatabase.org/cgi-bin/amigo/go.cgi?view=details&query=GO:6118 dagegen nur zu einen leeren Seite.

30/11/2006

GUI

• das Attribute linkOutURL muss unterstützt werden.
• in den "Select..."-Fenstern gibt es einen Bug: wird nach der Auswahl von Werten (z.B. EC-Nummern) das Fenster erneut geöffnet, sind alle nichtselektierten Werte verschwunden, man kann also nicht "nach-wählen".

Engine

• noch einmal die beiden Klassen Engine und AttributeQueryRunner überarbeiten. Ich weiss nicht so recht, ob es unbedingt zwei Klassen sein müssen.
• bei den Implementationen der ResultSetWriter muss ich noch einmal die Implementation der Funktionen flush() und close() überarbeiten, vor allem bei dem Excel-Writer ist das nicht sauber gelöst.
• Es gibt ein Problem mit Joins: wenn z.B. eine EC-Nummer NULL ist, nicht gefilter, aber für den Export selektiert ist, wird diese Tabellenzeile exportiert. Damit das gleiche der Fall für GO-Nummer ist, muss ich tausende von NULL-Zeilen in der GO-Tabelle haben, ansonsten verschwindet diese Zeile. Es gibt ja verschiedene Join-Typen (INNER, OUTER-LEFT, etc.), jetzt gilt herauszufinden welcher Join-Typ der gewünschte ist.
• Vielleicht ist die BioMart-Engine doch nicht die beste Wahl. Schau Dir noch einmal BioWarehouse und Atlas an (beide haben eine Java-API).

Importers

• BRIDGE-links are not sufficient as EMMA doesn't have an BRIDGE-links to SAMS with the effect that all EMMA data is imported but not accessible.
• it might improve things if the EMMA table is also a main table. Then the data could at least be retrieved if it is not links to GenDB/SAMS data. Klappt nicht, die EMMA Tabelle müsste alle Spalten der GenDB übernehmen. Frag Alu mal, wo ich das Skript finde, mit dem ich EMMA mit GenDB/SAMS verlinken kann. Das Skript liegt in /bioinfo/BRIDGE/share/exec/link_emma2_gendb.pl (Dann muss man noch sicher gehen, dass EMMA auch versteht, dass u.U. die Bridge-Links nach SAMS zeigen)
• der GenDB-Importer (wahrscheinlich auch der SAMS-Importer) erzeugen haufenweise NULL-Zeilen in der GO-Tabelle. Das muss eigentlich nicht sein. In der Haupttabelle sind manche EC-Werte NULL, manche ein leerer String, muss auch nicht sein.
• der GenDB-Importer erzeugt unsinnige EC-Nummern (z.B. 4.1.3.64.1.3.34). Diese stehen bereits in der Datenbank (die meisten werden anscheinend vom EMBL-Importer erzeugt). Wahrscheinlich brauche ich einen Workaround in den Importern (GenDB und SAMS).
• die GO-IDs werden in GenDB als Nummern gehandhabt. Dadurch fehlen die voranstehenden Nullen (z.B. "6118" anstatt von "0006118"). Dies wird zu Problemen führen, z.B. bei der linkoutURL: http://godatabase.org/cgi-bin/amigo/go.cgi?view=details&query=GO:0006118 führt zur korrekten Seite, http://godatabase.org/cgi-bin/amigo/go.cgi?view=details&query=GO:6118 dagegen nur zu einen leeren Seite.

29/11/2006

GUI

• das Attribute linkOutURL muss unterstützt werden.
• in den "Select..."-Fenstern gibt es einen Bug: wird nach der Auswahl von Werten (z.B. EC-Nummern) das Fenster erneut geöffnet, sind alle nichtselektierten Werte verschwunden, man kann also nicht "nach-wählen".

Engine

• noch einmal die beiden Klassen Engine und AttributeQueryRunner überarbeiten. Ich weiss nicht so recht, ob es unbedingt zwei Klassen sein müssen.
• bei den Implementationen der ResultSetWriter muss ich noch einmal die Implementation der Funktionen flush() und close() überarbeiten, vor allem bei dem Excel-Writer ist das nicht sauber gelöst.
• Es gibt ein Problem mit Joins: wenn z.B. eine EC-Nummer NULL ist, nicht gefilter, aber für den Export selektiert ist, wird diese Tabellenzeile exportiert. Damit das gleiche der Fall für GO-Nummer ist, muss ich tausende von NULL-Zeilen in der GO-Tabelle haben, ansonsten verschwindet diese Zeile. Es gibt ja verschiedene Join-Typen (INNER, OUTER-LEFT, etc.), jetzt gilt herauszufinden welcher Join-Typ der gewünschte ist.
• Vielleicht ist die BioMart-Engine doch nicht die beste Wahl. Schau Dir noch einmal BioWarehouse und Atlas an (beide haben eine Java-API).

Importers

• BRIDGE-links are not sufficient as EMMA doesn't have an BRIDGE-links to SAMS with the effect that all EMMA data is imported but not accessible.
• it might improve things if the EMMA table is also a main table. Then the data could at least be retrieved if it is not links to GenDB/SAMS data. Klappt nicht, die EMMA Tabelle müsste alle Spalten der GenDB übernehmen. Frag Alu mal, wo ich das Skript finde, mit dem ich EMMA mit GenDB/SAMS verlinken kann. Das Skript liegt in /bioinfo/BRIDGE/share/exec/link_emma2_gendb.pl (Dann muss man noch sicher gehen, dass EMMA auch versteht, dass u.U. die Bridge-Links nach SAMS zeigen)
• der GenDB-Importer (wahrscheinlich auch der SAMS-Importer) erzeugen haufenweise NULL-Zeilen in der GO-Tabelle. Das muss eigentlich nicht sein. In der Haupttabelle sind manche EC-Werte NULL, manche ein leerer String, muss auch nicht sein.
• der GenDB-Importer erzeugt unsinnige EC-Nummern (z.B. 4.1.3.64.1.3.34). Ich vermute mal, dass in diesen Fällen zwei EC-Nummern aneinandergehängt wurden. Das sollte natürlich nicht geschehen. Eventuell sollten die EC-Nummer dann in eine eigene Tabelle?

28/11/2006

GUI

• das Attribute linkOutURL muss unterstützt werden.
• in den "Select..."-Fenstern sollten Knöpfe für "Select all" und "Invert Selection" hinzugefügt werden.

Engine

• noch einmal die beiden Klassen Engine und AttributeQueryRunner überarbeiten. Ich weiss nicht so recht, ob es unbedingt zwei Klassen sein müssen.
• bei den Implementationen der ResultSetWriter muss ich noch einmal die Implementation der Funktionen flush() und close() überarbeiten, vor allem bei dem Excel-Writer ist das nicht sauber gelöst.
• Es gibt ein Problem mit Joins: wenn z.B. eine EC-Nummer NULL ist, nicht gefilter, aber für den Export selektiert ist, wird diese Tabellenzeile exportiert. Damit das gleiche der Fall für GO-Nummer ist, muss ich tausende von NULL-Zeilen in der GO-Tabelle haben, ansonsten verschwindet diese Zeile. Es gibt ja verschiedene Join-Typen (INNER, OUTER-LEFT, etc.), jetzt gilt herauszufinden welcher Join-Typ der gewünschte ist.
• Vielleicht ist die BioMart-Engine doch nicht die beste Wahl. Schau Dir noch einmal BioWarehouse und Atlas an (beide haben eine Java-API).

Importers

• BRIDGE-links are not sufficient as EMMA doesn't have an BRIDGE-links to SAMS with the effect that all EMMA data is imported but not accessible.
• it might improve things if the EMMA table is also a main table. Then the data could at least be retrieved if it is not links to GenDB/SAMS data. Klappt nicht, die EMMA Tabelle müsste alle Spalten der GenDB übernehmen. Frag Alu mal, wo ich das Skript finde, mit dem ich EMMA mit GenDB/SAMS verlinken kann. Das Skript liegt in /bioinfo/BRIDGE/share/exec/link_emma2_gendb.pl (Dann muss man noch sicher gehen, dass EMMA auch versteht, dass u.U. die Bridge-Links nach SAMS zeigen)
• der GenDB-Importer (wahrscheinlich auch der SAMS-Importer) erzeugen haufenweise NULL-Zeilen in der GO-Tabelle. Das muss eigentlich nicht sein. In der Haupttabelle sind manche EC-Werte NULL, manche ein leerer String, muss auch nicht sein.

23/11/2006

GUI

• man sollte, wie beim MartExplorer, eine Voransicht der Anzahl der Ergebnisse bekommen. Wie sogar die gleiche Aufteilung: erst Filtern, dann die Auswahl der Rückgabewerte.
• das Attribute linkOutURL muss unterstützt werden.

Engine

• noch einmal die beiden Klassen Engine und AttributeQueryRunner überarbeiten. Ich weiss nicht so recht, ob es unbedingt zwei Klassen sein müssen.

Importers

• BRIDGE-links are not sufficient as EMMA doesn't have an BRIDGE-links to SAMS with the effect that all EMMA data is imported but not accessible.
• it might improve things if the EMMA table is also a main table. Then the data could at least be retrieved if it is not links to GenDB/SAMS data. Klappt nicht, die EMMA Tabelle müsste alle Spalten der GenDB übernehmen. Frag Alu mal, wo ich das Skript finde, mit dem ich EMMA mit GenDB/SAMS verlinken kann. Das Skript liegt in /bioinfo/BRIDGE/share/exec/link_emma2_gendb.pl (Dann muss man noch sicher gehen, dass EMMA auch versteht, dass u.U. die Bridge-Links nach SAMS zeigen)

20/11/2006

GUI

• man sollte, wie beim MartExplorer, eine Voransicht der Anzahl der Ergebnisse bekommen. Wie sogar die gleiche Aufteilung: erst Filtern, dann die Auswahl der Rückgabewerte.
• das Attribute linkOutURL muss unterstützt werden.

Engine

• die Begrenzung auf 1000 Ergebnisse muss verschwinden (auch für die Auswahllisten)
• noch einmal die beiden Klassen Engine und AttributeQueryRunner überarbeiten. Ich weiss nicht so recht, ob es unbedingt zwei Klassen sein müssen. Außerdem ist die Rückgabe zu unflexibel. Entgebe ich gleich ein Resultset zurück oder aber schreibe ein Writer-Interface, welches beliebing implementiert werden kann (DefaultTableModelWriter, CSV/TSVWriter, ExcelWriter, DetailPaneWriter, SelectionListWriter, DistinctListWriter, ...)
• die DistinctQuery muss noch eingebaut werden, der QueryCompiler von MartJ unterstützt es nicht.

Importers

• BRIDGE-links are not sufficient as EMMA doesn't have an BRIDGE-links to SAMS with the effect that all EMMA data is imported but not accessible.
• it might improve things if the EMMA table is also a main table. Then the data could at least be retrieved if it is not links to GenDB/SAMS data.

17/11/2006

GUI

• man sollte, wie beim MartExplorer, eine Voransicht der Anzahl der Ergebnisse bekommen. Wie sogar die gleiche Aufteilung: erst Filtern, dann die Auswahl der Rückgabewerte.
• das Attribute linkOutURL muss unterstützt werden.

Engine

• die Begrenzung auf 1000 Ergebnisse muss verschwinden (auch für die Auswahllisten)
• noch einmal die beiden Klassen Engine und AttributeQueryRunner überarbeiten. Ich weiss nicht so recht, ob es unbedingt zwei Klassen sein müssen. Außerdem ist die Rückgabe zu unflexibel. Entgebe ich gleich ein Resultset zurück oder aber schreibe ein Writer-Interface, welches beliebing implementiert werden kann (DefaultTableModelWriter, CSV/TSVWriter, ExcelWriter, DetailPaneWriter, SelectionListWriter, DistinctListWriter, ...)
• die DistinctQuery muss noch eingebaut werden, der QueryCompiler von MartJ unterstützt es nicht.

13/11/2006

GUI

• sollte etwas schöner werden. Der sinnlose Klick auf "New Query" sollte verschwinden. Statt dessen sollte eine Auswahl des Marts eingebaut werden + Login und so weiter.
• man sollte, wie beim MartExplorer, eine Voransicht der Anzahl der Ergebnisse bekommen. Wie sogar die gleiche Aufteilung: erst Filtern, dann die Auswahl der Rückgabewerte.
• die GUI sollte auf der FilterDescription Klasse aus MartJ basieren, dann kann man ehesten sicher sein, dass wir weiter kompatible mit MartJ bleiben. Außerdem nimmt Garvin beim Einlesen der Konfiguration einige Abkürzungen...
• das Attribute linkOutURL muss unterstützt werden. Und sollte auch in die cmart configuration eingebaut werden!

Engine

• die Begrenzung auf 1000 Ergebnisse muss verschwinden (auch für die Auswahllisten)
• eventuell auf die MartJ Engine umschalten, das sollte eigentlich sogar mit der Volltextsuche "LIKE" gehen

Es gibt ein einfaches Beispiel, wie man die DataSet Konfiguration und den Query-Engine vom MartJ benutzt: org.ensembl.mart.example.SimpleLibraryUsageExample Das sollte genügend Informationen enthalten, um Garvins Echo2 Widgets auf die MartJ Konfiguration und Query-Engine umzustellen!

02/11/2006

GUI

• sollte etwas schöner werden. Der sinnlose Klick auf "New Query" sollte verschwinden. Statt dessen sollte eine Auswahl des Marts eingebaut werden + Login und so weiter.
• man sollte, wie beim MartExplorer, eine Voransicht der Anzahl der Ergebnisse bekommen. Wie sogar die gleiche Aufteilung: erst Filtern, dann die Auswahl der Rückgabewerte.
• die GUI sollte auf der FilterDescription Klasse aus MartJ basieren, dann kann man ehesten sicher sein, dass wir weiter kompatible mit MartJ bleiben. Außerdem nimmt Garvin beim Einlesen der Konfiguration einige Abkürzungen...
• das Attribute linkOutURL muss unterstützt werden. Und sollte auch in die cmart configuration eingebaut werden!

Engine

• die Begrenzung auf 1000 Ergebnisse muss verschwinden (auch für die Auswahllisten)
• eventuell auf die MartJ Engine umschalten, das sollte eigentlich sogar mit der Volltextsuche "LIKE" gehen

31/10/2006

GUI

• sollte etwas schöner werden. Der sinnlose Klick auf "New Query" sollte verschwinden. Statt dessen sollte eine Auswahl des Marts eingebaut werden + Login und so weiter.
• man sollte, wie beim MartExplorer, eine Voransicht der Anzahl der Ergebnisse bekommen. Wie sogar die gleiche Aufteilung: erst Filtern, dann die Auswahl der Rückgabewerte.
• die GUI sollte auf der FilterDescription Klasse aus MartJ basieren, dann kann man ehesten sicher sein, dass wir weiter kompatible mit MartJ bleiben. Außerdem nimmt Garvin beim Einlesen der Konfiguration einige Abkürzungen...

Engine

• die Begrenzung auf 1000 Ergebnisse muss verschwinden (auch für die Auswahllisten)
• eventuell auf die MartJ Engine umschalten, das sollte eigentlich sogar mit der Volltextsuche "LIKE" gehen