Wat deze video behandelt
Lijsten met ondersteunde formaten claimen mogelijkheden; deze video meet ze. 792 echte bestanden in 14 formaatfamilies, 44 GB in totaal, werden elk geopend in een geïsoleerd proces dat dezelfde loader bouwt als de viewer, een vlak decodeert en het weergeeft. 767 gingen open, 9 konden niet worden gelezen, 16 bevatten helemaal geen beeld, en geen enkel bestand crashte.
De video loopt de whole-slide-formaten door (SVS, NDPI, MIRAX, SCN, BIF, VMS, QPTIFF, AVS), de microscopieformaten (CZI, ND2, LIF, OME-TIFF) en DICOM, legt uit waarom 16 "mislukkingen" bestanden zonder pixels zijn, en noemt de 9 bestanden die echt niet kunnen worden gelezen. Elk resultaat, inclusief de mislukkingen, staat op de pagina van de formaatbenchmark.
Lees je liever? De formaatbenchmark: elk bestand en elk resultaat.
Transcript
Bijgewerkt sinds de opname. Sinds deze video is opgenomen, is het multiplex-QPTIFF-probleem dat erin wordt beschreven opgelost: multiplex-QPTIFF-bestanden van Akoya openen nu met hun fluorescentiekanalen in plaats van als één RGB-beeld. De benchmarkpagina bevat de actuele resultaten.
Zevenhonderdtweeënnegentig bestanden. Veertien formaatfamilies. Vierenveertig gigabyte.
Zevenhonderdzevenenzestig gingen open. Negen konden niet worden gelezen.
Zestien bevatten helemaal geen beeld. Geen enkel bestand liet de viewer crashen.
Elk resultaat is gepubliceerd, ook de resultaten waarmee we slecht voor de dag komen.
Bijna elke viewer publiceert een lijst extensies die iemand heeft getypt.
Die lijst claimt een mogelijkheid. Ze meet er geen.
Ze vertelt je niets over de vraag of een echt bestand van een echte scanner opent,
of wat er gebeurt als dat niet zo is.
Dus testten we elk bestand dat we hebben, en publiceerden we de mislukkingen naast de successen.
Elk bestand wordt doorgegeven aan een opofferbaar kindproces.
Dat proces bouwt dezelfde loader als de applicatie, leest de afmetingen,
decodeert een vlak en geeft het weer via hetzelfde pad dat de viewer gebruikt.
Een misvormd bestand dat een native codec laat afbreken, legt alleen dat kindproces plat.
Daarom kan deze tabel de kolom gecrasht eerlijk op nul zetten.
Hoofdstuk één. Whole-slide-formaten.
De bestanden die van een scanner komen en geregeld meerdere gigabytes groot zijn.
Hoofdstuk twee. Microscopieformaten.
Hier is de vraag niet de bestandsgrootte, maar hoeveel kanalen, focusvlakken en tijdpunten overleven.
Hoofdstuk drie. DICOM, inclusief whole-slide-DICOM.
Driehonderdachtenzeventig bestanden getest. Driehonderdtweeënzestig gingen open.
DICOM is net zo goed een documentformaat als een beeldformaat.
Een DICOMDIR-bestand is een index van een schijf.
Een presentation state legt vast hoe iemand ooit het venster van een onderzoek heeft ingesteld.
Andere bevatten verslagen of metingen. Geen ervan bevat pixels.
Ze weigeren is dus het juiste antwoord, en ze als mislukkingen tellen zou ons gunstiger voorstellen.
Het eerlijke aantal mislukkingen voor deze run is negen, niet vijfentwintig.
Negen bestanden die we echt niet kunnen openen.
Twee Leica SCN-coupes. Eén heeft geen herkenbaar hoofdbeeld.
De andere heeft ongelijksoortige hoofdbeelden.
Eén Ventana BIF met een onverwacht direction-attribuut.
En zes oudere Imaris Classic-containers, van voordat het formaat overstapte op HDF5.
Elk ervan is ongeschonden. De checksums komen overeen met die van de uitgever.
Dit zijn grenzen van de decoder en van de opbouw van de leverancier, en ze blijven in het corpus als regressietest.
Dit is de mislukking die het zwaarst weegt, en die formaattabellen nooit toegeven.
Een multiplex-QPTIFF van Akoya opent zonder enige fout.
Het bestand bevat vijf fluorescentiekanalen op volledige resolutie, van vierendertigduizend pixels breed.
DAPI, FITC, Cy3, Texas Red en Cy5.
We sturen het naar een lezer voor helderveld, dus die meldt één kanaal en geeft een RGB-slice terug.
De fluorescentiekanalen zijn onbereikbaar, en niets waarschuwt je.
Helderveldscans in hetzelfde formaat openen perfect, en precies daarom bleef dit onopgemerkt.
Hoofdstuk vier. Er is geen generieke reservelezer.
We namen het kleinste echte bestand van elke niet-ondersteunde extensie in het referentiecorpus.
Drieënnegentig in totaal, elk door de loader van de uitgebrachte versie gehaald.
Alle drieënnegentig werden geweigerd met een duidelijke melding. Geen enkele crashte.
Geen enkele werd half geopend tot iets wat op een beeld leek maar dat niet was.
Twee formaten hebben helemaal geen dekking met echte bestanden.
Van geen van beide bestaat een openbaar voorbeeld, dus we claimen er geen geteste ondersteuning voor.
Dit is geen snelheidsbenchmark, en het is geen klinische validatie.
En het is een test van de leverancier zelf. Wij hebben de software geschreven en wij hebben de test uitgevoerd.
Wat we in plaats van onafhankelijkheid bieden, is controleerbaarheid.
Ons corpus is niet jouw coupelade.
De ruwe resultaten per bestand zijn gepubliceerd als JSON.
De corpora zijn openbaar te downloaden, en de runner staat in onze repository.
Open de bestanden die je echt problemen geven.
En als er een mislukt, stuur hem naar ons.
De mislukkingen in deze video staan hier omdat iemand dat heeft gedaan.