Fritz Kollers Kunst war die des schnellen Strichs – in wenigen Minuten war ein Blatt fertig, unabhängig vom Format. Schwungvoll und souverän führte er seine Arbeiten aus. Der Bleistift war das Hauptmaterial des Künstlers, nur selten arbeitete er in Farbe oder mit anderen Medien wie Aquarell- oder Acrylfarbe. Im Gegensatz zu Kollegen wie Johann Hauser war er auch bereit, Gemeinschaftsarbeiten auszuführen, etwa mit Arnulf Rainer.

Es lassen sich zwei verschiedene Stile in Kollers Œuvre identifizieren, die aber beide auf seiner Fähigkeit basieren, spannungsreiche geometrisierende Abstraktionen zu erschaffen. Einerseits fertigte er Werke wie die Zeichnung Frau an, auf der die Protagonistin zergliedert und in einer eigenen Struktur neu geboren wird. Das im Rumpf der Figur angedeutete Raster zieht sich in anderen Zeichnungen über das gesamte Blatt und dient dem Künstler als Ordnungsprinzip, in welchem sich das Dargestellte dann aber trotzdem auflöst. Andererseits finden sich Arbeiten wie Ohne Titel, in denen das in Einzelelemente zerteilte Bildsujet auf dem Blatt nur mehr durch imaginäre Verbindungen zusammengehalten wird. Unter Verwendung einer persönlichen Bedeutungsperspektive werden einige Körperteile überdimensioniert, andere wiederum verkümmert dargestellt. Fritz Koller schuf auf diese Weise spannende Werke, die durch die Abstraktion des abgebildeten Objektes ihre hohe Qualität erreichen.