Son titre d'architecte des bâtiments civils et palais nationaux destine Guillaume Gillet à recevoir la commande des grands édifices de l'État. En 1959, le ministère de la Justice, animé par le souci de s'assurer la collaboration de concepteurs de premier plan, le désigne comme architecte conseil. Dans le cadre de la refonte des institutions républicaines et de la réforme de la justice, Guillaume Gillet est chargé, avec l'architecte Claude Charpentier, du suivi des projets d'extension ou de création de tribunaux de grande instance menés par différents maîtres d'oeuvre.

L'administration pénitentiaire, face aux problèmes d'obsolescence et de vétusté des prisons françaises, engage une réflexion sur les conditions de détention et sur l'architecture des maisons d'arrêt. Dans ses projets pour Valenciennes (1964), Muret (1966) ou bien Fleury-Mérogis (1969), Guillaume Gillet tente de donner des conditions de sécurité et de vie décentes. Principal protagoniste du renouvellement de l'architecture pénitentiaire en France, il reste l'architecte ayant réussi à imposer l'idée « de la prison sans barreaux » dans laquelle le prisonnier dispose d'une cellule individuelle et d'ateliers pour préparer sa réinsertion. Aujourd'hui, les établissements pénitentiaires nécessitent de nouveau une réflexion sur leur fonctionnement et leur adaptation.

En 1962, il est chargé de concevoir l'École nationale de la magistrature, destinée, à former l'ensemble des magistrats français et inaugurée en 1972. Au coeur de Bordeaux, sur l'emplacement d'un fort du XVe siècle, l'école s'intègre dans le contexte historique, tout en revendiquant sa modernité. Une vaste salle des pas perdus – inspirée par celles des palais de justice – dessert l'ensemble des espaces. Étudiée avec l'ingénieur Robert Lourdin, la charpente de cette salle est constituée d'arcs en bois lamellé-collé portés par des piliers en béton armé. La façade entièrement vitrée sur la cour intérieure est fortement rythmée par les brise-soleil verticaux en aluminium.