Théorie qui, dans sa partie élémentaire, traite des notions d'ensemble, d'élément, de sous-ensemble, d'algèbre des ensembles et des relations et des applications définies sur les ensembles, et qui, dans sa partie axiomatique, vise à formaliser et axiomatiser la notion intuitive d'ensemble pour supprimer les paradoxes qui découlent de celle-ci. (La théorie des ensembles est à la base de tout l'édifice mathématique, et son vocabulaire constitue le langage des mathématiques dites modernes.)

Les idées de base

Georg Cantor

• Algèbre de Boole

À la fin du XIX^e s., le besoin s'est fait sentir d'unifier le langage des mathématiques. G. Cantor remarqua que ce dont elles parlent, en général, c'est de collections, d'ensembles : ensembles de points (figures), ensembles de nombres (fonctions), etc. Et cela sans tenir compte de la nature des objets considérés ; seules importent les relations entre ces collections. Il n'y a donc qu'un seul type d'objet, les ensembles, et qu'une relation de base, appartenir – ou non – à un ensemble. La relation sera notée â^Š et on écrira « x â^Š y ». On dira aussi : « x est élément de y ». (Le contraire se note x ∉ y, x n'appartient pas à y.)

Il n'y a donc pas lieu de définir un « ensemble » – tout objet est un ensemble –, mais d'indiquer comment il peut être délimité et décrit. Deux manières sont envisageables : une énumération de ses éléments (par exemple l'alphabet : a, b, c, d…) ; une propriété permettant de savoir si un élément appartient ou non à l'ensemble (par exemple les entiers divisibles par 3).

Mais la construction du langage des ensembles, à partir d'opérations intuitives et simples, a soulevé des problèmes inattendus et délicats.

Les structures des ensembles

Si, dans un ensemble, on veut distinguer deux éléments autrement que par le fait qu'ils ne sont pas identiques, on doit « structurer » cet ensemble. La structure est une manière de considérer un ensemble permettant d'y effectuer certaines opérations. Si l'on désire, par exemple, exprimer : que « u est le double de v », on définit une structure algébrique ; que « A et B sont de part et d'autre de la frontière », on définit une structure topologique ; que « X et Y sont équidistants de Z », on définit une structure métrique. Et si l'on veut exprimer que « P est avant Q », on définit une structure d'ordre. Cette dernière structure permet de parcourir l'ensemble non pas de façon géométrique ou topologique, mais en se déplaçant d'un élément à un autre qui se trouve « après ».

Les relations d'ordre

Une relation d'ordre doit : 1. propager l'information : si a est après b et que b est après c, alors a sera après c. Ainsi, avec deux informations, on en fabrique une troisième, qui étend la relation ; c'est la transitivité ; 2. interdire les « cercles vicieux » : si a est après b et que b est après a, alors a = b ; c'est l'antisymétrie.

Pour les mathématiques, qui, entre autres, travaillent avec des collections infinies de la même manière qu'avec des ensembles finis – ce qui était l'un des objectifs de Cantor –, ces notions vont être consolidées et enrichies afin de s'appliquer au-delà du fini et de la numération à l'aide des entiers. Bien plus, les structures d'ordre vont se révéler l'outil privilégié qui permettra de définir des infinités d'infinis.