Suite à un imprévu, votre voiture sans chauffeur pilotée par un algorithme, a le choix entre se jeter du haut d’une falaise et entraîner la mort de ses occupants ou percuter ce bus scolaire transportant 50 enfants, l’envoyant au bas de la même falaise. Quel choix fera-t-elle ? Serai-je au courant, en y embarquant le matin, de l’existence de ce choix ? Aurai-je la possibilité de le désactiver ? Ce problème, et l’ensemble de ses variantes, est connu sous le nom du « dilemme du tramway ».

In 1965, I. J. Good described for the first time the notion of “intelligence explosion”, as it relates to artificial intelligence (AI):

Let an ultraintelligent machine be defined as a machine that can far surpass all the intellectual activities of any man however clever. Since the design of machines is one of these intellectual activities, an ultraintelligent machine could design even better machines; there would then unquestionably be an “intelligence explosion,” and the intelligence of man would be left far behind. Thus the first ultraintelligent machine is the last invention that man need ever make, provided that the machine is docile enough to tell us how to keep it under control.