The Fruit of Grisaia se centra en la Academia Mihama, una escuela tipo prisión que se ha creado para preservar la fruta que cae muy lejos de su árbol. Allí viven cinco chicas, cada una con sus propios motivos para estar allí y vivir tranquilamente entre los muros de Mihama. Un día llega al instituto Kazami Yuuji, el primer estudiante masculino de la academia, y en Mihama se pierde completamente el equilibrio. ¿Es Yuuji lo que las chicas necesitan para poder recuperar sus vidas o acaso el peso de sus pasados será un muro demasiado grande como para superarlo? ¿Y si es el pasado de Yuuji el más duro de todos?
