Drag and drop sur des div complexes

Bonjour à toutes et à tous !
J'ai un petit problème sur le comportement d'une page :
Typiquement, c'est une succession de div en "inline-block", dimension fixe, qui ont la propriété d'être drag and droppable (pour pouvoir être ré-ordonnés), mais le contenu est assez complexe, avec une table et des inputs text.
Le souci c'est qu'a partir du moment ou je rend mon div conteneur drag and drop, je ne peux plus faire une sélection de texte à l'intérieur de mes inputs.
Voyez-vous comment palier à ce problème ?

Merci !

Si tu utilises jQuery, il existe par exemple l'option handle

Merci pour ta réponse, malheureusement on a fait le pari lors des choix technologique de ne pas dépendre d'une librairie externe.
Je suis conscient qu'elle est pas mal utilisé de nos jours, mais s'il existe une possibilité sans cette librairie, je serais aussi preneur ^^