Erreurs de "d'ecriture" sur le disque de Dask - Dask “spill to disk” errors

Erreurs de "d'ecriture" sur le disque de Dask - Dask “spill to disk” errors

Les notebooks compatibles avec Dask peuvent générer des erreurs telles que « Pas d'espace laissé sur l'appareil ». Cela est dû au fait que Dask ecrit des données sur le disque lorsque les limites de mémoire sont atteintes.


Nous vous suggérons d'essayer les options suivantes :


Option 1 : 

modifiez le fichier de configuration Dask pour éviter tout débordement sur le disque. Ouvrez un terminal à partir du lanceur Sandbox. À l'aide de vi ou d'un autre éditeur de texte de votre choix, ouvrez dask/distributed.yaml en tapant le code suivant dans la ligne Terminal et en appuyant sur la touche Entrée.


vi ~/.config/dask/distributed.yaml



Utilisez les touches fléchées pour parcourir le fichier et appuyez sur i pour lancer l'édition. Comme indiqué ici, modifiez les paramètres suivants pour correspondre:



distributed:

    worker:

       memory:

          target: false  # ne pas déborder dede

          spill: false  # ne se renverse pas pourdisque

          pause: 0.80  # exécution de pause à 80%utilisation

          terminate: 0.95  # redémarrer le travailleur à 95% d'utilisation



Une fois que vous avez modifié les paramètres, appuyez sur les touches suivantes : Esc, :, w, q, Enter. Cela écrit dans le fichier puis le ferme.


Option 2 :


Appliquez le chemin de fichier du répertoire temporaire à un emplacement en dehors du répertoire de base de l'utilisateur. Définissez l'emplacement dans une cellule de code de bloc-notes .ipynb en exécutant le code suivant :



import dask

dask.config.set({'temporary_directory': '/tmpfs'})