Notes de cours Python scientifique

Vous pouvez configurer une touche pour lancer pyflakes dans le buffer courant.

• Dans le menu kate : réglages -> configurer kate.

  • Dans activer les plugins ‘outils externes'.
  • Dans outils 'externes', ajouter pyflakes :
    kdialog --title "pyflakes %filename" --msgbox "$(pyflakes %filename)"

• Dans TextMate
  Menu : TextMate -> Préférences -> Avancées -> variables Shell, ajoutez une variable Shell :

• Donc Ctrl-Shift-V est lié à un rapport pyflakes report.

• Dans vim dans votre fichier vimrc (lie F5 à pyflakes) :

• Dans emacs dans votre fichier emacs (lie F5 à pyflakes) :

(defun pyflakes-thisfile () (interactive)
       (compile (format "pyflakes %s" (buffer-file-name)))
)

(define-minor-mode pyflakes-mode
    "Toggle pyflakes mode.
    With no argument, this command toggles the mode.
    Non-null prefix argument turns on the mode.
    Null prefix argument turns off the mode."
    ;; The initial value.
    nil
    ;; The indicator for the mode line.
    " Pyflakes"
    ;; The minor mode bindings.
    '( ([f5] . pyflakes-thisfile) )
)

(add-hook 'python-mode-hook (lambda () (pyflakes-mode t)))

• Dans vim

  • Utilisez le plugin vim pyflakes :

    1. Téléchargez le fichier zip depuis http://www.vim.org/scripts/script.php?script_id=2441 ;
    2. Faites l'extraction des fichiers dans ~/.vim/ftplugin/python ;

    3. Assurez-vous que votre fichier vimrc ait filetype plugin indent on

        

       Sélectionnez

       def compute_log_likelihood(obs):
           return self._log_emissionprob[;, obs].T

  • Sinon : utilisez le plugin syntastic. Celui-ci peut être configuré pour utiliser flake8 aussi et gérer également un contrôle à la volée pour plusieurs autres langages.

     

    Sélectionnez

    if __name__=='__main__'
       data = load_data('exercices/data.txt')
       print ('min: %f' %min(data)) # 10.20
       print ('max: %f' %max(data)) # 61.30

• Dans emacs utilisez le mode flymake avec pyflakes, documenté ici : http://www.plope.com/Members/chrism/flymake-mode : ajoutez le code suivant dans votre fichier .emacs :

(when (load "flymake" t)
        (defun flymake-pyflakes-init ()
        (let* ((temp-file (flymake-init-create-temp-buffer-copy
                            'flymake-create-temp-inplace))
            (local-file (file-relative-name
                        temp-file
                        (file-name-directory buffer-file-name))))
            (list "pyflakes" (list local-file))))

        (add-to-list 'flymake-allowed-file-name-masks
                '("\\.py\\'" flymake-pyflakes-init)))

(add-hook 'find-file-hook 'flymake-find-file-hook)

Situation : vous travaillez dans IPython et vous obtenez un traceback.

Ici, nous déboguons le fichier index_error.py. Lors de son lancement, une IndexError est levée. Tapez %debug et placez-vous dans le débogueur.

In [1]: %run index_error.py
---------------------------------------------------------------------------
IndexError                                Traceback (most recent call last)
/home/varoquau/dev/scipy-lecture-notes/advanced/debugging/index_error.py in <module>()
      6
      7 if __name__ == '__main__':
----> 8     index_error()
      9

/home/varoquau/dev/scipy-lecture-notes/advanced/debugging/index_error.py in index_error()
      3 def index_error():
      4     lst = list('foobar')
----> 5     print lst[len(lst)]
      6
      7 if __name__ == '__main__':

IndexError: list index out of range

In [2]: %debug
> /home/varoquau/dev/scipy-lecture-notes/advanced/debugging/index_error.py(5)index_error()
      4     lst = list('foobar')
----> 5     print lst[len(lst)]
      6

ipdb> list
      1 """Small snippet to raise an IndexError."""
      2
      3 def index_error():
      4     lst = list('foobar')
----> 5     print lst[len(lst)]
      6
      7 if __name__ == '__main__':
      8     index_error()
      9

ipdb> len(lst)
6
ipdb> print lst[len(lst)-1]
r
ipdb> quit

In [3]:

Débogage post-mortem sans Ipython :

Dans certaines situations, vous ne pouvez pas utiliser IPython, par exemple pour déboguer un script qui peut être appelé depuis la ligne de commande. Dans ce cas, vous pouvez appeler le script avec python -m pdb script.py :

$ python -m pdb index_error.py
> /home/varoquau/dev/scipy-lecture-notes/advanced/optimizing/index_error.py(1)<module>()
-> """Small snippet to raise an IndexError."""
(Pdb) continue
Traceback (most recent call last):
File "/usr/lib/python2.6/pdb.py", line 1296, in main
    pdb._runscript(mainpyfile)
File "/usr/lib/python2.6/pdb.py", line 1215, in _runscript
    self.run(statement)
File "/usr/lib/python2.6/bdb.py", line 372, in run
    exec cmd in globals, locals
File "<string>", line 1, in <module>
File "index_error.py", line 8, in <module>
    index_error()
File "index_error.py", line 5, in index_error
    print lst[len(lst)]
IndexError: list index out of range
Uncaught exception. Entering post mortem debugging
Running 'cont' or 'step' will restart the program
> /home/varoquau/dev/scipy-lecture-notes/advanced/optimizing/index_error.py(5)index_error()
-> print lst[len(lst)]
(Pdb)

Situation : vous pensez qu'un bogue existe dans un module, mais vous n'êtes pas sûr de l'endroit.

Par exemple, vous essayez de déboguer wiener_filtering.py. En effet le code fonctionne, mais le filtrage ne fonctionne pas bien.

• Démarrez le script dans IPython avec le débogueur en utilisant %run -d wiener_filtering.p :

   

  Sélectionnez

  In [1]: %run -d wiener_filtering.py
  *** Blank or comment
  *** Blank or comment
  *** Blank or comment
  Breakpoint 1 at /home/varoquau/dev/scipy-lecture-notes/advanced/optimizing/wiener_filtering.py:4
  NOTE: Enter 'c' at the ipdb>  prompt to start your script.
  > <string>(1)<module>()

• Placez un point d'arrêt à la ligne 34 en utilisant b 34 :

   

  Sélectionnez

  ipdb> n
  > /home/varoquau/dev/scipy-lecture-notes/advanced/optimizing/wiener_filtering.py(4)<module>()
        3
  1---> 4 import numpy as np
        5 import scipy as sp
  
  ipdb> b 34
  Breakpoint 2 at /home/varoquau/dev/scipy-lecture-notes/advanced/optimizing/wiener_filtering.py:34

• Continuez l'exécution jusqu'au prochain point d'arrêt avec c(ont(inue)) :

   

  Sélectionnez

  ipdb> c
  > /home/varoquau/dev/scipy-lecture-notes/advanced/optimizing/wiener_filtering.py(34)iterated_wiener()
       33     """
  2--> 34     noisy_img = noisy_img
       35     denoised_img = local_mean(noisy_img, size=size)

• Continuez dans le code avec n(ext) et s(tep) : next saute à la prochaine déclaration dans le contexte d'exécution courant, alors que step va traverser les contextes d'exécution, c'est-à-dire permettre l'exploration à l'intérieur des appels de fonction :

   

  Sélectionnez

  ipdb> s
  > /home/varoquau/dev/scipy-lecture-notes/advanced/optimizing/wiener_filtering.py(35)iterated_wiener()
  2    34     noisy_img = noisy_img
  ---> 35     denoised_img = local_mean(noisy_img, size=size)
       36     l_var = local_var(noisy_img, size=size)
  
  ipdb> n
  > /home/varoquau/dev/scipy-lecture-notes/advanced/optimizing/wiener_filtering.py(36)iterated_wiener()
       35     denoised_img = local_mean(noisy_img, size=size)
  ---> 36     l_var = local_var(noisy_img, size=size)
       37     for i in range(3):

• Exécutez pas à pas quelques lignes et explorez les variables locales :

ipdb> n
> /home/varoquau/dev/scipy-lecture-notes/advanced/optimizing/wiener_filtering.py(37)iterated_wiener()
     36     l_var = local_var(noisy_img, size=size)
---> 37     for i in range(3):
     38         res = noisy_img - denoised_img
ipdb> print l_var
[[5868 5379 5316 ..., 5071 4799 5149]
 [5013  363  437 ...,  346  262 4355]
 [5379  410  344 ...,  392  604 3377]
 ...,
 [ 435  362  308 ...,  275  198 1632]
 [ 548  392  290 ...,  248  263 1653]
 [ 466  789  736 ..., 1835 1725 1940]]
ipdb> print l_var.min()
0

Voici notre bogue : rien que des entiers et 0 variation. Nous faisons une levée d'exception integer arithmetic sur les erreurs numériques.

Quand nous lançons le fichier wiener_filtering.py, les avertissements suivants sont levés :

In [2]: %run wiener_filtering.py
wiener_filtering.py:40: RuntimeWarning: divide by zero encountered in divide
    noise_level = (1 - noise/l_var )

Nous pouvons transformer ces warnings en exception, ce qui nous permet de faire du débogage post-mortem, et trouver notre problème plus rapidement :

In [3]: np.seterr(all='raise')
Out[3]: {'divide': 'print', 'invalid': 'print', 'over': 'print', 'under': 'ignore'}
In [4]: %run wiener_filtering.py
---------------------------------------------------------------------------
FloatingPointError                        Traceback (most recent call last)
/home/esc/anaconda/lib/python2.7/site-packages/IPython/utils/py3compat.pyc in execfile(fname, *where)
    176             else:
    177                 filename = fname
--> 178             __builtin__.execfile(filename, *where)

/home/esc/physique-cuso-python-2013/scipy-lecture-notes/advanced/debugging/wiener_filtering.py in <module>()
     55 pl.matshow(noisy_face[cut], cmap=pl.cm.gray)
     56
---> 57 denoised_face = iterated_wiener(noisy_face)
     58 pl.matshow(denoised_face[cut], cmap=pl.cm.gray)
     59

/home/esc/physique-cuso-python-2013/scipy-lecture-notes/advanced/debugging/wiener_filtering.py in iterated_wiener(noisy_img, size)
     38         res = noisy_img - denoised_img
     39         noise = (res**2).sum()/res.size
---> 40         noise_level = (1 - noise/l_var )
     41         noise_level[noise_level<0] = 0
     42         denoised_img += noise_level*res

FloatingPointError: divide by zero encountered in divide

• Déclenchement d'une exception comme un point d'arrêt du pauvre :
  Si vous trouvez fastidieux de noter le numéro de ligne pour poser un point d'arrêt, vous pouvez simplement lever une exception au point que vous souhaitez inspecter et utiliser la fonction %debug de Ipython. Notez que dans ce cas, vous ne pouvez pas faire du pas-à-pas et continuez l'exécution.
• Test de débogage d'échec en utilisant nosetests
  Vous pouvez lancer nosetests --pdb pour faire un saut dans des exceptions en mode post-mortem, et nosetests --pdb-failure pour inspecter les échecs de test en utilisant le débogueur.
  En outre, vous pouvez utiliser l'interface d'IPython pour le débogueur dans nose en installant le plugin nose ipdbplugin. Vous pouvez passer les options --ipdb et --ipdb-failure à nosetests.
• Appeler explicitement le débogueur
  Insérez la ligne suivante à l'endroit où vous voulez stopper le débogueur :

import pdb; pdb.set_trace()

Débogueurs graphiques et alternatifs

• Pour faire du pas-à-pas à travers le code et inspecter les variables, vous trouverez peut-être plus pratique d'utiliser un débogueur graphique tel que winpdb.
• Sinon, pudb est un bon débogueur semi-graphique avec une interface utilisateur texte dans la console.
• Le projet pydbgr, également, vaut probablement le coup qu'on y jette un œil.

Tapez h ou help pour accéder à l'aide interactif :

ipdb> help

Documented commands (type help <topic>):
========================================
EOF    bt         cont      enable  jump  pdef   r        tbreak   w
a      c          continue  exit    l     pdoc   restart  u        whatis
alias  cl         d         h       list  pinfo  return   unalias  where
args   clear      debug     help    n     pp     run      unt
b      commands   disable   ignore  next  q      s        until
break  condition  down      j       p     quit   step     up

Miscellaneous help topics:
==========================
exec  pdb

Undocumented commands:
======================
retval  rv