Molecular Modelling and GNU/Linux

Récupérer les données d'une page internet avec Python

S. Téletchéa — 2026-04-22T09:44:43Z

Sommaire

En bioinformatique, il est courant de devoir récupérer les informations de différents endroits pour les recouper et les organiser différemment. Par exemple, une liste de gènes d'intérêt peut être identifiée sur le site du National Center for Biotechnology Information (NCBI). Les maladies associées à ces gènes vont être disponibles sur le site Online Mendellian Inheritance In Men (OMIM). Grâce aux projets de séquençage à haut débit, les changements nucléotidiques simples (Single Nucleotide Polymorphism) sont disponibles sur le site du Broad Institute : Genome Aggregration Database (gnomAD). Dans cette dernière base de données, la diversité des séquences de chacun de nos gènes est décrite, mais la conséquence de ces changements nucléotidiques est souvent inconnue. Pour terminer cette introduction rapide sur les sources de données, il faut noter que les données sur les protéines vont être accessibles sur le site UniProt et que les structures des protéines vont être disponibles sur la Protein Data Bank.

En pratique, cela veut dire que l'on peut récupérer beaucoup d'informations de manière assez rapide, en se rendant sur chacun des sites un par un, puis en recoupant celles-ci dans un fichier texte ou dans un tableur. Ce travail est essentiel en biologie, mais très vite fastidieux, car il existe plusieurs allèles d'un gène, au moins une dizaine de SNP par allèle, au moins une protéine par allèle, et très fréquemment plusieurs structures du même gène, par exemple de la protéine libre et de la protéine liée à une petite molécule ou à un autre partenaire protéique. Dans ce cas, cela devient très vite compliqué d'assembler de manière claire ces informations. C'est là que python intervient.

Python, requests et BeautifulSoup

Le langage python a été inventé par Guido van Rossum pour enseigner l'informatique. La courbe d'apprentissage du langage est rapide, car sa syntaxe est claire et concise. Il est possible d'écrire un programme sous forme de suite d'instructions à réaliser, mais très vite, il est plus clair d'organiser chaque élément en fonction, ce qui va permettre de réutiliser des éléments du code.

Quand certaines fonctions couvrent des besoins qui vont être transversaux, que chaque développeuse ou développeur va utiliser, les auteurs de ces fonctions les regroupent dans des paquets python que l'on va pouvoir appeler en début de notre programme pour les utiliser.

La librairie requests permet de récupérer le contenu d'une page internet, mais aussi d'interagir avec, par exemple pour remplir et envoyer un formulaire automatiquement.

La librairie beautifulsoup permet de parcourir le contenu d'une page internet qui a été téléchargée, d'analyser sa structure, et de récupérer des éléments selon un mot-clé, une balise (tag) ou tout autre élément remarquable.

Accéder aux informations biologiques

La plupart du temps, les sites indiqués ci-dessus vont fournir une interface d'interrogation programmatique, ou Application Programming Interface : API, qui permet de communiquer directement avec le site d'intérêt. Pour UniProt il est ainsi possible de récupérer la séquence d'une protéine directement via un lien, comme cela est indiqué dans la documentation officielle ici : https://www.uniprot.org/help/api. Pour chacun des autres sites mentionnés, il faudra utiliser une syntaxe spécifique, mais le principe est le même, une manière d'accéder à une information précise est prévue.

Dans la suite de l'article, nous allons traiter un cas générique pour illustrer comment python peut nous aider dans l'extraction de données sur des pages génériques.

Organisation d'une page internet (web)

Une page internet est un document texte organisée avec des éléments ouvrants et fermants pour définir du contenu à interpréter par le navigateur web ou à afficher pour l'utilisateur. Chaque balise, que l'on traduit donc par markup en Anglais, va avoir un rôle unique, indiqué rapidement ci-dessous :

balise p : sert à délimiter un élément de paragraphe. Un paragraphe va correponsdre à un bloc de texte qui se termine par un retour à la ligne forcé. Utilisation : le texte
balise b : sert à indiquer un élément en gras (bold en Anglais). Utilisation : le texte
balise i : sert à mettre un élément en italique. Utilisation : le texte

Il existe d'autres balises (head, body, h1, h2, ...) qui servent à délimiter d'autres éléments de la page, qui ne sont pas détaillées ici. Pour une liste plus complète, il vaut mieux se référer aux sites établis (https://developer.mozilla.org/en-US/docs/Web/HTML/Reference/Elements).

Il est possible de retenir que l'ensemble d'une page internet est consituée d'un bloc principal défini par la balise ... contenu ... , qu'à l'intérieur de ce bloc se situent deux autres blocs, ... diverses commandes ... qui contient les instructions pour le navigateur, les élements de style et l'appel aux bibliothèques javascript, et enfin la partie du corps de la page celle qui est visible pour l'utilisateur, définie par la balise ... contenu visibile pour l'utilisateur ... .

La complexité de lecture d'une page web par un humain vient du fait que ces balises sont imbriquées les unes dans les autres, et que souvent les espaces sont enlevés pour optimiser le chargement et l'interprétation des pages.

Cas pratique : lister toutes les maladies génétiques à gène identifié

Une page wikipédia recense des maladies où un gène unique est lié à une maladie : https://fr.wikipedia.org/wiki/Liste_des_maladies_g%C3%A9n%C3%A9tiques_%C3%A0_g%C3%A8ne_identifi%C3%A9.

Cette liste est affichée sous forme d'un tableau qui a comme titres de colonnes :

Nom
OMIM
Transmission
Chromosome
Type de mutation
Gène en cause

Ce tableau est défini en HTML par la balise

contenu du tableau

, chaque ligne du tableau est définie avec la balise ... contenu de la ligne ... puis chaque cellule est délimitée par la balise contenu de la cellule ... .

Il est possible de voir l'organisation du tableau en faisant un clic droit sur la page et en choisissant l'entrée de menu "Afficher le code source de la page".

Nous allons maintenant utiliser python pour récupérer le contenu de la page et transformer le tableau en données exploitables. A ce stade, il faut noter qu'il est aussi possible de ne sélectionner à la souris que le tableau et de le copier dans un tableur (Microsoft Excel, LibreOffice Calc, etc) qui devrait reconnaître le format et récupérer les éléments (le temps de traitement peut être un peu long).

Version 1 : téléchargement de la page avec requests

Nous allons utiliser la librairie requests pour télécharger en local le texte de la page.

#!/usr/bin/env python3 from bs4 import BeautifulSoup import requests import sys def telecharge_url(url): """ Télécharge une page distante avec la bibliothèque requests et renvoie le contenu au format texte https://www.w3schools.com/python/module_requests.asp """ # Wikipedia demande un User Agent headers = {"User-Agent": "Mozilla/5.0"} html = requests.get(url,headers=headers) # print(f"Contenu de la page \n:{html}") return html def main(): # Récupération des données # Liste des maladies génétiques avec un gène identifié lien = "https://fr.wikipedia.org/wiki/Liste_des_maladies_g%C3%A9n%C3%A9tiques_%C3%A0_g%C3%A8ne_identifi%C3%A9" page = telecharge_url(lien) if __name__ == "__main__": main()

Version 2 : analyser le code HTML avec BeautifulSoup

#!/usr/bin/env python3 from bs4 import BeautifulSoup import requests import sys def telecharge_url(url): """ Télécharge une page distante avec la bibliothèque requests et renvoie le contenu au format texte https://www.w3schools.com/python/module_requests.asp """ # Wikipedia demande un User Agent headers = {"User-Agent": "Mozilla/5.0"} html = requests.get(url,headers=headers).text # print(f"Contenu de la page \n:{html}") return html def analyse_page(page): """ Analyse le contenu d'une page web pour récupérer ce qui correspond à une balise spécifique Renvoie une liste à partir du tableau de données Documentation : thunderbit.com/fr/blog/beautifulsoup-in-python """ data=[] # Analyser la page avec beautifulsoup soup = BeautifulSoup(page, 'html.parser') # Récupérer tous les tableaux tables = soup.find_all('table') # Extraire les données de chaque tableau for t in tables: # Lire chaque ligne trouvée for ligne in t.find_all('tr'): # Lire chaque cellule de la ligne cellules = ligne.find_all('td') # Transformer la ligne de cellules en liste l = [c.text.strip() for c in cellules] try: if l[5] != '' and l[0] != 'Nom': data.append(l) except: # The table has no disease data pass return data def main(): # Récupération des données # Liste des maladies génétiques avec un gène identifié lien = "https://fr.wikipedia.org/wiki/Liste_des_maladies_g%C3%A9n%C3%A9tiques_%C3%A0_g%C3%A8ne_identifi%C3%A9" page = telecharge_url(lien) liste = analyse_page(page) print(liste) if __name__ == "__main__": main()

Version 3 : exporter le résultat dans un fichier Microsoft Excel

La libraire PANDAS permet d'exporter des données dans un fichier excel. Pour manipuler les données, elle représente celles-ci sous une forme de feuille de calcul (DataFrame), ce qui permet d'accéder rapidement à de nombreuses fonctions, comme l'export de fichier au format excel.

#!/usr/bin/env python3 from bs4 import BeautifulSoup import pandas as pd import requests import sys def telecharge_url(url): """ Télécharge une page distante avec la bibliothèque requests et renvoie le contenu au format texte https://www.w3schools.com/python/module_requests.asp """ # Wikipedia demande un User Agent headers = {"User-Agent": "Mozilla/5.0"} html = requests.get(url,headers=headers).text # print(f"Contenu de la page \n:{html}") return html def analyse_page(page): """ Analyse le contenu d'une page web pour récupérer ce qui correspond à une balise spécifique Renvoie une liste à partir du tableau de données Documentation : thunderbit.com/fr/blog/beautifulsoup-in-python """ data=[] # Analyser la page avec beautifulsoup soup = BeautifulSoup(page, 'html.parser') # Récupérer tous les tableaux tables = soup.find_all('table') # Extraire les données de chaque tableau for t in tables: # Lire chaque ligne trouvée for ligne in t.find_all('tr'): # Lire chaque cellule de la ligne cellules = ligne.find_all('td') # Transformer la ligne de cellules en liste l = [c.text.strip() for c in cellules] try: if l[5] != '' and l[0] != 'Nom': data.append(l) except: # The table has no disease data pass return data def main(): # Récupération des données # Liste des maladies génétiques avec un gène identifié lien = "https://fr.wikipedia.org/wiki/Liste_des_maladies_g%C3%A9n%C3%A9tiques_%C3%A0_g%C3%A8ne_identifi%C3%A9" page = telecharge_url(lien) liste = analyse_page(page) # Export en fichier formaté df = pd.DataFrame(liste, columns=['Nom', 'OMIM', 'Transmission', 'Chromosome', 'Type de mutation', 'Gène en cause']) # Enregistrement au format Microsoft Excel df.to_excel("liste_maladies_genes_identifies.xlsx", index=False) if __name__ == "__main__": main()

Dépendances et utilisation du programme V3

Le programme (v3) ci-dessous fait appel à requests, beautifulsoup, pandas, openpyxl (pour l'export python). Si vous utiliser un IDE comme PyCharm vous pouvez les installer via celui-ci, sinon vous pouvez créer un environnement virtuel léger python comme suit :

sudo apt install python3-virtualenv ou sous Mac OS : brew install virtualenv virtualenv -p python3 venv source venv/bin/activate pip install beautifulsoup4 pandas openpyxl requests

Pour utiliser le programme ci-dessus, vous pouvez l'exécuter via PyCharm ou via le terminal :

source venv/bin/activate chmod +x programme_v3.py ./programme_v3.py

Le fichier excel "liste_maladies_genes_identifies.xlsx" sera créé au même endroit que le programme, et vous pouvez ouvrir ce fichier pour étudier son contenu, effectuer des tris, etc.

Pour aller plus loin

Introduction à l'informatique pour les étudiants en biologie

S. Téletchéa — 2024-03-13T10:42:55Z

Sommaire

Dans le cadre d'enseignements de licence, j'ai l'occasion de faire une introduction à l'informatique à des étudiants en deuxième année de biologie, voici ci-après les documents de cours et les TD associés qui sont mis à la disposition des étudiants. Si vous trouvez ces contenus utiles, merci de me contacter pour me l'indiquer, je pourrai vous transmettre les documents au format éditable sans souci. Ces documents sont fournis sous licence creative commons CC-BY-NC-SA (https://creativecommons.org/licenses/by-nc-sa/4.0/deed.fr).

Document de cours

Documents de TD

TD 1

TD 2

TD 3

Cette page sera mise à jour régulièrement pour ajouter des explications et des documents additionnels.

Introduction to Structural bioinformatics

S. Téletchéa — 2023-10-18T07:38:49Z

This article contains useful links and documents part of an introductory lecture given to lab member of the US2B laboratory (https://us2b.univ-nantes.fr) in October 2023. This page will be updated regularly to add useful information from their feedback.

As much as possible, the origin and references are given for a more complex introduction to the field, feel free to contact me for further precisions. The documents attached below are released under a permissive.

Previous introductions

I did in the past two recorded introductions with common parts on the field. One in French and the second in English. Here are the vidéos.

Introduction to Structural bioinformatics, 2018, English (video)

Unfortunately this video has some interferences for sound records, so some parts contains sound scratches, overall most of the video is useful. This was an introductory lecture for a GGMM sponsored thematic school In Nantes, France (https://dynamoppi.sciencesconf.org/).

Introduction to structural bioinformatics (bad noise)

Stéphane Téletchéa

Introduction à la bioinformatique structurale, 2020, French (video)

This lecture was given to third-year bachelor students, and includes a little section about SARS-CoV-2 proteins structures and functions.

Introduction à la Bioinformatique Structurale

Stéphane Téletchéa

Introduction à la bioinformatique structurale, 2020, French (article)

I wrote an article in the French magazine GNU/Linux Magazine France about Structural Bioinformatics and alphaFold (2), you can find it here :

https://connect.ed-diamond.com/GNU-Linux-Magazine/glmf-234/alphafold-la-reponse-au-probleme-le-plus-complexe-de-l-univers

First lecture, introductory concepts

This document presents rapidly some important milestones in structural biology, and the latest developments in structural bioinformatics. It should probably be split into multiple files to focus on more specific chapters and sections.

Second lecture, addition of definitions and model validation

Introduction à la chémoinformatique : les fichiers pour les petites molécules 3D

S. Téletchéa — 2023-10-11T12:36:45Z

Sommaire

Format de fichier 3D des petites molécules et source

Les ligands ou constituants biologiques sont disponibles dans différentes bases de données, trois formats sont le plus souvent utilisés, en fonction de l'utilisation prévue du ligand :

le format SDF, attention ce format permet de représenter les molécules en 2D, il faut être vigilant à télécharger la molécule au format « 3D ».
le format MOL2
le format PDB

Il existe de nombreux autres formats pour représenter les petites molécules, ils sont décrits sur la page wikipedia en détail (https://en.wikipedia.org/wiki/Chemical_file_format), le détail de l'organisation de ces fichiers et les principes sous-jascents sont présentés dans uen page dédiée (https://en.wikipedia.org/wiki/Chemical_table_file).

Il est possible de décrire sur une ligne (1D) une formule chimique en suivant les descriptions du format SMILES, présentés sur le site de l'entreprise DayLight (https://daylight.com/) ou encore sur wikipedia dans la page décrivant SMILES (https://en.wikipedia.org/wiki/Simplified_molecular-input_line-entry_system).

Bases de données comprenant les molécules au format 3D

Quand il s'agit de petites molécules (qui seront des ligands des protéines), il est possible d'obtenir directement leurs coordonnées au format SDF 3D en allant sur :

PubChem (https://pubchem.ncbi.nlm.nih.gov/)
ChEMBL (https://www.ebi.ac.uk/chembl/)
BindingDB (https://www.bindingdb.org/bind/index.jsp)

Django par la pratique

S. Téletchéa — 2023-06-29T14:42:03Z

Mon article sur le framework Django (https://www.djangoproject.com/) publié dans GNU/Linux magazine no 207 est disponible en ligne sans restriction : https://connect.ed-diamond.com/GNU-Linux-Magazine/GLMF-207/Django-par-la-pratique.

Django est un framework python populaire très performant pour propulser un site web. Son utilité dans le domaine de la bioinformatique n'est plus à démontrer, je l'utilise à titre personnel pour de nombreux projets de recherche.

Pour permettre aux nouveaux venus (mes étudiants en premier lieu) de mieux appréhender Django, j'ai mis en forme quelques notes qui me servaient d'habitude à leur présenter le framework et son fonctionnement. J'espère que cette introduction et le code associé vous seront utiles.

Après ces étapes d'introduction, vous pourrez mettre en application cette introduction pour un service de "curation", c'est-à-dire la procédure de validation par un humain de données inférées à partir de différentes sources.

Cet exemple étant fonctionnel, vous pouvez enfin le déployer sur un serveur GNU/Linux avec apache et tester en conditions réelles son fonctionnement.

Le code source de l'article est disponible sur le dépôt github du magazine : https://github.com/GLMF/GLMF207/tree/master/Mobile_Web.

J'espère que cette introduction avec une application pratique vous sera utile !

Si vous voulez voir une application "grandeur nature", vous pouvez vous rendre sur le site dédié aux protéines présentes dans le globule rouge : RESPIRE. Le détail de l'implémentation de cette base de données est disponible dans Plos One :

Repository of Enriched Structures of Proteins Involved in the Red Blood Cell Environment (RESPIRE). Téletchéa S, Santuz H, Léonard S, Etchebest C (2019) Repository of Enriched Structures of Proteins Involved in the Red Blood Cell Environment (RESPIRE). PLOS ONE 14(2) : e0211043.

Molecular Modelling and GNU/Linux

Récupérer les données d'une page internet avec Python

Sommaire

Python, requests et BeautifulSoup

Accéder aux informations biologiques

Organisation d'une page internet (web)

Cas pratique : lister toutes les maladies génétiques à gène identifié

Version 1 : téléchargement de la page avec requests

Version 2 : analyser le code HTML avec BeautifulSoup

Version 3 : exporter le résultat dans un fichier Microsoft Excel

Dépendances et utilisation du programme V3

Pour aller plus loin

Introduction à l'informatique pour les étudiants en biologie

Sommaire

Document de cours

Documents de TD

Introduction to Structural bioinformatics

Table of contents

Previous introductions

Introduction to Structural bioinformatics, 2018, English (video)

Introduction à la bioinformatique structurale, 2020, French (video)

Introduction à la bioinformatique structurale, 2020, French (article)

First lecture, introductory concepts

Second lecture, addition of definitions and model validation

Introduction à la chémoinformatique : les fichiers pour les petites molécules 3D

Sommaire

Format de fichier 3D des petites molécules et source

Bases de données comprenant les molécules au format 3D

Django par la pratique