All posts by Pierre

Informaticien de profession, ferroviphile (voire ferrovipathe), père et râleur éhonté à l'occasion.

IPv6 ICMP “packet too big” filtering considered harmful

If you intend to seriously run Internet servers or firewalls in the future (hence, IPv6 servers and firewalls), please read this.

This problem is so well-known, so old and yet still so unfixed and pervasive nowadays that, after pulling my hair for days on many hanging or time-outing IPv6 sessions, I felt I had to write this.

Executive summary: there are a huge number of sites with misconfigured firewalls who filter out “ICMP6 packet too big” packets. This breaks Path MTU discovery, causing hanging or broken IPv6 sessions.

Many sites unknowingly assume that the Internet MTU is at least 1500 bytes. This is wrong, whether in IPv4 or IPv6.

Many Internet hosts are connected through tunnels reducing the real MTU. Use of PPPoE for example, on ADSL links, reduces the MTU by a few bytes, and use of 6rd (“6 rapid deployment” tunneling) reduces it more than that. As 6rd is used extensively in France (Free ISP), this is a big problem.

1. The symptom: hanging IPv6 connections

Here’s a sample capture for a request where the server has more than 1 data packet.

08:39:57.785196 IP6 2a01:e35:8b50:2c40::7.39738 > 2001:xxx.43: S 165844086:165844086(0) win 65535 <mss 1440,nop,wscale 3,sackOK,timestamp 901

08:39:57.807709 IP6 2001:xxx.43 > 2a01:e35:8b50:2c40::7.39738: S 883894656:883894656(0) ack 165844087 win 14280 <mss 1440,sackOK,timestamp 2377433946 90108,nop,wscale 7>

08:39:57.808452 IP6 2a01:e35:8b50:2c40::7.39738 > 2001:xxx.43: .ack 1 win 8211 <nop,nop,timestamp 90132 2377433946>

08:39:57.808655 IP6 2a01:e35:8b50:2c40::7.39738 > 2001:xxx.43: P 1:9(8) ack 1 win 8211 <nop,nop,timestamp 90132 2377433946>

08:39:57.833052 IP6 2001:xxx.43 > 2a01:e35:8b50:2c40::7.39738: .ack 9 win 112 <nop,nop,timestamp 2377433972 90132>

08:39:57.888981 IP6 2001:xxx.43 > 2a01:e35:8b50:2c40::7.39738: P 1:1025(1024) ack 9 win 112 <nop,nop,timestamp 2377434026 90132>

(missing packet here : 1025:2453 containing 1428 bytes)

08:39:57.889315 IP6 2001:xxx.43 > 2a01:e35:8b50:2c40::7.39738: FP 2453:2723(270) ack 9 win 112 <nop,nop,timestamp 2377434027 90132> 08:39:57.890100 IP6 2a01:e35:8b50:2c40::7.39738 > 2001:xxx.43: .ack 1025 win 8211 <nop,nop,timestamp 90213 2377434026,nop,nop,sack 1 {2453:2723}>

(session hangs here, unterminated because of the missing bytes)

This is difficult to debug as modern Unices have a “TCP host cache” keeping track of Path MTUs on a host-by-host basis, causing the problem to suddenly disappear. in unpredictable ways depending on the size of transmitted data.

2. A sample successful session with working trial-and-error Path MTU discovery

10:09:55.291649 IP6 2a01:e35:8b50:2c40::7.40948 > 2a01:e0d:1:3:58bf:fa61:0:1.43: S 1032533547:1032533547(0) win 65535 <mss 1440,nop,wscale 3,sackOK,timestamp 5487603 0>

10:09:55.291787 IP6 2a01:e0d:1:3:58bf:fa61:0:1.43 > 2a01:e35:8b50:2c40::7.40948:S 3695299654:3695299654(0) ack 1032533548 win 65535 <mss 1440,nop,wscale 3,sackOK,timestamp 3185067848 5487603>

10:09:55.316234 IP6 2a01:e35:8b50:2c40::7.40948 > 2a01:e0d:1:3:58bf:fa61:0:1.43: . ack 1 win 8211 <nop,nop,timestamp 5487628 3185067848>

10:09:55.317965 IP6 2a01:e35:8b50:2c40::7.40948 > 2a01:e0d:1:3:58bf:fa61:0:1.43: P 1:9(8) ack 1 win 8211 <nop,nop,timestamp 5487628 3185067848> 10:09:55.417301 IP6 2a01:e0d:1:3:58bf:fa61:0:1.43 > 2a01:e35:8b50:2c40::7.40948: . ack 9 win 8210 <nop,nop,timestamp 3185067974 5487628>

Now the big packet that was missing in the broken session above:

10:09:56.084457 IP6 2a01:e0d:1:3:58bf:fa61:0:1.43 > 2a01:e35:8b50:2c40::7.40948: . 1:1429(1428) ack 9 win 8210 <nop,nop,timestamp 3185068641 5487628>

The 6rd gateway replies with an ICMP6 message:

10:09:56.085221 IP6 2a01:e00:1:11::2 > 2a01:e0d:1:3:58bf:fa61:0:1: ICMP6, packet too big, mtu 1480, length 584

Missing data is retransmitted by the server using a lower packet size (and an entry is created in the server’s host cache to remember that):

10:09:56.085489 IP6 2a01:e0d:1:3:58bf:fa61:0:1.43 > 2a01:e35:8b50:2c40::7.40948: . 1:1409(1408) ack 9 win 8210 <nop,nop,timestamp 3185068642 5487628> 10:09:56.085522 IP6 2a01:e0d:1:3:58bf:fa61:0:1.43 > 2a01:e35:8b50:2c40::7.40948: . 1409:1429(20) ack 9 win 8210 <nop,nop,timestamp 3185068642 5487628>

Then the connection goes on to correct completion (no use showing the packets here).

Interestingly, trying an identical request then shows that the MSS negotiation takes the host cache into account, with a MSS set to 1420 instead of 1440 from the start in the server reply:

10:10:14.053218 IP6 2a01:e35:8b50:2c40::7.20482 > 2a01:e0d:1:3:58bf:fa61:0:1.43: S 2231600544:2231600544(0) win 65535 <mss 1440,nop,wscale 3,sackOK,timestamp 5506365 0>

10:10:14.053382 IP6 2a01:e0d:1:3:58bf:fa61:0:1.43 > 2a01:e35:8b50:2c40::7.20482: S 2676514636:2676514636(0) ack 2231600545 win 65535 <mss 1420,nop,wscale 3,sackOK,timestamp 1128201317 5506365>

3. The simple fix

The fix is dead simple: just make sure that your filters are configured so that ICMP6 “packet too big”, type number 2, messages are correctly transmitted end-to-end, and correctly handled.

 

Le parcours du combattant de l’abonné FTTH français en copropriété

(suite de mes pérégrinations débutées ici)

Les opérateurs délivrant de la fibre jusqu’à l’abonné (dite “FTTH”) sont au nombre de 3 :

  • FT/Orange
  • SFR
  • Free

On peut y ajouter Numéricâble qui est un cas particulier. Numéricâble est un cablo-opérateur de télévision qui a ajouté à son offre, à la fin des années 90, l’accès à Internet utilisant la technologie DOCSIS. Il ne délivre pas de la fibre jusqu’à l’abonné mais du câble coaxial cuivre pour télévision (quoiqu’il semblerait que Numéricâble fournisse maintenant de la “vraie” fibre FTTH mais je n’en sais pas plus).

Alors comment obtenir la fibre chez soi ?

Signature d’une convention avec un opérateur d’immeuble (OI)

Pour cela, il faut procéder au vote d’une résolution en assemblée générale. Le plus économique est de le faire lors de l’assemblée générale annuelle, afin de ne pas multiplier les convocations coûteuses.  Cette résolution donne l’autorisation au syndic d’immeuble de signer une convention avec un opérateur.

Or, les opérateurs se déplacent rarement avant d’avoir une convention signée, et ne peuvent vérifier la faisabilité technique qu’en se déplaçant.

Par ailleurs, comme je l’ai expliqué précédemment, Free s’est retiré de l’activité d’opérateur d’immeuble, et les autres opérateurs semblent éviter de (ou ne peuvent) se rendre dans les immeubles où Numéricable a été choisi comme opérateur d’immeuble.

Les deux seuls fournisseurs d’accès également opérateurs d’immeuble existant à Paris (et a priori c’est le cas par défaut dans toutes les grandes villes, à part les exceptions locales) à l’heure actuelle sont donc SFR (voir ici) et Orange (ici).

Mais il existe la possibilité d’être simplement opérateur d’immeuble sans être fournisseur d’accès, c’est par exemple ce qui se passe dans les Hauts de Seine avec Sequalum (merci à J.-B. Favre). On peut même imaginer des syndics d’immeuble qui seraient leur propre opérateur.

De plus, il est évidemment impossible d’être certain qu’un opérateur pressenti installera effectivement la fibre. Il a 6 mois pour le faire, après quoi la convention est caduque et il faut procéder à la signature avec un autre opérateur, en général à l’assemblée générale annuelle suivante. Sauf convocation exceptionnelle on peut donc perdre un an, c’est ce qui est arrivé dans ma copropriété.

Il est donc conseillé de rédiger une résolution d’AG “générique”, du style “accord de principe pour signer une convention avec un opérateur pour la pose de fibre, avec pouvoir au conseil syndical pour le choix de l’opérateur”, plutôt qu’une résolution nommant explicitement un opérateur.

Arrivée de l’opérateur d’immeuble

Une fois la convention signée, dans un délai de 6 mois, l’opérateur va venir :

  • effectuer un repérage des lieux pour le câblage horizontal (arrivée en bas d’immeuble) et le câblage vertical (relier les étages) et faire viser un dossier de travaux par le syndic d’immeuble ;
  • tirer une fibre de son réseau métropolitain jusqu’au bas d’immeuble
  • installer en bas d’immeuble un “point de mutualisation” permettant aux autres opérateurs de desservir l’immeuble
  • installer le câblage dit “vertical” pour desservir chaque bâtiment et chaque étage

Ces opérations prennent un certain temps. La pose effective du câblage vertical demande 1 ou 2 jours de travaux.

Création d’un accès abonné

Tout n’est pas encore prêt pour s’abonner à n’importe quel opérateur. !

  • cas le plus simple : on souhaite s’abonner à l’opérateur d’immeuble. Celui-ci envoie alors un technicien qui va procéder au raccordement de l’appartement, en posant un câble optique de l’armoire de palier (desservie en câblage vertical) jusqu’à l’appartement. Eh oui, les appartements ne sont pas systématiquement raccordés complètement lors du câblage vertical, en raison des coûts induits et des contraintes logistiques d’accès !
  • cas plus compliqué : on souhaite s’abonner à un autre opérateur.. C’est possible. Il faut alors que celui-ci pose à son tour une fibre horizontale jusqu’au bas d’immeuble, ou qu’il réutilise une fibre horizontale existante posée par un opérateur déjà présent (ce cas semble rare mais il existe entre SFR et Orange, voir les commentaires), puis se mette en contact avec l’opérateur d’immeuble pour être raccordé au point de mutualisation local. Il ne lui reste alors plus, comme ci-dessus, qu’à poser du câblage d’étage pour desservir l’appartement désiré.

Les délais ?

Il faut d’abord penser à intégrer une résolution à l’ordre du jour de l’assemblée générale suivante. Délai légal de convocation : 1 mois (il n’y a pas si longtemps, il me semble me souvenir que c’était seulement 2 semaines…)

Puis, si la résolution est votée, signer et envoyer la convocation, et attendre le passage de l’opérateur pour le repérage : de 1 semaine à 1 mois (estimation au doigt mouillé)

Puis pour les travaux : de 1 semaine à un mois pour attendre son tour (estimé aux entrailles de poisson), puis 1 ou 2 jours de pose horizontale + verticale.

Puis , pour un abonnement à l’opérateur d’immeuble ou un opérateur déjà présent : de 1 semaine à 1 mois (estimation marc de café), 1 ou 2 heures de pose.

Pour un abonnement à un autre opérateur non présent : repérage + pose fibre horizontale, de 1 à 3 mois (estimation astrologique), raccordement au point de mutualisation après accord avec l’opérateur d’immeuble : quelques semaines, pose chez l’abonné : idem ci-dessus.

Les totaux sont assez déprimants :

  • presque 2 mois d’attente dans le meilleur des cas, si l’on a la chance de s’y prendre juste avant l’AG et dans les délais.
  • probablement plutôt 3 à 4 mois si l’on fait vite côté immeuble et syndic mais que l’opérateur prend du temps ;
  • au pire, 8 à 9 mois si l’on fait vite côté immeuble et syndic mais que  l’opérateur ne réalise les travaux qu’à la fin de son délai de 6 mois
  • à quoi il faut ajouter 11 mois pour attendre la prochaine AG annuelle si elle vient juste d’avoir lieu

Ajoutez un mauvais suivi de la part du syndic (cas très fréquent), une mauvaise compréhension des procédures, un opérateur faisant faux bond, et vous pouvez facilement perdre des années supplémentaires.

Ainsi dans notre immeuble les démarches (signature de la première convention) ont été initiées en mars 2008 ; 4 ans 1/2 plus tard il faut tout reprendre à zéro.

Conclusions

  • ne pas s’étonner de la faible demande pour la fibre, vu le parcours du combattant qui précède et demande une sérieuse motivation de la part du syndic d’immeuble et conseil syndical, les opérateurs ne venant absolument solliciter personne.
  • ne pas s’étonner du retard français

Sans être grand devin, il est facile de voir que ce retard ne sera pas résorbé dans les années qui viennent, bien au contraire, puisque :

  • aucun changement législatif ou organisationnel ne semble actuellement en préparation pour simplifier cette procédure ;
  • le sujet qui intéresse l’ARCEP et les opérateurs est le déploiement du VDSL2, qui à moindre coût donnera une “seconde vie” au cuivre du siècle dernier ;
  • les opérateurs préfèrent investir dans la téléphonie mobile 4e génération (LTE), potentiellement plus rémunératrice.

Et grands merci à @_Galak_ et @lprevosto (sur Twitter) ainsi que l’assistance SFR qui m’ont grandement aidé à mieux comprendre ce qui précède…

Quant à Orange, c’est l’électroencéphalogramme totalement plat, aucune nouvelle d’eux directe ou indirecte, 9 jours après le premier contact avec l’assistance qui m’a assuré afin de me forcer à raccrocher que l’on allait “me rappeler”.

Mise à jour : suites

FTTH en France, saison 6 : du rififi chez le syndic, relance du dossier et repérage v2

Installation de la fibre (FTTH), suite de la saison 5.

 

Quand la fibre Free se fait attendre, même à Paris

(précision sur le titre : le “même à Paris” est une allusion à la densité de la ville, où donc la rentabilité par rapport à l’investissement, prétexte souvent soulevé par les opérateurs, est le moins susceptible de poser un problème)

À l’heure où beaucoup monde se plaint de ne pouvoir obtenir la fibre (à part une poignée de privilégiés qui l’ont déjà, sans compter les très rares qui pourraient l’avoir mais n’en veulent pas), une étude OCDE signalée par Numerama confirme le colossal retard français en la matière.

Récemment, Orange a annoncé triomphalement activer 4000 prises par semaine.

La situation dans mon immeuble :

  • immeuble construit en 2008
  • convention Free signée début 2011
  • repérage puis pose par Free de la desserte horizontale (égouts -> immeuble) en octobre/novembre 2011
  • depuis… rien !

On appelle “desserte horizontale” le raccordement par la rue, les égouts, etc, d’un immeuble au réseau d’un opérateur.

La “desserte verticale” est le câblage interne de l’immeuble, reliant l’arrivée horizontale aux logements à desservir.

Lorsque les deux sont réunis, on parle d’accès FTTH (fiber to the home, fibre jusqu’à l’habitation).

Voici donc une photo, prise le 13 novembre 2011, de l’arrivée de la fibre Free dans le sous-sol de mon immeuble, via les égouts de Paris. La fibre est munie d’une jolie étiquette verte “FREE INFRASTRUCTURE” avec une référence et un numéro de téléphone qui tombe sur un répondeur, renvoyant l’appelant vers d’autres numéros “spéciaux syndics d’immeuble” qui ne permettent jamais d’obtenir quelqu’un. On voit que la fibre est sagement enroulée, inutile, en attente d’être branchée sur un réseau vertical qui n’est toujours pas là, près d’un an après.

Dans mon immeuble, les questions logiques des résidents : “On a bien voté la convention fibre pour Free en assemblée générale annuelle ? Ça en est où ? Faut-il qu’on demande à un autre opérateur ?”

Notre immeuble est très loin de représenter un cas isolé, j’ai entendu parler d’exemples similaires à Paris et à Lyon. Les opérateurs se sont fait la course pour mettre un pied le plus rapidement possible dans les immeubles, mais se font tirer l’oreille pour terminer les travaux, prétextant une faible demande des abonnés..

Parallèlement, pour masquer le retard français, les pouvoirs publics utilisent les statistiques faussement flatteuses de Numéricâble, un réseau câblé de télévision vieux, à quelques rénovations près, de 30 ans, en fibre (moderne à l’époque) prolongée dans les immeubles par du câble coaxial tout à fait classique et aux performances bien moindres que la fibre optique de bout-en-bout.

Quant aux opérateurs, par souci d’économie, ils misent sur la technologie VDSL2 pour donner une “2ème vie” [sic] au réseau cuivre du téléphone classique. On ignorait que celui-ci était mort une première fois.

Mise à jour : je ne regrette pas d’avoir écrit et diffusé ceci sur twitter, j’ai pu avoir des retours sur la procédure à suivre pour avancer. Free semble avoir résilié la convention d’immeuble.

Il nous appartient donc de choisir un nouvel opérateur d’immeuble  lors de la prochaine assemblée générale ; cet opérateur pourra effectuer la pose du câblage vertical et utiliser la fibre posée par Free.

Mise à jour 2 : il s’avère que les deux seuls opérateurs installant du FTTH en France en tant qu’opérateur d’immeuble actuellement sont SFR et FT/Orange. Merci beaucoup aux personnes qui m’ont donné des contacts (SFR très réactif…).

L’ARC (association conseillant les syndics de copropriété) arrive aux mêmes constatations, mais conseille carrément de rester en ADSL, ce qui est absurde et désolant. L’ARC soulève des arguments spécieux à mon sens contre les conventions des opérateurs (en fait reprises d’un modèle ARCEP) : durée de 25 ans (compréhensible, cela limite les interventions perpétuelles en AG, mais elles peuvent être résiliées avec préavis de 18 mois) et non-propriété du câblage à l’issue de la convention (compréhensible également : je vois mal les copropriétés se charger de la maintenance/entretien/évolution technique ou avoir un prestataire supplémentaire à trouver pour cela).

Voir :

Fusion (froide) CSA-ARCEP-HADOPI, préservation des anachronismes

La dernière idée en date des lobbyistes de l’industrie du divertissement, très écoutés au ministère de la Culture, date de plusieurs mois mais fait couler beaucoup d’encre depuis la rentrée.

Il s’agit de proposer la fusion de trois éminentes “autorités administratives indépendantes” : CSA, HADOPI et ARCEP, sous prétexte d’accompagner l’évolution technologique (la déferlante Internet qui s’annonce an matière de télévision), mais en réalité dans le but d’en ralentir les effets néfastes sur les situations acquises de l’industrie du divertissement et le contrôle politique “citoyen” sur les média.

Le CSA

D’un côté le CSA (Conseil supérieur de l’audiovisuel) dont la mission consiste à garantir la liberté de communication audiovisuelle en France. Le CSA a été constitué (sous le nom de Haute Autorité de la communication audiovisuelle) en 1982, quelques années après la disparition de l’ORTF, et pour préparer l’arrivée des premières chaînes privées.

Le CSA indique avoir les responsabilités suivantes :

  • la protection des mineurs
  • le respect de l’expression pluraliste des courants d’opinion
  • l’organisation des campagnes électorales à la radio et à la télévision
  • la rigueur dans le traitement de l’information
  • l’attribution des fréquences aux opérateurs
  • le respect de la dignité de la personne humaine, la protection des consommateurs
  • « veiller à la défense et à l’illustration de la langue et de la culture françaises » sur les antennes
  • rendre les programmes de la télévision accessibles aux personnes souffrant d’un handicap auditif ou visuel
  • veiller à la représentation de la diversité de notre société dans les médias
  • contribuer aux actions en faveur de la protection de la santé
  • etc [sic]

Une autre page détaille d’autres missions, dont l’attribution des canaux de télévision hertzienne (maintenant TNT), en expliquant que “la contrepartie de cette liberté est l’institution d’une fonction de régulation, chargée d’accompagner ce mouvement et d’en prévenir les éventuelles dérives“.

Je laisse au lecteur le soin de déterminer en quoi les responsabilités qui précèdent ont, ou pas, un rapport avec la mission générale de garantie de la liberté de communication audiovisuelle.

En ce qui concerne par exemple l’organisation des campagnes électorales, on se souviendra de la dernière élection présidentielle avec les débats ubuesques sur les temps de parole comparés, ou les heures autorisées de publication de résultats estimés qui ont toujours circulé sous le manteau et aujourd’hui quasi ouvertement via Internet, les nuages IP ne s’arrêtant pas à la frontière (incidemment j’ai écrit ceci avant de voir qu’un des articles cités en bas se servait du même exemple comme argument en faveur d’une fusion, alors qu’à l’évidence ni une fusion ni une extension des pouvoirs du CSA ne changera rien à la situation, ni à ce que les média étrangers ont le droit de diffuser, ni aux personnes qu’il est possible de poursuivre).

Le CSA tire sa légitimité, ou plutôt sa capacité d’action donc son influence, de la rareté des ressources. Les canaux hertziens de télévision ou radio ne sont pas (ou plutôt n’étaient pas, mais n’anticipons pas) en nombre illimité, et leur attribution nécessite de pouvoir montrer patte blanche et une capacité à les remplir.

L’ARCEP

L’ARCEP quant à elle a pour mission la régulation des télécommunications et des postes, dont l’attribution des ressources rares que sont fréquences hertziennes et plages de numéros téléphoniques. L’ARCEP possède un rôle essentiellement technique et concurrentiel et en aucun cas ne se mêle de régulation des contenus, respectant d’ailleurs en cela le bon vieux modèle OSI d’indépendance des couches.

La HADOPI

La HADOPI, bien connue sur Internet et ici, est proposée également comme partie prenante de la fusion, et ses missions “pédagogiques” sont explicitement téléguidées par l’industrie du divertissement via le ministère de la Culture.

Les mutations de l’audiovisuel

Jusqu’à ces dernières années, les choses étaient simples.

D’un côté la télévision, média grand public aux canaux gérés depuis des décennies par une poignée de groupes bien établis, chapeautés par des autorités dont le dernir avatar en date est le CSA.

De l’autre, Internet, réseau informatique presque confidentiel par comparaison avec la télévision, et dont les capacités techniques permettaient difficilement le transport à grande échelle de contenus vidéo.

En à peine 10 ans, quatre évolutions technologiques ont tout balayé : la vidéo numérique (mpeg…), l’ADSL et le triple-play, la TNT, le P2P.

La TNT est à la fois un succès et un échec. Un succès technologique, puisqu’elle remplace haut la main la télévision analogique et augmente considérablement la capacité hertzienne (dividende numérique, permettant de libérer des fréquences pour le téléphone mobile). Mais un échec en termes de contenus (remplissage avec des séries américaines de seconde zone, difficulté à trouver des opérateurs pour les nouvelles chaînes disponibles) et d’audience, mécaniquement éparpillée sur 5 à 6 fois plus de chaînes, et concurrencée par le développement d’Internet.

La TNP (télévision numérique personnelle), avatar mobile de la TNT, et la radio numérique, sont un échec complet et ne sont pas déployées.

L’ADSL a permis l’augmentation des débits des abonnés Internet, et la diffusion de bouquets télévisés par les fournisseur d’accès. Cette évolution n’avait absolument pas été anticipée par les chaînes de télévision.

Enfin, le P2P, profitant de la vidéo numérique et de l’augmentation des débits, a fourni un moyen d’échange pratique de contenus “à la demande” ou presque, en l’absence d’offre commerciale sérieuse.

La délinéarisation

La délinéarisation, c’est la disparition de la nécessité d’être devant son poste de télévision à l’heure dite pour regarder son émission préférée. Grâce à la numérisation, aux progrès en termes de stockage et de transmission, elle a beaucoup avancé depuis ce que permettait le magnétoscope :

  • le P2P, précurseur
  • la VoD gratuite sur Internet (Youtube…)
  • la VoD payante…
  • les fonctions d’enregistreur numérique des box ADSL
  • les divers services de Replay, par les fournisseurs d’accès ou les chaînes elles-mêmes

Et ce n’est qu’un début. Là où aujourd’hui il est possible de retrouver l’émission ou l’épisode que l’on a raté la veille au soir, dans quelques années on pourra demander n’importe quel épisode, dès que les ayants-droit l’auront accepté.

La délinéarisation massive et Internet sont les grands amis des missions principales du CSA :

  1. Ils multiplient à l’infini les sources, assurant le pluralisme qui devient “naturel”
  2. Ils donnent accès à tous ceux qui le désirent à une diffusion planétaire
  3. Ils réduisent la granularité du contenu, faisant disparaître la notion de “chaîne” et rendant caduque celle de “quota”

Sur Internet le CSA ne peut donc se prévaloir d’aucune utilité sur lesdites missions.

À plus ou moins long terme on peut prédire que la délinéarisation va transférer sur Internet l’essentiel des diffusions “en boite” : tout ce qui n’est pas diffusé en direct, émissions, séries, films, etc. La diffusion télévisée garde encore temporairement son intérêt pour la diffusion à grande échelle d’émissions ou événements en direct.

Internet est en train (à 5-10 ans d’échéance) de tuer révolutionner la télévision telle que nous la connaissons, et c’est bien cela qui inquiète l’industrie du divertissement. Pour les sceptiques, voir ceci : MIPCOM : Youtube part à l’assaut de la télévision.

La télévision connectée

Parler de “télévision connectée” pour justifier une fusion CSA-ARCEP-HADOPI, c’est voir les choses par le petit bout de la lorgnette.

Le terminal utilisé n’a aucune importance, si ce n’est savoir qui en maîtrise le logiciel.

Certains brancheront leur télévision sur Internet pour des visionnages en famille, d’autres se contenteront d’une tablette ou d’un téléphone mobile, d’autres encore brancheront l’ordinateur sur la télévision.

Même d’un point de vue de politique industrielle ou protectionniste, cela fait bien longtemps que tous ces matériels électroniques ne sont plus fabriqués en Europe sinon en quantités insignifiantes.

Les Google-TV et Apple-TV ont été des flops mémorables… pour l’instant, mais l’essentiel est là pour diffuser massivement de la vidéo à la demande : les périphériques (ordinateurs, téléphones, tablettes ou téléviseurs améliorés…), l’infrastructure, l’offre commerciale (les app-stores). Seuls les catalogues laissent encore à désirer..

Qu’on ne s’y trompe pas : Google et Apple vont très prochainement être présentés comme les forces à combattre ou à taxer, justifiant protectionnisme législatif et fiscal, mais la fusion CSA-ARCEP vise la régulation des contenus sur Internet au sens large.

La situation à ce jour

On se trouve donc en présence aujourd’hui :

  • d’un CSA qui voit son pouvoir et sa légitimité s’effriter à mesure que l’audience et les contenus se déplacent de la télévision vers Internet, et qui n’a jamais franchement prouvé son indépendance par rapport au pouvoir politique ;
  • de conglomérats d’anciens média qui tirent les mêmes conclusions que le CSA, ne comprennent Intenet que comme un danger, et de plus constatent le rétrécissement progressif de leurs recettes publicitaires télévisées ;
  • d’un pouvoir politique tenté, comme toujours en France, de préserver des situations acquises au détriment de l’avenir, et éventuellement désireux d’économiser quelques postes en réduisant le nombre pléthorique d'”autorités” ;
  • d’une ARCEP qui défend une indépendance relative mais assez largement reconnue, démontrée notamment lors de l’attribution de la 4e licence de téléphonie mobile.

La proposition de fusion CSA-ARCEP, dont les premières réflexions ont été initiées sous la présidence précédente, vise donc avant tout à tenter de préserver les situations acquises, indépendamment de tout pragmatisme vis-à-vis d’usages et de technologie dont l’évolution n’a pas attendu  le législateur. Sans grande surprise, cette fusion est d’ailleurs soutenue par Bouygues (propriétaire de TF1) et Vivendi.

Sur le papier, le CSA a beaucoup à y gagner, avec une  extension théorique de ses pouvoirs, un transfert de ceux-ci sur Internet ne faisant que suivre celui des contenus. En pratique, ces moyens ont été pensés à l’ère de la télévision et sont totalement inapplicables sur Internet ; quant à ses missions officielles, elles sont remplies “par construction” sur Internet.

Pour se convaincre de l’impossibilité de gérer Internet comme la télévision, il suffit de se demander s’il semble possible de rendre Internet aussi aseptisé que la télévision française.

La proposition de joindre à cette fusion la HADOPI ne fait que démontrer à nouveau la volonté de mainmise des industries du divertissement.

En revanche l’ARCEP, qui reste la dernière instance à peu près indépendante des industries du divertissement, a énormément à y perdre, et avec elle le citoyen, le consommateur, et toute l’industrie d’Internet.

 

Des articles en rapport sur la question :

 

 

 

 

Signalspam, emailvision, gmail et le spam

(petit texte résumant/archivant un ensemble de tweets réalisés ce matin)

Ce matin, je tombe sur ce tweet de Stéphane Bortzmeyer : Si vous doutiez encore que SignalSpam, c’est du pipeau :  http://eric.bachard.org/news/index.php?post/2012/07/20/Une-histoire-de-spam-…-et-de-spammeurs

J’ai déjà parlé ici de SignalSpam.

Et en effet, en fouinant dans mon dossier de spam, je constate que le prestataire concerné (emailvision), dont SignalSpam se gargarise du partenariat, m’a envoyé 104 spams depuis 8 mois exactement, sans compter une newsletter expédiée pour le compte de Bouygues Télécom dont personne n’arrive à me désabonner depuis des mois, ni moi-même via les procédures prévues pour cela, ni le support Bouygues lui-même.

Bref, voici l’incantation pour mutt pour trier tout ça avant envoi à SignalSpam. Cela risque de ne pas servir à grand chose, mais c’est vite fait :

l ~h ^X-EMV-CampagneId:

Vérifiez les messages et marquez (tag : t) ceux qui sont effectivement des spams. 241 sur 261 dans mon cas, car emailvision est opérateur de newsletters pour des sociétés, ce qui lui permet de nier de toute responsabilité dans l’exploitation de listes d’adresses collectées par détournement de finalité. 241/261 est donc le ratio de spam et on voit que l’activité réelle hors spam est réduite à la portion congrue.

Soumettre (avec le script ci-dessous) à SignalSpam :

;| signalspam votremotdepasse

Mon script Python est là et fonctionne encore : http://signal.eu.org/blog/wp-content/uploads/2007/05/signalspam.txt

Google n’est pas en reste puisque ce même matin j’ai reçu 11 spams d’un compte Gmail parfaitement valide, via Google Groups, sans aucun lien abuse pour les plaintes.

What to do on June 6th / IPv6 Launch day?

June 6th, 2012 is the “World IPv6 Launch” day: see http://www.worldipv6launch.org/

As it stands, it is presented as mainly oriented toward ISPs and hardware makers, giving the impression that home users are not concerned.

Actually IPv6 has begun deployment years ago, but has failed so far to be on the radar of most organizations, slowing its adoption.

So let’s get things straight, you can participate from your home:

  • if your home ISP doesn’t yet provide you with IPv6 connectivity yet, he will have to, in the not-too-distant future. Call them and ask them when!
  • if your home ISP does already provide you with IPv6, activate it on your Internet connection and on your computer! In France, Free Telecom and Nerim already have been providing IPv6 connectivity for years.
  • if you run a personal server, activate IPv6 on it if available, and if not, ask for support!

It may be a little too soon to pester mobile phone operators (3G and 4G) to get IPv6 connectivity from them. They are telcos, after all… but if you feel like it, don’t hesitate to ask them, too, what their IPv6 deployment schedule is.

For French users, the G6 association has a nice set of resources on IPv6: http://g6.asso.fr/

Lossless import of MPEG-TS or HDV video files to iMovie

Here’s a little trick I learned and wanted to share. As it’s not complete, comments and additional hints are welcome!

The problem

I have a Canon HDV camcorder with many hours of HDV video. HDV is mpeg2-compressed video with a bitrate of about 25 Mbps.

I also have a MacOS X computer where I can run iMovie, Apple’s consumer-grade video editing application.

The camcorder video can be easily imported to FreeBSD using the built-in fwcontrol tool. It generates MPEG-TS files (mostly like IP TV channels) which read nicely in vlc, mplayer and other video tools. It’s easy and reliable.

The video can also be imported directly from the camcorder to iMovie, but it is painful and not adapted to easy archiving of the rushes. The import process is slow and buggy and you often have to rewind the tape and restart it.

I wanted to get the best of both worlds — fwcontrol’s easy import followed with iMovie editing.

But iMovie doesn’t know how to directly import MPEG-TS files. It can only import video from .mov (Quicktime) or .mp4 (MPEG4) containers. It’s difficult to know which video codecs are supported by iMovie but it seems to accept MPEG2, which means it can losslessly import HDV files, it’s just a matter of converting their container format from MPEG-TS to Quicktime.. It saves us from the slow, error-prone, lossy and painful process of transcoding.

So how do you do that?

The (mostly complete) solution

Here’s the incantation that mostly works for me. input.mpg is my MPEG-TS file; it can come from a fwcontrol import or from a IPTV capture (Freebox file for example); output.mov is the resulting Quicktime-container file:

ffmpeg -i input.mpg -acodec copy -vcodec copy output.mov

On my server (a double-core Intel Atom D525 processor with SATA disks, ie not a very fast machine) it converts at about 80-100 frames per second (3x to 4x real time), which is very fair (IO bound probably) and 12 to 20 times faster than transcoding the video.

From an IPTV capture you may have to explicitly transcode audio to AAC using -acodec libvo_aacenc instead.

Your second-best bet if the above doesn’t work is to let ffmpeg make a (much slower) almost-lossless transcoding to MPEG4, using option -sameq, yielding a bigger file (was almost twice as big as the original in my trials):

ffmpeg -i input.mpg -acodec copy -sameq output.mov

It works, but…

Why do I say it mostly works? Because there are two remaining gotchas:

  1. the original video timestamps (date and time of the video) are lost and set to the date and time of the conversion process — it’s constant and doesn’t even increment throughout the file duration. It is probably a ffmpeg bug. I tweaked the import with -copyts option but this apparently handles the time index from the camcorder (duration from the beginning of the tape). This may (or may not) be related to the following error message from ffmpeg: [NULL @ 0x806c1d920] start time is not set in av_estimate_timings_from_pts
  2. iMovie doesn’t seem to grok huge files. It works for a couple hundred megabytes, but not for a couple gigabytes. So you may have to split files take by take, and I don’t know how to do that easily, especially given the above regarding broken timestamps.

Thanks to Benjamin Sonntag for the excellent idea of using ffmpeg for this 😉

Comments and especially clues/solutions more than welcome 😉

Filtrage, subsidiarité et censure dans l’affaire Copwatch

(ceci n’est pas une analyse juridique — je ne suis pas juriste, ce qui me donne le droit d’énoncer des absurdités juridiques en me concentrant sur l’esprit de la loi plutôt que sa lettre)

Je suis de retour de vacances, pendant lesquelles il a fallu gérer le dernier épisode de l’affaire Copwatch 2 (merci la 3G). Comme promis, je reviens dessus en détail maintenant que j’ai plus de temps.

Merci Copwatch, d’abord, pour avoir permis que l’affaire se “résolve” sans heurts, ou “en application du principe de subsidiarité” comme on dit chez les juristes, évitant que le risque de surfiltrage pesant sur eu.org se matérialise. À ce sujet, Copwatch a diffusé le 26 février un communiqué. et PCINpact a publié un court article.

Est-ce de la censure ?

Il ne s’agit pas de censure à strictement parler (voir le dictionnaire le terme de censure sous-entend généralement l’existence d’une autorité administrative type commission de censure).

Mais inutile de tourner autour du pot : dans la mesure où il s’agit de faire disparaître ou rendre inaccessible un contenu, le terme de censure, ordonnée ici par la justice, n’est pas inadapté.

Quelques rappels

Le fond de l’affaire portait sur le droit à l’image des policiers visés par le site, et sur la diffamation à l’égard des institutions.

Deux des responsables du collectif Copwatch sont apparus à visage découvert, en dévoilant même ce qui semble être leur vraie identité, le 26 janvier 2012, dans un reportage télévisé au journal de 20 heures de France 2.  C’est apparemment cette médiatisation du nouveau site qui a motivé la seconde action en justice du ministère.

Point essentiel, comme cela a été déjà expliqué, le ministère de l’Intérieur n’a pas cherché à assigner l’éditeur du site. L’avocat du ministère a, à l’audience, expliqué que la LCEN (voir aussi l’article Wikipedia) ne l’obligeait nullement à retrouver l’éditeur du site si celui-ci n’indiquait pas, comme le demande la loi, son identité sur son site. Retrouver les auteurs n’était probablement pas très difficile, a fortiori pour le plaignant vu sa qualité. Les contacter était extrêmement facile, grâce aux bases Whois qui fournissaient une adresse email de contact en liaison avec le nom de domaine. L’avocat du ministère a même avoué savoir utiliser Whois.

Le ministère a donc demandé à la justice, et obtenu, le filtrage du site. Il a été débouté sur sa demande de filtrage des miroirs, ainsi que sur sa demande de filtrage des miroirs ultérieurs sans nouvelle décision de justice.

Peut-on imaginer que n’importe qui d’autre, agissant pour les mêmes motifs (diffamation, injures et droit à l’image), aurait eu la moindre chance de voir décidé un filtrage national en sa faveur ? C’est extrêmement peu probable, et la meilleure preuve en est que cela ne s’est jamais produit, bien que les affaires de diffamation ou droit à l’image soient courantes. Le seul cas similaire à ma connaissance est celui du site de jeu en ligne stanjames.com dont le filtrage a été demandé par l’ARJEL en avril 2011, en application de la loi sur les jeux en ligne.

Les affaires Copwatch constituent donc un précédent.

La décision de justice a-t-elle été appliquée ?

Oui. Le domaine copwatchnord-idf.eu.org n’existe plus depuis le 27 février. Il n’est donc pas nécessaire de le filtrer. Par ailleurs, la décision de justice ne demandait le filtrage que chez 5 gros fournisseurs d’accès français, alors que la suppression du domaine le rend totalement inaccessible.

Le résultat obtenu est-il conforme à ce que demandaient les plaignants ?

Non, pour plusieurs raisons.

Le site est toujours accessible sous d’autres noms et comporte maintenant de nombreux miroirs.

La justice a refusé le blocage aux sites miroirs (contenu pas toujours identique au site principal, voire sans rapport aucun dans certains cas), et surtout l’extension du blocage à de futurs miroirs sans repasser devant un juge.

Elle a également demandé au plaignant d’assumer les coûts induits par la mise en œuvre du blocage.

Enfin, la stratégie des plaignants semble indiquer une préférence de leur part pour ‘un filtrage national plutôt que l’application pragmatique du principe de subsidiarité.

Et les fournisseurs d’accès ?

Ils ont été remarquablement discrets, pour la plupart d’entre eux. Aucun d’entre eux n’a, à ma connaissance, mis en œuvre un nouveau filtrage, ni dit publiquement ce qu’il aurait fait en l’absence d’action de la part de eu.org ou de Copwatch. Du coup, la question des recours qu’aurait eu.org contre du surfiltrage devient (heureusement) caduque.

L’objectif : un filtrage national automatisé

Cette procédure visant Copwatch s’inscrit, en réalité, dans une stratégie beaucoup plus large de la part du gouvernement visant à mettre en place des procédures administratives “simplifiées”de filtrage d’Internet.

Simplifiées, c’est à dire : sans juge, soumises à validation par une simple décision administrative, automatisées pour leur déploiement chez les fournisseurs, et opaques quant aux sites concernés donc rendant impossible toute vérification de légitimité ou de pertinence.

Pour quelques manifestations publiques de cette stratégie, voir par exemple la lettre d’Éric Besson au CGIET concernant Wikileaksles propositions d’Éric Besson pour modifier les décrets d’application de la LCEN, ce texte du même CGIET évoquant un filtrage BGP ou DNS national (avec, à titre anecdotique, un développé inexact de l’acronyme BGP, indice montrant que l’exactitude ou la faisabilité technique ne sont actuellement pas les préoccupations centrales) et le décret d’application attendu concernant l’article 4 de la loi LOPPSI 2. On peut citer également, cette fois à l’initiative ou au bénéfice des ayants-droit de l’industrie du divertissement, l’assignation pour le blocage d’Allostreaming, ou la maintenant fameuse loi Hadopi permettant la coupure de l’accès d’un abonné Internet, qui n’est pas plus logique que de demander à EDF de vous couper le courant pour la même raison.

En supposant que des moyens techniques nationaux puissent être déployés pour automatiser la coupure d’un site dans les cas particuliers cités ci-dessus, il n’y a aucun doute que, par “appel d’air”, les modalités en seraient rapidement étendues ensuite à d’autres types de sites illégaux : certains cas ont déjà été publiquement évoqués à l’assemblée nationale. La liste déjà longue et nullement exhaustive du paragraphe précédent ne couvre que certaines initiatives de ces 2 dernières années.

On pourrait bel et bien parler, alors, de censure d’Internet, qui aboutirait inévitablement à la mise en place de moyens techniques coûteux et dédiés au filtrage en masse, par opposition à un filtrage actuellement réalisé de manière artisanale visant des sites qui se comptent sur les doigts d’une seule main.

Cela servirait-il à quelque chose ? Non, comme le montre la continuation de l’activité de Copwatch (qui y a, au contraire, gagné une publicité certaine comme on pouvait l’anticiper), et comme l’a également montré a contrario l’affaire Megaupload (partage de fichiers contrefaits) par une action musclée “à la source”.

En résumé, il s’agirait d’un filtrage techniquement imparfait, coûteux et financé par le contribuable, opaque et dangereux pour les libertés publiques, inefficace et à la contre-productivité démontrée.

Ce n’est pas l’idée que je me fais de l’efficacité des politiques publiques. Espérons que les pouvoirs publics retrouveront rapidement leurs esprits.

Le sujet n’est pas clos : si vous vous intéressez à l’actualité sur ces questions, vous pouvez vous tenir informé par des sites de veille comme PCINpact et Numerama déjà abondamment cités ici.

Suppression de copwatchnord-idf.eu.org

(suite de Blocage et surblocage : suites de l’affaire Copwatch version 2)

Une mise à jour rapide pour annoncer que le domaine copwatchnord-idf.eu.org a été supprimé de la nouvelle mise à jour de la zone eu.org, ce matin à 11 heures, suite à la demande du détenteur du domaine.

Le serveur HTTP pour copwatchnord-idf.eu.org redirige apparemment (à l’instant où j’écris ceci) les requêtes vers https://copwatchnord-idf.org/, déjà bloqué par la décision de justice d’octobre.

C’est une démonstration intéressante du principe de subsidiarité… Un billet complémentaire viendra d’ici quelques jours, lorsque j’aurai eu le temps de l’écrire…

Blocage et surblocage : suites de l’affaire Copwatch version 2

(voir ici le résumé des épisodes précédents)

J’ai reçu ce matin une lettre de Free, une des parties assignées dans l’affaire Copwatch version 2.

Je précise qu’aucun autre fournisseur, ni aucun des plaignants, ni leurs avocats, n’ont à aucun moment tenté d’entrer en contact avec eu.org dans cette affaire.

Free a sollicité eu.org en application du principe de subsidiarité, proposant qu’eu.org invite Copwatch à mettre hors ligne son site https://copwatchnord-idf.eu.org/ ; et si nécessaire, suspende le domaine copwatchnord-idf.eu.org.

Cela permettrait d’éviter la mise en œuvre de filtrage brutal IP ou DNS au niveau national, en application du jugement, auquel réfléchissent en ce moment même les 6 fournisseurs d’accès assignés au procès.

Un filtrage à grande échelle n’est jamais une bonne solution, pour la liste suivante de raisons qui ne prétend aucunement être exhaustive.

Pour du filtrage IP :

  • les inévitables surblocages qui en résultent : un site ou un ensemble de sites au lieu de quelques pages, un ensemble de services au lieu du service web seul, etc ;
  • la lourdeur technique de mise en œuvre, avec intervention sur les routeurs des fournisseurs, ce qui n’est jamais anodin.

Pour du filtrage DNS :

  • de même les surblocages qui en résultent : un site ou un ensemble de sites au lieu de quelques pages, un ensemble de services au lieu du web seul, etc ;
  • la nécessité d’intervention sur les serveurs de résolution DNS des fournisseurs, ce qui n’est pas anodin non plus, et pas forcément possible car le plus souvent les logiciels DNS utilisés sur lesdits serveurs n’ont pas été conçus pour cela.

Et pour tout filtrage :

  • son inefficacité relative, puisque les 6 fournisseurs concernés sont loin de représenter la totalité des accès à Internet en France ;
  • comparativement, la grande facilité de contournement par mise en place de miroirs ;
  • les risques de surblocage dans le temps, les règles de filtrage pouvant subsister des années après la disparition de la cause qui les a provoquées.

Et en l’occurrence, le filtrage DNS pourrait être d’autant plus brutal que certains des fournisseurs concernés ne seraient pas en mesure de le réaliser plus finement qu’au second niveau. C’est ainsi tout eu.org et ses 20.000 sous-domaines qui seraient bloqués en France, autrement dit un surblocage colossal. On frémit en imaginant ce qui se passerait si example.co.uk, example.co.jp ou exemple.asso.fr devaient être bloqués par DNS par des fournisseurs dans ces conditions, suite à une décision de justice.

On peut se poser aussi la question du recours qu’aurait eu.org si une telle mesure de surblocage était mise en place. Contre qui eu.org devrait-il se retourner ? eu.org devrait-il assigner chacun des fournisseurs filtreurs, et à quel titre : LCEN, entrave au fonctionnement d’un système automatisé… ?

On notera enfin qu’il s’agit d’une première depuis l’existence de eu.org, créé en 1996.

eu.org a donc transmis ce jour la demande à Copwatch.