Loteks

2018-07-18

Postfix: Zugriff von bestimmten IP-Adressen blockieren

Es gibt immer wieder EMail-Versender die mir mit ihren Spam EMails gewaltig auf die Nerven gehen. Die Absender geben an, das es sich um einen Newsletter handelt, jedoch bewirkt ein abbestellen des Newsletters nichts.

Da diese Newsletter bei mir immer von der gleichen IP-Adresse kommen habe ich mir einen gängigen Weg gesucht die Kommunikation mit dieser Adresse vollständig zu unterbinden.

1. IP-Adresse ermitteln

Im EMail-Header ist die gesuchte IP-Adresse die erste vorkommende IP-Adresse die nicht zum eigenen Server gehört.
In meinem Bespiel-EMail-Header ist es die IP-Adresse 192.0.2.85.
(Keine Sorge, der gesammte EMail-Header ist made up, er sieht nur möglichst echt aus. Die IP-Adressen sind IP-Adressen die laut RFC zu Dokumentationszwecken bestimmt sind.)

Return-Path: <newsletter@cadbdcedcbfabdadef.de>

Delivered-To: meine-mail@example.org

Received: from mail.example.org

by mail.example.org (Dovecot) with LMTP id NfYUAK7XSFviHAAALzVKdg

for <meine-mail@example.org>; Fri, 13 Jul 2018 18:47:42 +0200

Received: by mail.example.org (Postfix, from userid 114)

id D79F53FE5E; Fri, 13 Jul 2018 18:47:41 +0200 (CEST)

Authentication-Results: mail.example.org;

dkim=pass (1024-bit key; unprotected) header.d=cadbdcedcbfabdadef.de header.i=newsletter@cadbdcedcbfabdadef.de header.b="UKjn3gGF";

dkim-atps=neutral

X-Spam-Checker-Version: SpamAssassin 3.4.1 (2015-04-28) on mail.example.org

X-Spam-Level: *

X-Spam-Status: No, score=1.6 required=5.0 tests=DKIM_SIGNED,DKIM_VALID,

DKIM_VALID_AU,HTML_IMAGE_RATIO_04,HTML_MESSAGE,MIME_HTML_ONLY,URIBL_BLOCKED

autolearn=no autolearn_force=no version=3.4.1

Received: from mta5085.cadbdcedcbfabdadef.com (mta5085.cadbdcedcbfabdadef.com [192.0.2.85])

by mail.example.org (Postfix) with ESMTPS id 669E73FD27

for <meine-mail@example.org>; Fri, 13 Jul 2018 18:47:39 +0200 (CEST)

DKIM-Signature: v=1; a=rsa-sha256; c=relaxed/relaxed; s=teneo; d=cadbdcedcbfabdadef.de;

h=MIME-Version:From:To:Reply-To:Date:Subject:Content-Type:Content-Transfer-Encoding:Message-ID; i=newsletter@cadbdcedcbfabdadef.de;

bh=OBg4dbrG8hhFyJR7HMx+3IDg91CCOeaN9fnJCAVA6oE=;

b=UKjn3gGF5j9dxocn0xfFlMVHW+bbvUjere1rI99nga/TVlqu5OQFSOFkwJNUjgklof9Mi/9DIHrf

gafjAml+Onn6z29PSoAid1Rrn+K67B5XxKVk0qrHjSen3jMIf6SPdQRB9rQzvh7uIUAhmyLCVAnC

zbc2RugGh4/eZEvVYu4=

Received: from mta003.example.com (198.51.100.78) by mta5085.cadbdcedcbfabdadef.com id h93bqk1bessq for <meine-mail@example.org>; Fri, 13 Jul 2018 18:47:32 +0200 (envelope-from <newsletter@cadbdcedcbfabdadef.de>)

X-ARF: b98b6becf874558246b684f462613228

Feedback-ID: 5283550-b98b6becf874558246b684f462613228:b98b6becf874558246b684f462613228:newsletter:cadbdcedcbfabdadef

MIME-Version: 1.0

From: "cadbdcedcbfabdadef"<newsletter@cadbdcedcbfabdadef.de>

To: meine-mail@example.org

Reply-To: noreply@cadbdcedcbfabdadef.de

Date: 13 Jul 2018 18:47:32 +0200

Subject: Micro-SD-Karten

Content-Type: text/html; charset=utf-8

Content-Transfer-Encoding: base64

Message-ID: <0.0.569.CF.1A41AC9425F793A.0@mta5085.cadbdcedcbfabdadef.com>

2. Datei für den Filter erstellen

Um die Datei zu erzeigen benutze ich den Editor vim. Nach dem starten des Editors mittels folgendem Befehl…:

1	vi /etc/postfix/access_client

…kann mittels Taste [i] der Eingabemodus gesartet werden.

1 2	# IP Adresse und IP-Netze die ich blockiere 192.0.2.85 REJECT

Nach der Eingabe kann mittels Taste [ESC] und folgender Eingabe von :wq die Datei geschlossen und gespeichert werden.

Anschließend die Datei mit postmap kompilieren, so das Postfix direkt etwas mit dem Filter anfangen kann.:

1	postmap hash:/etc/postfix/access_client

Durch diesen Aufruf wird eine Datei access_client.db im Ordner etc/postfix/ angelegt.

3. Postfix konfiguration anpassen

In der Postfix Konfigurationsdatei main.cf muss unsere Datei jetzt noch der Option smtpd_sender_restrictions hinzugefügt werden.
Herzu prüfen ich mittels postconf welche Parameter aktuell für die Option „smtpd_sender_restrictions“ gesetzt sind.:

1 2	sudo postconf -p smtpd_sender_restrictions smtpd_sender_restrictions =

Entsprechend der Ausgabe sind auf meinem Postfix-Server für die „smtpd_sender_restrictions“ keine Optionen gesetzt.

1	sudo postconf "smtpd_sender_restrictions = check_client_access hash:/etc/postfix/access_client"

Im Anschluss muss, zur Aktivierung der geänderten Konfiguration, nur noch derPostfix neu geladen werden.:

1	service postfix reload

Anschließend werden Die Zustellversuche vom Postfix abgelehnt. In den Logiles wird dies entsprechend mit „Client host rejected: Access denied“ vermerkt

Jul 18 10:21:16 server postfix/smtpd[3304]: connect from mta5085.cadbdcedcbfabdadef.com[192.0.2.85]

Jul 18 10:21:16 server postfix/smtpd[3304]: NOQUEUE: reject: RCPT from mta5085.cadbdcedcbfabdadef.com[192.0.2.85]: 554 5.7.1 <mta5085 .cadbdcedcbfabdadef.com[192.0.2.85]>: Client host rejected: Access denied; from=<newsletter @cadbdcedcbfabdadef.com> to=<meine -mail@example.org> proto=ESMTP helo=<mta5085 .cadbdcedcbfabdadef.com>

Jul 18 10:21:16 server postfix/smtpd[3304]: disconnect from mta5085.cadbdcedcbfabdadef.com[192.0.2.85] ehlo=2 starttls=1 mail=1 rcpt=0/1 quit=1 commands=5/6

Jul 18 10:26:39 server postfix/anvil[3305]: statistics: max connection rate 1/60s for (smtpd:192.0.2.85) at Jul 18 10:21:16

Jul 18 10:26:39 server postfix/anvil[3305]: statistics: max connection count 1 for (smtpd:192.0.2.85) at Jul 18 10:21:16</mta5085></meine></newsletter></mta5085>

Did you like this?
Tip der_metzger with Bitcoin

Donate via Installed Wallet

2018-03-292018-06-20

EMail Datenschutz – Mail Header filtern

Vor einigen Tagen fiel mir bei der Untersuchung des, auch an dieser Stelle behandelten, TLS-Fehlers auf, das die E-Mail Header aller über meinen Server vesandten EMails die folgenden beiden Header-Zeilen enthalten.:

Received: from [192.168.*.*] (ip********.dynamic.kabel-deutschland.de [95.91.*.*])

by server.angststalt.de (Postfix) with ESMTPSA id A64D13FCE1

for <*****@*****.de>; Mon, 26 Mar 2018 21:46:44 +0200 (CEST)

User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64; rv:52.0) Gecko/20100101

Thunderbird/52.6.0

Ich bin mir, mit Blick auf den 25. Mai 2018 nicht sicher ob eine EMail diese zusätzlichen, nicht für die Erfüllung des Dienstes erforderlichen, Metadaten weiterhin beinhalten darf.
(Lieber Leser, liebe Leserin, wenn Du eine Online-Rechtsberatung erteilen darfst und dich mit der EU-Datenschutz-Grundverordnung auskennst, würde ich mich über einen Kommentar ↓ von Dir sehr freuen!)

Da ich es persönlich nicht mag wenn Daten versteckt vorliegen (in diesem Fall im EMail-Header) die nicht benötigt werden aber dritten unter bestimmten Umstenden helfen können mir zu schaden habe ich mich für die Entfernung der Header-Zeilen entschieden. Auch ein Blick in die RFC5321, und einige eigene Tests, zeigen das diese beiden Header-Zeilen nicht für die Zustellung verwendet werden und somit die Entfernung nicht schadet.

Vorgehen:

1.) Den EMail-Server Prüfen

Mit dem Postfix-Konfigurationsparameter header_checks kann ich die EMails am einen PCRE Filter weitergeben und verändern lassen.
Mit dem Postfix-Konfigurationsparameter smtpd_sasl_authenticated_header Erweitere ich den EMail-Header um einen Eintrag über den zur Authentifizierung am EMail-Server genutzten Benutzernamen.

1 2	postconf -n header_checks 2>/dev/null postconf -n smtpd_sasl_authenticated_header 2>/dev/null

Ich bekomme für beide Konfigurationen eine leere Antwort, daher schaue ich nach den Defaultwerten.:

postconf -d header_checks 2>/dev/null

header_checks =

postconf -d smtpd_sasl_authenticated_header 2>/dev/null

smtpd_sasl_authenticated_header = no

2.) EMail-Server Konfiguration anpassen

Da ich vor habe den Filter über PCRE umzusetzen benötige ich das Debian Paket postfix-pcre, welches die Unterstützung dür die gewünschten Perl Regular Expressions für Postfix mitbringt.:

sudo apt install postfix-pcre

The following NEW packages will be installed:

postfix-pcre

0 upgraded, 1 newly installed, 0 to remove and 0 not upgraded.

Need to get 320 kB of archives.

After this operation, 373 kB of additional disk space will be used.

Nach dem das Paket installiert ist lege ich auf dem Server eine Datei mit dem Namen „header_checks“, im Postfix Verzeichnis, an. In dieser Datei werden die Filterregeln hinterlegt.:
sudo vi /etc/postfix/header_checks

/^Received: .*\(Authenticated sender:.*/ IGNORE

/^Received: by server\.angststalt\.de .*from userid [0-9]+\)/ IGNORE

/^User-Agent:/ IGNORE

Im Anchluss verlange ich vom Postfix dem Benutzernamen, der zur Anmeldung am EMail-Server verwendet wurde in die Header einzufügen und die Mail Header über meinen Filter zu leiten.:

1 2	postconf -e smtpd_sasl_authenticated_header=yes postconf -e header_checks=pcre:/etc/postfix/header_checks

Nach dem folgenden neustart von Postfix kann ich mir eine Testnachricht senden und die Header prüfen.

1	service postfix restart

Bei meinem Vergleich des neuen EMail-Headers mit dem EMail-Header einer älteren EMail, die ich mir vor der Einrichtung des Filters gesandt habe, fehlen die von mir zu begin beanstandeten Header Zeilen.

Did you like this?
Tip der_metzger with Bitcoin

Donate via Installed Wallet

2018-03-272018-06-17

Korrektur für Postfix TLS-Fehler „untrusted issuer“

Ich konnte beim EMail-Versand von meinem Postfix EMail-Server zu GMX einmal wieder keine EMails zustellen. Laut Fehlermeldung in der Mail Delivery Notification gab es einen Zertifikatsfehler.

In den Postfix Logfiles erscheint die TLS-Fehlermeldung „untrusted issuer“.:

Mar 27 16:05:12 server postfix/smtp[6752]: certificate verification failed for mx01.emig.gmx.net[212.227.17.5]:25: untrusted issuer /C=DE/O=Deutsche Telekom AG/OU=T-TeleSec Trust Center/CN=Deutsche Telekom Root CA 2

Mar 27 16:05:12 server postfix/smtp[6752]: A602E3FF5C: Server certificate not trusted

Mar 27 16:05:12 server postfix/smtp[6752]: certificate verification failed for mx00.emig.gmx.net[212.227.15.9]:25: untrusted issuer /C=DE/O=Deutsche Telekom AG/OU=T-TeleSec Trust Center/CN=Deutsche Telekom Root CA 2

Mar 27 16:05:12 server postfix/smtp[6752]: A602E3FF5C: to=<********@gmx.de>, relay=mx00.emig.gmx.net[212.227.15.9]:25, delay=1.2, delays=0.12/0.03/1/0, dsn=4.7.5, status=deferred (Server certificate not trusted)

Der Aussteller des Zertzifikats des GMX-EMail Servers war meinem Postfix nicht bekannt.
Das SSL-Zertifikat des GMX EMail Server ist mit dem von der „Deutsche Telekom Root CA 2“ signiert. War über eine Suche im Internet schnell gefunden. Die erste Zeile des Zertifikats ist in der Datei /etc/ssl/certs/ca-certificates.crt enthalten.

Die erste Zeile des Zertifikats der Telekom lautet.: MIIDnzCCAoegAwIBAgIBJjANBgkqhkiG9w0BAQUFADBxMQswCQYDVQQGEwJERTEc

In meiner Suche konnte ich einfach feststellen das das CA-Zertifikat der Telekom ab der Zeile 1110 in der Datei ca-certificates.crt enthalten ist.:

1 2	~]> grep -n MIIDnzCCAoeg /etc/ssl/certs/ca-certificates.crt 1111:MIIDnzCCAoegAwIBAgIBJjANBgkqhkiG9w0BAQUFADBxMQswCQYDVQQGEwJERTEc

Ich prüfe daher gegen welche CA Zertifikate mein Postix prüft ob das Zertifikat gültig ist:

1 2	postconf -n smtp_tls_CAfile 2>/dev/null smtp_tls_CAfile =

Ich hatte versäumt meinem Postfix bekannt zu geben wo es die CA Zertifikate auf meinem Server findet.
Ich habe mit postconf den CAfile bekannt gegeben…

1	postconf -e smtp_tls_CAfile=/etc/ssl/certs/ca-certificates.crt

…und Postfix neu gestartet…

1	service postfix restart

…und endlich werden meine EMails wieder ohne Fehlermeldung an den gmx Mailserever zugestellt.

Mar 27 16:17:44 server spamd[1256]: prefork: child states: II

Mar 27 16:17:45 server postfix/smtp[7300]: 9ACD13FF62: to=<********@gmx.de>, relay=mx01.emig.gmx.net[212.227.17.5]:25, delay=1.2, delays=0.12/0.03/0.79/0.29, dsn=2.0.0, status=sent (250 Requested mail action okay, completed: id=1MvIfx-1ejZeK2V9d-00qsAg)

Mar 27 16:17:45 server postfix/qmgr[7226]: 9ACD13FF62: removed

Did you like this?
Tip der_metzger with Bitcoin

Donate via Installed Wallet

2018-03-032018-03-16

GnuBee2 – Erwerb und Preis

Ich hatte genug von meiner alten NAS und habe mir nach einer umfassenden Recherche zu meinen Anforderungen und Möglichkeiten eine GnuBee2 bestellt.

Die GnuBee Personal Cloud 2 ist eine NAS, bestehend aus freier, offener Hard- und Software, die bis zu 6 3,5-Zoll-SATA-Festplatten und/oder SSD, eine SD-Karte, eine Serielle Schnitstelle und 3 Gigabit LAN-Ports unterstützt.
Die Hardware wurde um den SOC MediaTek-MT7621A-CPU, welcher über zwei CPU-Kerne mit Hyperthreading verfügt die mit 880 MHz getacktet sind und auf 1,2 GHz übertaktet werden können sowie 512 MByte DDR3-Hauptspeicher gebaut. Dieser findet, wie hier gezeigt wird, in Zahlreichen Chinesischen WLAN-Routern verwendung.

Die vollständigen Blaupausen stehen zusammen mit der Dokumentation des Boards auf GitHub als PDFs unter CC-BY-SA 4.0 zur wirklich sehr freien Verfügung.

Als Kritikpunkt für das NAS sehe ich das „Gehäuse“. Dieses besteht aus zwei dünne Blech-Platten die mit je 3 Winkeln an das Mainboard geschraubt werden.

Ich persönlich habe die Bestellung des GnuBee 2 am 04.02. 2018 auf der Internetseite Crowdsupply in den USA aufgegeben. Der Versand erfolgte bereits am 07.02.2018 aus Portland in den U.S.A..
Die Lieferung dauerte insgesamt 18 Tage, geliefert wurde am 22.02.2018. Die Bestellung blieb 7 Tage zur Bearbeitung bei dem deutschen Zoll in Frankfurt am Main.

Der Preis für die NAS ohne steuer selbst war am 04.02.2018: 255,69 Euro. ( 324,00$ + 4,57 € Kreditkartengebühr für den Geldwechsel)
Die kosten für den Zoll betrugen 49,84 Euro.

Mit Steuer, Versand und Kreditkarten- und Umtauschgebühren, also insgesamt kostete mich das GnuBee 2 insgesamt 305,53 Euro.
Ein guter Preis für ein NAS mit Platz für 6 Festplatten und ohne irgendwelche Binary Blobs sowie inklusive „Gehäuse“.

Did you like this?
Tip der_metzger with Bitcoin

Donate via Installed Wallet

2018-02-072018-03-20

STRATO Linux VServer mit Webserver im Rettungssystem

Ich kann den STRATO vServern in ein Rettungssystem starten, welches leider keinen Webserver enthält.
Das Rettungssystem ist Praktisch, da ich über dieses Alternative Betriebssystem an alle Daten die auf dem Server abgelegt sind gelangen kann, auch wenn mein selbst verwaltetes Betriessystem auf dem Server nicht mehr funktioniert. Die Besucher meiner Seite erfahren leider nicht das ich meinen Server grade warte.
Um den potentiellen besuchern meiner Seite jedoch zeigen zu können das meine Seite durchaus noch vorhanden, nur grade in einem Wartungsfenster ist, ist ein solcher sehr wünschenswert.

Der einfache versuch via „apt update && apt install lighttps“ führt jedoch leider zu ein paar nicht sehr aussagekräftigen Fehlermeldungen.

Es fehlen jedoch einfach nur ein paar Benutzer, genauer die Benutzer _apt, der Benutzer postfix und der Benutzer www-data.

adduser --quiet --gecos "" --no-create-home --disabled-password --disabled-login --ingroup nogroup --force-badname -uid 119 _apt

adduser --quiet --gecos "" --no-create-home --disabled-password --disabled-login --ingroup postfix -uid 111 postfix

adduser --quiet --gecos "" --no-create-home --disabled-password --disabled-login --ingroup www-data --uid 33 www-data

Im Anschluss kann der Webserver einfach installiert werden.:

apt update

apt -y install lighttpd php-cgi

lighttpd-enable-mod fastcgi

Im Anschluss bearbeite ich die Datei /etc/lighttpd/lighttpd.conf und füge am ende die folgenden 4 Zeilen an.:

url.rewrite = ( "" => "/maintenance.php" )

fastcgi.server = ( ".php" => ((

"bin-path" => "/usr/bin/php-cgi",

"socket" => "/tmp/php.sock"

)))

Die Raute # in der Zeile ‚# „mod_rewrite“,‘ muss entfernt werden, so das die erste Zeile jedwede Anfragen an die Datei maintenance.php im Ordner /var/www/html/ umleiten kann.
Die verbleibenden drei Zeilen ermöglichen es dem Webserver PHP-Scripte auszuführen.

Die Datei /var/www/html/maintenance.php gibt in meinem Beispiel den HTTP StatusCode 503 (Vorübergehend nicht verfügbar; Server überlastet, ausgefallen oder in Wartung) und einen kurzen Wartungstext aus.:

<?php

if ( $_SERVER['SERVER_PROTOCOL'] === 'HTTP/1.1' )

{ $p = 'HTTP/1.1'; }else{ $p = 'HTTP/1.0'; }

header( $p.' 503 Service Unavailable', true, 503 );

header( 'Retry-After: 3600' );

?><!doctype html>

<title>Site Maintenance</title>

<style>

body { text-align: center; padding: 150px; }

h1 { font-size: 50px; }

body { font: 20px Helvetica, sans-serif; color: #333; }

article { display: block; text-align: left; width: 650px; margin: 0 auto; }

a { color: #dc8100; text-decoration: none; }

a:hover { color: #333; text-decoration: none; }

</style>

<div>

<p>Sorry for the inconvenience but we’re performing some maintenance at the moment.</p>

<p>we’ll be back online shortly!</p>

</div>

</article>

Zu guter letzt muss der Webserver nur noch neu gestartet werden, und es wird die Wartungsseite angfezeigt.

1	service lighttpd restart

Did you like this?
Tip der_metzger with Bitcoin

Donate via Installed Wallet

2017-12-312018-01-09

mtd-utils für NAND Sicherung übersetzen

Es gibt im Netz viele Anleitungen zum Übersetzen der mtd-utils. Leider ist keine Einziger von mir aufgefundener Artikel auf meine Anforderungen zugeschnitten. Die meisten Anleitungen sind für sehr alte Versionen der mtd-utils verfasst, so das sie zum Beispiel davon ausgehen das kein ./configure Script für diese Software existiert oder die Anleitungen beziehen sich auf die besonderheiten des Cross-Compilings und lassen alles andere weg.

Hier ist meine Anleitung für das übersetzen der mtd-utils auf der NAS CL-35B2. Diese Anleitung wird benötigt um die Werkzeuge nanddump und nandwrite zu erhalten welche für ein Backup und Restore der NAS benötigt werden.

Die Anleitung kann direkt nach dem vorbereiten eines Buildsystems für die CL-35B2, und einem chroot in das Buildysystem, verwendet werden.

Die Bibliotheken werden direkt in das Buildsystem geschrieben und ich verwende das Paketmanagement nicht da es sich nur um das Buildsystem handelt, welches sowieso wieder gelöscht wird. Sollte Dein Buildsystem Dauerhaft bestehen sollen empfehle ich Dir rpm-Pakete entsprechend dieser Anleitung zu erstellen.

1.) Vorbereitungen und Download der Sourcecodes

cd /usr/src

wget http://www.oberhumer.com/opensource/lzo/download/lzo-2.10.tar.gz

wget http://www.zlib.net/zlib-1.2.11.tar.gz

git clone git://git.kernel.org/pub/scm/fs/ext2/e2fsprogs.git

git clone git://git.infradead.org/mtd-utils.git

2.) zlib erstellen

tar xzf zlib-1.2.11.tar.gz

cd /usr/src/zlib-1.2.11

./configure

make

make install

cd /usr/src

rm -r zlib-1.2.11

rm zlib-1.2.11.tar.gz

3.) lzo erstellen

tar xzf lzo-2.10.tar.gz

cd /usr/src/lzo-2.10

./configure

make

make check

make install

cd /usr/src

rm -r lzo-2.10

rm lzo-2.10.tar.gz

4.) e2sfprogs erstellen

cd /usr/src/e2fsprogs

./configure

make

make install

make install-libs

cd /usr/src

rm -r e2fsprogs

5.) Die mtd-utils übersetzen

cd /usr/src/mtd-utils

./autogen.sh

./configure --disable-tests

make

make install

nach der Installation sind folgende Werkzeuge zusätzlich verfügbar.:

Tool		Nutzen
ubiupdatevol
ubimkvol
ubirmvol
ubicrc32
ubinfo		Ausgabe von Informationen zum NAND Speicher und zur Partitionierung und zu den Details einer UBI-Partition
ubiattach
ubidetach
ubinize
ubiformat
ubirename
mtdinfo		Ausgabe von Informationen zum NAND Speicher und zur Partitionierung und zu den Details einer MTD-Partition
ubirsvol
ubiblock
ftl_format
doc_loadbios
ftl_check
mtd_debug
docfdisk
serve_image
recv_image
flash_erase
flash_lock
flash_unlock
flash_otp_info
flash_otp_dump
flash_otp_lock
flash_otp_write
flashcp
mtdpart		Partitionierungswerkzeug für einen NAND Speicher
nanddump		Export des Inhalts einer NAND-Partition
nandwrite		zurückschreiben einer Sicherung in den NAND Speicher
nandtest
nftldump
nftl_format
rfddump
rfdformat
mkfs.ubifs
mkfs.jffs2
jffs2dump
jffs2reader
sumtool

Did you like this?
Tip der_metzger with Bitcoin

Donate via Installed Wallet

2017-12-302018-02-11

Textdateien mit Windows & DOS Zeilenumbrüchen für Linux korrigieren

Shellscripte mit Windows / DOS Zeilenumbrüchen funktionieren leider nur eingeschränkt unter Linux. Die einfache Zeile „wget bla“ in einer Textdatei mit DOS Zeilenumbrüchen führt zu der Fehlermeldung das die Datei „bla%0D“ nicht gefunden wurde.
Dies entsteht da die Linux Zeilenumbrüche nur aus einem Zeilenumbruch-Zeichen (newline[\n]) bestehen. Unter DOS und Windows steht am ende jeder Zeile vor dem Zeilenumbruch-Zeichen noch ein Wagenrücklauf-Zeichen (carriage return [CR, \r, 0x0d}). (Merkhilfe für die Reihenfolge beim Zeilenumbruch return)

Ich habe mit mehrere Beispiele herausgesucht wie die Zeilenumbrüche korrigiert werden können.

Die Original Datei:

$ cat infile

Hallo

Tschues

Der Inhalt der Datei:

$ od -c infile

0000000 H a l l o \r \n T s c h u e s \r \n

0000020

Die mir bekannten Varianten die Zeilenumbrüche in der Datei zu korrigieren:

dos2unix (Der Standard weg um die Zeilenumbrüche umzuwandeln!)

$ cat infile |dos2unix |od -c

0000000 H a l l o \n T s c h u e s \n

0000016

Umwandlung mit Hilfe von sed (stream editor):

$ cat infile | sed 's/\r$//' | od -c

0000000 H a l l o \n T s c h u e s \n

0000016

Wenn es auch kein sed auf dem System geben sollte geht auch tr:

$ cat infile|tr -d '\r'|od -c

0000000 H a l l o \n T s c h u e s \n

0000016

oder awk:

$ cat infile| awk '{sub("\r$", ""); print}' | od -c

0000000 H a l l o \n T s c h u e s \n

0000016

und in Perl:

$ cat infile| perl -pe 's/\r//'|od -c

0000000 H a l l o \n T s c h u e s \n

0000016

im Editor vi und vim geht es mit folgender Eingabe:
:%s/\r//g
oder
:1,$ s/^M//

Es gibt noch viele weitere Möglichkeiten!
Ich freue mich über Deinen Kommentar, welche Möglichkeit Du gefunden hast die Zeilenumbrüche zu korrigieren!

Did you like this?
Tip der_metzger with Bitcoin

Donate via Installed Wallet

2017-12-292018-02-11

git als static binary compilieren

Was ist eine „static binary“?

Während der Übersetzung eines Quellcodes in ein ausführbares Programm verknüpft der Compiler die ausführbare Datei des Programms, um später bei der Ausführung des Programms Arbeitsspeicher zu sparen, mit „shared dynamic libraries“.

Diese Bibliotheken sind eine Sammlung von Funktionen welche von mehreren Programmen geteilt verwendet werden um bestimmte Aufgaben zu zu erfüllen. Durch die gemeinsame Nutzung dieser Bibliotheken kann der Arbeitsspeicher des Computers geschont werden, da nur eine Kopie der Bibliothek für viele verschiedene Programme im Speicher geladen sein muss.

Um ein unerwartetes Verhalten von Programmen zu vermeiden, ist es manchmal unumgänglich das Programm mit einer bestimmten Version einer Bibliothek zu Übersetzen. Auch um die Portabilität eines Programms zu verbessern ist es wichtig die Abhängigkeit vom vorhanden sein einer dynamischen Bibiothek zu vermeiden.

In Linux Systemen sorgt ein Paketmanager dafür, dass Versionsabhängigkeiten korrekt erfüllt werden. Wenn Du auf einem Computer arbeitest über den Du keine Administrative Kontrolle besitzt kannst Du die Version der verwendeten Bibliothek nicht bestimmen oder eine aktualisiert verhindern.
Programme können, wenn sie mit „shared dynamic libraries“ übersetzt wurden nur auf andere Computer übertragen werden auf der, die gleiche Prozessorarchitektur und die gleichen Bibliotheken verfügbar sind.
Falls die Bibliotheken des Computers auf den das Programm übertragen wurde aktualisiert werden, eine Bibliothek entfernt wird oder eine der Bibliotheken auf dem Zielrechner werden kompromittiert oder durch bösartige Versionen ersetzt. Hier kommt das bauen einer „static binary“ ins Spiel.

Wie wird GIT als „static binary“ übersetzt?

in diesem Beispiel gehe ich davon aus das die NAS gemäß dieser Anleitung bereits mit dem notwendigen Buildsystem eingerichtet wurde. Im Anschluss kann die entstehende Binärdatei von GIT auf allen identischen ARM Prozessoren verwendet werden.
Die aktuellste GIT Version kann auf http://git-scm.com gefunden werden.

Folgende 3 Schritte sind auszuführen:

1) GIT Quellcode herunterladen, entpacken und in das GIT Buildverzeichnis wechseln:

wget --no-check-certificate https://kernel.org/pub/software/scm/git/git-2.9.5.tar.gz

tar xzf git-2.9.5.tar.gz

cd git-2.9.5

2) Die Compilervariablen setzen und git mittels configure konfigurieren um in ein separates Verzeichnis zu übersetzt zu werden:

mkdir /usr/src/git-static

CHOST="armv6j-hardfloat-linux-gnueabi"

CFLAGS="-Os -march=arm1136jf-s -mfpu=vfp -mfloat-abi=hard -pipe -fomit-frame-pointer"

CXXFLAGS="${CFLAGS}"

./configure --prefix=/usr/src/git-static CFLAGS="${CFLAGS} -static"

3) git übersetzen:

make

In das Zielverzeichnis installieren

1	make install

4) Prüfe das GIT so wie erwartet funktioniert

1 2	cd /usr/src/git-static ./git --version

Did you like this?
Tip der_metzger with Bitcoin

Donate via Installed Wallet

2017-10-252018-02-11

Raspberry Pi: Animiertes Bootlogo (splash screen)

Ich suchte für meinen MAME-Retro-Arcasde Automaten nach einer Möglichkeit ein Bootlogo anzuzeigen, so das ersichtlich ist das der Automat noch startet. (und nicht etwa hängen geblieben ist)

Leider dauert das laden des Linux-Systems und des MAME mehrere Minuten auf dem Raspberry Pi, so das ein stehendes Bild wie ein abgestürztes System erscheinen. Die Linux Boot-Meldungen hingegen passen nicht zu einem Spielautomaten.

Ich persönlich verwende für meinen Spielautomaten ein statisches Bild, das MAME-Logo, vor welches ich einen loading spinner! gelegt habe.
Sehr schön für einen Spielautomaten sind auch animierte Charaktere aus klassischen Spielen, wie die Eule aus Apydia. Suche bei der Suchmaschine deine Wahl nach „animated gif sprites“ um einige zu finden.

Die Bootmeldungen können über die drei Einträge „consoleblank=0 loglevel=1 quiet“ in der Datei cmdline.txt im Verzeichnis /boot abgeschaltet werden.
Ebenfalls in der Datei cmdline.txt kann das Bootlogo, die Himbeeren die oben links erscheinen, mittels „logo.nologo“ abgeschaltet werden.
Mit dem Eintrag disable_splash=1 in der Datei config.txt im Ordner /boot schaltet Ihr auch noch das Regenbogen-Startbild des Raspberry Pi ab.

Splashscreen Werkzeuge wie Fbi, Plymouth oder FMI unterstützen leider keine Animationen. Das Werkzeug bannerd von Alexander Lukichev füllt genau diese Lücke und bietet die Möglichkeit eine Serie von BMP-Bildern als Animation wiederzugeben. (Die Letzte Aktualisierung des von bannerd ist leider aus dem September 2012)

Im Raspbian Repository ist bannerd aktuell leider nicht vorhanden, kann jedoch einfach aus den Quellen übersetzt werden.
Hierzu holen wir den Quellcode aus dem GIT-Repository und übersetzen es im Anschluss mittels make.:

git clone https://github.com/alukichev/bannerd.git

cd bannerd

make

Im Anschluss muss die entstandene Datei bannerd in den Ordner /usr/local/bin/ oder /bin kopiert werden, ausführbar gemacht werden sowie der Eigentümer und die Gruppe auf root geändert werden.

sudo cp bannerd /usr/local/bin/

sudo chown root:root /usr/local/bin/bannerd

sudo chmod 755 /usr/local/bin/bannerd

Als Bootanimation ist bei bannerd ausschließlich eine Sequenz von BMP Bildern möglich. Wenn die Boot-Animation bereits als Videodatei oder als animiertes Gif vorliegt kann diese mittels ffmpeg in eine Bildsequenz umgewandelt werden.

1	ffmpeg -i original_animation.gif %04d.bmp

Da mein Beispiel GIF eine Transparenz hat und ffmpeg leider automatisch weiß als Hintergrundfarbe bei der Umwandlung in Dateiformate ohne Apha Kanal.
Wenn Du eine andere Hintergrundfarbe als weiß benötigst können solche animierte GIFs leider nicht direkt umgewandelt werden.
Mit dem Umweg über PNG Bilder mit Alpha Transparenz können den BMPs auch andere Hintergundfarben gegeben werden.:

1 2	ffmpeg -i original_animation.gif %04d.png mogrify -background black -flatten -format bmp *.png

Wenn das animierte GIF als kleine Animation in der unteren rechten Ecke des Bootbildes angezeigt werden soll können die Animationphasen mit folgenden Befehlen mit einem Hintergrundbild zusammengefügt werden. (Das Hintergrundbild wird im folgenden Beispiel mittels Imagemagic als leeres schwarzes Bild erzeugt.)

convert -size 800x480 xc:black hintergrund.jpg

wget https://loteks.de/wp-content/uploads/2017/10/agonyamiga.gif

ffmpeg -i agonyamiga.gif %04d.png

for f in *.png ; do composite -gravity southeast -geometry +25+25 "$f" hintergrund.jpg "${f%.png}.bmp" ; done

sudo mkdir /etc/bootanimation

sudo mv *.bmp /etc/bootanimation/

sudo chown root:root /etc/bootanimation -R

Nach dem wir jetzt den Dienst bannerd haben und die anzuzeigende Animation abgelegt haben brauchen wir noch einen systemd Service der im Bootvorgang bannerd startet.

der Service kann in Form der folgenden Datei /etc/systemd/system/bootlogo.service erzeugt werden:

[Unit]

Description=bootlogo

DefaultDependencies=no

After=local-fs.target

[Service]

ExecStart=/bin/sh -c '/usr/local/bin/bannerd -vD /etc/bootanimation/*.bmp'

StandardInput=tty

StandardOutput=tty

[Install]

WantedBy=sysinit.target

Jetzt muss der nrur Dienst noch aktualisiert werden.: sudo systemctl enable bootlogo
Das Bootlogo kann mit dem Befehl systemctl start bootlogo oder mit einem neustart des Computers getestet werden.

Did you like this?
Tip der_metzger with Bitcoin

Donate via Installed Wallet

2017-09-252017-12-31

Tausende zufällige Bilder mit fortlaufenden Namen

Bildhafte darstellung von Zufallsrauschen

Um automatische Bildverarbeitungen zu testen, Um Bilduploads oder die Anzeige von Bildern in Netzlaufwerken zu testen brauche ich manchmal „unmengen“ von Bildern. Schön ist es wenn sich die Bilder auch noch unterscheiden.

Ich habe mir ein kleines Linux Shellscript hinterlegt das zufällig erzeugte Bilder im aktuellen Ordner ablegt. Dieses Script habe ich hier im Blog abgelegt um es bei späteren gelegenheiten wieder zur verfügung zu haben.

Das Script nutzt den Befehl convert von ImageMagic um aus den Zufallsdaten ein Bild zu erzeugen.

#!/bin/bash

j=5600; # Anzahl zu erzeugender Bilder

X=10; # Bildbreite

Y=10; # Bildhöhe

k=0; # Zähler

while [ $k -lt $j ]; do

head -c "$((3*X*Y))" /dev/urandom | convert -depth 8 -size "${X}x${Y}" RGB:- "$(printf '%08d' "$k").png"

k=$((k+1));

done;

Die Konfiguration erfolgt in den Zeilen zwei, drei und vier.
Die Variable j enthält die Anzahl der angelegten Dateien, die Variablen X und Y die Bildgröße.
Das die Dateinamen der Bilder 8 Stellig sind und mit führenden Nullen aufgefüllt werden ist in der Zeile 8 über den Befehl printf definiert worden.

Das Beitragsbild dieses Artikels ist mit diesem Script erzeugt worden.

Wenn die generierten Bilder mit ffmpeg zu einem Video zusammengefügt werden ergibt es ein vergleichsweise unansehnliches Rauschendes, schlecht komprimierbares Video. Das Video erinnert mich an den ersten Satz der Neuromancer Trilogie, „Der Himmes über dem Hafen hatte die Farbe eines Fernsehers, der auf einen toten Kanal geschaltet war.“ in diesem Fall erinnert das Video an den Himmel über dem Hafen. 😉

1	ffmpeg -r 25 -f image2 -pattern_type glob -i '%08d.png' rauschen.mkv

Did you like this?
Tip der_metzger with Bitcoin

Donate via Installed Wallet