やるきなし

librosa + Python 3.13 がうまく動かない話．Python 3.13 では PEP 594 – Removing dead batteries from the standard libraryにより Multimedia modules の audioop，aifc，sunau が削除された影響で，単に pip install librosa しただけでは動かない．

というか librosa が依存する audioread (github) が audioop，aifc，sunau などに依存していてコケる．以下の通りそれぞれ代替があって，それらを pip install すれば良いのだけど，audioread の依存関係が更新されないので(というかメンテナンスが止まっている？)，手動で対応する必要がある．

• audioop: audioop-lts (github)
• aifc: standard-aifc (github)
• sunau: standard-sunau (github)

Mattermost を Debian stable (Debian 12 bookworm) で運用しているのだけど，Debian では MySQL は Official には提供されていなくて，代わりに MariaDB を使うことになっている．

Mattermost 自体は RDB として MySQL と PostgreSQL をサポートしているのだけど，現在のバージョンである v10 からは MySQL を利用した新規 install はサポート外となり，また，次期バージョンである v11 で MySQL のサポートは削除される見込みとなっている．

ということで，そのうち MariaDB から PostgreSQL に移行する必要があったので，頑張って移行した．なお，MariaDB を利用していると MySQL との互換性の問題でさまざまな問題が発生しているのも，今回の移行を促す要因になった．たとえば，MariaDB を利用していると以下の様な問題がある．

• ハッシュタグを利用した検索が機能しない．#定期 ではなく "#定期" のように文字列として検索する必要がある(" で括るという Workaround でなんとなかっていたので深追いしていない)．

• Mattermost 10.2 以降で Mobile App への Push Notification が動作しない．以下のようなエラーが出て Push Notification 不可(メールの Notification，Browser への Notification は問題なし)．

  {"timestamp":"2025-01-XX XX:XX:XX.XXX +09:00","level":"error","msg":"Failed to send mobile app sessions","caller":"app/notification_push.go:123","logSource":"notifications","type":"push","status":"error","reason":"fetch_error","user_id":"(snip)","error":"getMobileAppSessions: We encountered an error while finding user sessions., failed to find Sessions with userId=(snip): Error 1064 (42000): You have an error in your SQL syntax; check the manual that corresponds to your MariaDB server version for the right syntax to use near '>>'$.last_removed_device_id', '')' at line 9"}

移行方法(MySQL から PostgreSQL)は https://docs.mattermost.com/deploy/postgres-migration.htmlに詳細が記載されている．最近は Automated PostgreSQL migration が用意されていて，かなり自動化されている．以前は用意されていなかったので，一度 manual migration のリハーサルをしていたので，それを思い出しつつ作業．

なお，同じサーバで MariaDB を利用し続けたいので(WordPressなどで利用)，PostgreSQL は Docker で動作させる．

準備

基本的には database schema の調整をして，pgloaderで MySQL (MariaDB) から読み出しつつ PostgreSQL に書き込んでいく感じ．

• 必要な package の install
  • sudo apt install postgresql-client mariadb-client pgloader
• Docker 環境の準備
  • Debian 付属の Docker は unofficial Docker packages 扱いなので https://docs.docker.com/engine/install/debian/ を参照しつつ apt で install する
• migration-assist の準備
  • https://github.com/mattermost/migration-assist/releases から取得・展開

以下では Data Source Name (DSN) を何度も使うので，変数にしておく．以下のような感じ．PostgreSQL と MySQL (MariaDB) で微妙に syntax が異なるので注意．

PDSN="postgres://mmuser:mmuser_password@127.0.0.1:5432/mattermost?sslmode=disable"
MDSN="mmuser:mmuser_password@tcp(127.0.0.1:3306)/mattermost"

なお以下を想定．

• database name: mattermost
• database user: mmuser
• database password: mmuser_password
• PostgreSQL server: localhost:5432
• MySQL (MariaDB) server: localhost:3306

Step 1 - Check the MySQL database schema

https://docs.mattermost.com/deploy/postgres-migration-assist-tool.html の Step 1．

以下のような結果だった．

./migration-assist mysql "$MDSN"
2025-02-07 19:21:47 pinging mysql...
2025-02-07 19:21:47 connected to mysql successfully...
2025-02-07 19:21:48 running checks for artifacts...
2025-02-07 19:21:48 a fix is required for: schema_migrations
2025-02-07 19:21:48 4 checks been made, 1 fix(es) is required for artifacts
2025-02-07 19:21:48 running checks for unicode...
2025-02-07 19:21:49 11 checks been made, all good for unicode
2025-02-07 19:21:49 running checks for varchar...
2025-02-07 19:22:07 8 checks been made, all good for varchar
2025-02-07 19:22:07 running checks for varchar-extended...
2025-02-07 19:22:15 12 checks been made, all good for varchar-extended

1 fix(es) is required for artifacts なので，./migration-assist mysql --fix-artifacts "$MDSN" で修正を行う．修正前後で dump して，diff を取ると安心．

mysqldump -u mmuser -p mattermost --host localhost --port 3306 > dump0.sql
./migration-assist mysql --fix-artifacts "$MDSN"
mysqldump -u mmuser -p mattermost --host localhost --port 3306 > dump1.sql
diff -uw dump0.sql dump1.sql

Step 2 - Create the PostgreSQL database schema

https://docs.mattermost.com/deploy/postgres-migration-assist-tool.html の Step 2．

まず PostgreSQL のサーバを Docker で起動する必要があるが，https://docs.mattermost.com/install/install-docker.html に Mattermost を Docker 上で丸ごと動かす方法が解説されていて，具体的には https://github.com/mattermost/docker のファイルを流用して PostgreSQL/Docker 環境を作る．より詳細には以下のファイルさえあれば良い．

• docker-compose.yml

  • docker-compose.yml には mattermost の section もあるが，これはテストに使える(つまり，docker と PostgreSQL は別 container として起動する)．

  • postgres の section に以下を書いておき，PostgreSQL server に localhost:5432 でアクセスできるようにしておく．

        ports:
          - 5432:5432

  • mattermost の section に以下を書いておき(APP_PORT=8065)， http://localhost:5432/ でテストできるようにしておく．

        ports:
          - ${APP_PORT}:${APP_PORT}

• env.example を .env として用意．

  以下の変数を適当に調整．Docker PostgreSQL は最新版(17.2)を利用することにした (PostgreSQLは 毎年メジャーバージョンアップがあり，最新の 17 (17.2) は Nov 2029 までサポート)．

  POSTGRES_DATA_PATH は https://github.com/tianon/docker-postgres-upgrade を利用した upgrade が容易な path とした(version/data/)．

  POSTGRES_IMAGE_TAG=17.2-alpine
  POSTGRES_DATA_PATH=/somewhere/17.2/data/
  
  POSTGRES_USER=mmuser
  POSTGRES_PASSWORD=mmuser_password
  POSTGRES_DB=mattermost
  
  MATTERMOST_IMAGE_TAG=release-10
  APP_PORT=8065

準備ができたら docker compose up -d postgres で PostgreSQL container (のみ)を起動する．あとは以下を実行するだけ．．．

./migration-assist postgres "$PDSN" --run-migrations --mattermost-version=v10.4.2

だが，

An Error Occurred: could not check schema owner: the user "mmuser" is not owner of the "public" schema

のエラーが発生するので(PostgreSQL 13-alpine では発生しなかったはず)，https://github.com/mattermost/migration-assist/issues/16 にあるとおり PostgreSQL に接続して以下を実行する．

ALTER SCHEMA public OWNER TO mmuser;
GRANT ALL ON SCHEMA public to mmuser;

これは，たとえば docker exec を使って以下のように送り込めば良い (PostgreSQL のコンテナ名は docker-postgres-1 を想定)．

% cat hoge.sql
ALTER SCHEMA public OWNER TO mmuser;
ALL ON SCHEMA public to mmuser;
% (docker exec -i docker-postgres-1 bash -c "cat > /tmp/work.sql") < hoge.sql
% docker exec docker-postgres-1 bash -c 'psql mattermost mmuser < /tmp/work.sql'

いろいろ調べていてこんなテクニックがあることを知った．．．

なお，最初からやり直すには docker compose down でコンテナを止めて，sudo rm -rf /somewhere/17.2/data する(要 sudo)．

Step 3, 4, 5 - Generate a pgloader configuration / Run pgloader / Restore full-text indexes

https://docs.mattermost.com/deploy/postgres-migration-assist-tool.html の Step 3, 4, 5．

pgloader 用の configuration を生成して，pgloader を動かす．そして後処理(index 生成)をする．

./migration-assist pgloader --mysql="$MDSN" --postgres="$PDSN" > migration.load
pgloader migration.load > migration.log
./migration-assist postgres post-migrate "$PDSN"

特に問題なく終了する(migration.load にいろいろ Warning が出ているがひとまず気にしないことにした; 後述のとおり動作したので)．

なお，以下のようなメッセージが表示されるかもしれない．

could not find the default schema "public" in search_path, consider setting it from the postgresql console

https://github.com/mattermost/migration-assist/issues/37 で議論されているが，これは最後に修正する．互換性の問題かなにかで，最終的には以下のような妙な状態になる．イミフ．

mattermost=# SHOW search_path;
     search_path
---------------------
 """$user"", public"
(1 row)

Step 6 - Complete plugin migrations

https://docs.mattermost.com/deploy/postgres-migration-assist-tool.html の Step 6．

ここが最も厄介．以下を実行すれば良いのだが，手元の環境では pgloader boards.load がコケて大変だった．

./migration-assist pgloader boards    --mysql="$MDSN" --postgres="$PDSN" > boards.load
./migration-assist pgloader playbooks --mysql="$MDSN" --postgres="$PDSN" > playbooks.load
./migration-assist pgloader calls     --mysql="$MDSN" --postgres="$PDSN" > calls.load

pgloader playbooks.load > playbooks_migration.log
pgloader calls.load > calls.log

pgloader boards.load > boards_migration.log

先に pgloader boards.load を実行して失敗すると，その後ものはことごとく失敗することになるので，上では最後に pgloader boards.load している．

どの pgloader configuration (.load) も以下のように public を mattermost に rename して，最後に mattermost を public に rename するのだが，失敗すると mattermost のままになり，以降の .load では public が見つからないということでコケる．

BEFORE LOAD DO
    $$ ALTER SCHEMA public RENAME TO mattermost; $$

AFTER LOAD DO
    $$ UPDATE mattermost.focalboard_blocks SET "fields" = '{}'::json WHERE "fields"::text = ''; $$,
    $$ UPDATE mattermost.focalboard_blocks_history SET "fields" = '{}'::json WHERE "fields"::text = ''; $$,
    $$ UPDATE mattermost.focalboard_sessions SET "props" = '{}'::json WHERE "props"::text = ''; $$,
    $$ UPDATE mattermost.focalboard_teams SET "settings" = '{}'::json WHERE "settings"::text = ''; $$,
    $$ UPDATE mattermost.focalboard_users SET "props" = '{}'::json WHERE "props"::text = ''; $$,
    $$ ALTER SCHEMA mattermost RENAME TO public; $$,

Focalboard (Mattermost Boars) Migration

pgloader boards.load で生じるエラーは以下のようなもので，timestamptz not null default 'current_timestamp(6)' という変な type で table を生成しようとしてしまう．

2025-02-07T12:17:46.160002Z ERROR Database error 22007: invalid input syntax for type timestamp with time zone: "current_timestamp(6)
QUERY: CREATE TABLE mattermost.focalboard_blocks
(
  id          varchar(36) not null,
  insert_at   timestamptz not null default 'current_timestamp(6)',
  parent_id   varchar(36) default NULL,
  schema      bigint default NULL,
  type        text default NULL,
  title       text default NULL,
  fields      json default NULL,
  create_at   bigint default NULL,
  update_at   bigint default NULL,
  delete_at   bigint default NULL,
  root_id     varchar(36) default NULL,
  modified_by varchar(36) not null,
  channel_id  varchar(36) not null,
  created_by  varchar(36) not null,
  board_id    varchar(36) default NULL
);
2025-02-07T12:17:46.160002Z FATAL Failed to create the schema, see above.
KABOOM!
2025-02-07T12:17:46.168002Z ERROR Database error 42P01: relation "mattermost.focalboard_blocks" does not exist

https://github.com/dimitri/pgloader/issues/341#issuecomment-2045367908 では boards.load を以下のような感じにすると良いと書かれているが，これで datetime を timestamp に cast して，その timestamp をさらに cast しようとしているように見えるが，これはまともに動作しない．

LOAD
DATABASE from mysql://xxx:xxx@mariadb:3306/mattermost
INTO postgresql://xxx:xxxx@localhost:5432/mattermost
CAST type datetime to timestamp, type timestamp to "timestamptz not null default current_timestamp" drop default drop not null

動作するようにするには以下の様に修正する．datetime を timestamptz not null default current_timestamp に cast して，元から指定されている default と not null を drop する(詳しくは pgloader の document 参照)．

--- boards.load 2025-02-08 20:38:05.717358154 +0900
+++ boards.load.ok      2025-02-08 20:38:07.077369466 +0900
@@ -22,7 +22,8 @@
      column focalboard_teams.settings to "json" drop typemod using remove-null-characters,
      column focalboard_users.props to "json" drop typemod using remove-null-characters,
      type int when (= precision 11) to int4 drop typemod,
-     type json to jsonb drop typemod using remove-null-characters
+     type json to jsonb drop typemod using remove-null-characters,
+     type datetime to "timestamptz not null default current_timestamp" drop default drop not null

 INCLUDING ONLY TABLE NAMES MATCHING
     ~/focalboard/

これで，cast (pgloader) した際の，MariaDB と PostgreSQL のテーブルは以下のとおり．

[MariaDB]

CREATE TABLE `focalboard_blocks` (
  `id` varchar(36) NOT NULL,
  `insert_at` datetime(6) NOT NULL DEFAULT current_timestamp(6),
  `parent_id` varchar(36) DEFAULT NULL,
  `schema` bigint(20) DEFAULT NULL,
  `type` text DEFAULT NULL,
  `title` text DEFAULT NULL,
  `fields` text DEFAULT NULL,
  `create_at` bigint(20) DEFAULT NULL,
  `update_at` bigint(20) DEFAULT NULL,
  `delete_at` bigint(20) DEFAULT NULL,
  `root_id` varchar(36) DEFAULT NULL,
  `modified_by` varchar(36) NOT NULL,
  `channel_id` varchar(36) NOT NULL,
  `created_by` varchar(36) NOT NULL,
  `board_id` varchar(36) DEFAULT NULL,
  PRIMARY KEY (`id`),
  KEY `idx_blocks_board_id_parent_id` (`board_id`,`parent_id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_general_ci;

[PostgreSQL]

CREATE TABLE public.focalboard_blocks (
    id character varying(36) NOT NULL,
    insert_at timestamp with time zone DEFAULT CURRENT_TIMESTAMP(6) NOT NULL,
    parent_id character varying(36) DEFAULT NULL::character varying,
    schema bigint,
    type text,
    title text,
    fields json,
    create_at bigint,
    update_at bigint,
    delete_at bigint,
    root_id character varying(36) DEFAULT NULL::character varying,
    modified_by character varying(36) NOT NULL,
    channel_id character varying(36) NOT NULL,
    created_by character varying(36) NOT NULL,
    board_id character varying(36) DEFAULT NULL::character varying
);

まだ続く．これでも focalboard_blocks_history の移行に失敗する．以下．

2025-02-07T14:14:24.260002Z ERROR Database error 22P02: invalid input syntax for type json
DETAIL: The input string ended unexpectedly.
CONTEXT: JSON data, line 1:
COPY focalboard_blocks_history, line 4, column fields: ""
2025-02-07T14:14:24.356003Z ERROR PostgreSQL Database error 42P07: relation "idx_preferences_category" already exists
QUERY: CREATE INDEX idx_preferences_category ON mattermost.focalboard_preferences (category);
2025-02-07T14:14:24.376003Z ERROR PostgreSQL Database error 42P07: relation "idx_preferences_name" already exists
QUERY: CREATE INDEX idx_preferences_name ON mattermost.focalboard_preferences (name);
2025-02-07T14:14:24.448004Z LOG report summary reset
                                 table name     errors       rows      bytes      total time
-------------------------------------------  ---------  ---------  ---------  --------------
                                before load          0          1                     0.008s
                            fetch meta data          0         47                     0.060s
                             Create Schemas          0          0                     0.000s
                           Create SQL Types          0          0                     0.000s
                              Create tables          0         36                     0.048s
                             Set Table OIDs          0         18                     0.004s
-------------------------------------------  ---------  ---------  ---------  --------------
       mattermost.focalboard_blocks_history          1          0                     0.100s
               mattermost.focalboard_blocks          0       1258   539.9 kB          0.080s
       mattermost.focalboard_boards_history          0        175   210.8 kB          0.072s
        mattermost.focalboard_subscriptions          0        157    18.4 kB          0.080s
               mattermost.focalboard_boards          0         21    32.3 kB          0.088s
           mattermost.focalboard_categories          0         54     7.8 kB          0.068s
            mattermost.focalboard_file_info          0          0                     0.048s
        mattermost.focalboard_board_members          0         24     1.2 kB          0.060s
              mattermost.focalboard_sharing          0          1     0.1 kB          0.052s
   mattermost.focalboard_notification_hints          0          0                     0.064s
                mattermost.focalboard_teams          0          0                     0.064s
      mattermost.focalboard_category_boards          0         24     3.2 kB          0.008s
      mattermost.focalboard_system_settings          0          6     0.2 kB          0.004s
             mattermost.focalboard_sessions          0          0                     0.004s
    mattermost.focalboard_schema_migrations          0         40     1.0 kB          0.008s
mattermost.focalboard_board_members_history          0         24     1.9 kB          0.004s
          mattermost.focalboard_preferences          0          0                     0.004s
                mattermost.focalboard_users          0          0                     0.004s
-------------------------------------------  ---------  ---------  ---------  --------------

これについては https://github.com/mattermost/migration-assist/issues/17 で議論されているが，手元では focalboard_blocks_history で何故か fields が空文字になっているものがあり，それを以下のように {} (JSONの空オブジェクト)に更新するとうまく行くようになった(START TRANSACTION と COMMIT を使って，失敗した場合は ROLLBACK すること想定，念の為)．

% mysql --port 3306 -h localhost -p --user=mmuser mattermost
> SELECT id, fields FROM focalboard_blocks_history WHERE JSON_VALID(fields) = 0;
(fields が空文字になって JSON_VALID に失敗していること確認した)
> START TRANSACTION;
> UPDATE focalboard_blocks_history SET fields = '{}' WHERE fields = '';
> COMMIT;

なお，そもそも Focalboard (Mattermost Boards) はほとんど利用していないので，個別に board を古いシステムから export して，新システムに import するという手もあった．

Step 7 - Configure Mattermost to utilize the new PostgreSQL database

https://docs.mattermost.com/deploy/postgres-migration-assist-tool.html の Step 7．

MariaDB でのシステムは生かしたまま，Docker で起動させる Mattermost で，動作確認をする．先の .env に以下の箇所があるが，これに従って MariaDB でのシステムの各ファイルを copy して(以下の通り chown も必要)，config.json を調整する．

# Mattermost settings
## Inside the container the uid and gid is 2000. The folder owner can be set with
## `sudo chown -R 2000:2000 ./volumes/app/mattermost`.
MATTERMOST_CONFIG_PATH=./volumes/app/mattermost/config
MATTERMOST_DATA_PATH=./volumes/app/mattermost/data
MATTERMOST_LOGS_PATH=./volumes/app/mattermost/logs
MATTERMOST_PLUGINS_PATH=./volumes/app/mattermost/plugins
MATTERMOST_CLIENT_PLUGINS_PATH=./volumes/app/mattermost/client/plugins
MATTERMOST_BLEVE_INDEXES_PATH=./volumes/app/mattermost/bleve-indexes

あとは，docker compose up -d mattermost で Mattermost のコンテナを起動して，http://localhost:8065 にアクセスして確認．ブラウザで直接アクセスするには portfoward するか，IP アドレス指定をする．WebSocket まわりで不具合生じていたが(CORS関連？)，本番環境だったら大丈夫だろうということで無視．

多分この段階で，mattermost が postgres に接続できない云々問題が生じるはずで，これが上述の could not find the default schema "public" in search_path 問題．PostgreSQL に接続して以下を実行する(前述のとおり docker exec を使うと簡単)．https://github.com/mattermost/migration-assist/issues/16 参照．

ALTER user mmuser in database mattermost set search_path to 'public';

---

Docker で動作確認ができたら，MariaDB の Mattermost を一旦停止して(もちろん MariaDB は起動したまま)，Migration を最初からやりなおして(Mattermost を止めているので DB へのアクセスもない)，Mattermost の config.json の SqlSettings の DataSource を修正して，Mattermost を起動する．PostgreSQL と MySQL (MariaDB) で微妙な Data Source Name (DSN) 差に注意．

その他

以下のような感じで Calls 周りでエラーが生じる(ほぼ使ってないけど．．．)．

{"timestamp":"2025-02-08 XX:XX:XX.XXX +09:00","level":"error","msg":"failed to get all calls channels","caller":"app/plugin_api.go:1011","plugin_id":"com.mattermost.calls","origin":"main.(*Plugin).handleGetAllCallChannelStates api.go:169","err":"failed to get calls channels: sql: Scan error on column index 2, name \"props\": unsupported source type string"}

Calls 関連のテーブルは以下で，text になっている箇所は jsonb になっている必要がある．https://github.com/mattermost/mattermost-plugin-calls/tree/main/server/db/migrations/postgres 付近の SQL 参照．

% docker exec -it docker-postgres-1 psql mattermost mmuser
mattermost=# \d public.calls
                                  Table "public.calls"
    Column    |          Type          | Collation | Nullable |         Default
--------------+------------------------+-----------+----------+-------------------------
 id           | character varying(26)  |           | not null |
 channelid    | character varying(26)  |           |          | NULL::character varying
 startat      | bigint                 |           |          |
 endat        | bigint                 |           |          |
 createat     | bigint                 |           |          |
 deleteat     | bigint                 |           |          |
 title        | character varying(256) |           |          | NULL::character varying
 postid       | character varying(26)  |           |          | NULL::character varying
 threadid     | character varying(26)  |           |          | NULL::character varying
 ownerid      | character varying(26)  |           |          | NULL::character varying
 participants | text                   |           | not null |
 stats        | text                   |           | not null |
 props        | text                   |           | not null |
Indexes:
    "idx_XXXXX_primary" PRIMARY KEY, btree (id)
    "idx_calls_channel_id" btree (channelid)
    "idx_calls_end_at" btree (endat)

mattermost=# \d public.calls_channels
                   Table "public.calls_channels"
  Column   |         Type          | Collation | Nullable | Default
-----------+-----------------------+-----------+----------+---------
 channelid | character varying(26) |           | not null |
 enabled   | boolean               |           |          |
 props     | text                  |           | not null |
Indexes:
    "idx_XXXXX_primary" PRIMARY KEY, btree (channelid)

mattermost=# \d public.calls_sessions
                            Table "public.calls_sessions"
   Column   |         Type          | Collation | Nullable |         Default
------------+-----------------------+-----------+----------+-------------------------
 id         | character varying(26) |           | not null |
 callid     | character varying(26) |           |          | NULL::character varying
 userid     | character varying(26) |           |          | NULL::character varying
 joinat     | bigint                |           |          |
 unmuted    | boolean               |           |          |
 raisedhand | bigint                |           |          |
Indexes:
    "idx_XXXXX_primary" PRIMARY KEY, btree (id)
    "idx_calls_sessions_call_id" btree (callid)

mattermost=# \d calls_jobs
                             Table "public.calls_jobs"
  Column   |         Type          | Collation | Nullable |         Default
-----------+-----------------------+-----------+----------+-------------------------
 id        | character varying(26) |           | not null |
 callid    | character varying(26) |           |          | NULL::character varying
 type      | character varying(64) |           |          | NULL::character varying
 creatorid | character varying(26) |           |          | NULL::character varying
 initat    | bigint                |           |          |
 startat   | bigint                |           |          |
 endat     | bigint                |           |          |
 props     | text                  |           | not null |
Indexes:
    "idx_XXXXX_primary" PRIMARY KEY, btree (id)
    "idx_calls_jobs_call_id" btree (callid)

正しく JSON 形式の文字列が text として入っていれば，以下で jsonb に変換できる．

ALTER TABLE calls ALTER COLUMN participants TYPE JSONB USING participants::JSONB;
ALTER TABLE calls ALTER COLUMN props TYPE JSONB USING props::JSONB;
ALTER TABLE calls ALTER COLUMN stats TYPE JSONB USING stats::JSONB;
ALTER TABLE calls_channels ALTER COLUMN props TYPE JSONB USING props::JSONB;
ALTER TABLE calls_jobs ALTER COLUMN props TYPE JSONB USING props::JSONB;

手元環境では calls のテーブルに謎の制御文字が入り込んでしまっていたので，以下で個別に修正してから上の ALTER TABLE した．

UPDATE calls set participants = '[]' where id = 'xxxxxxxxxxxxxxxxxxxxxxxxxx';
UPDATE calls set stats = '{}' where id = 'xxxxxxxxxxxxxxxxxxxxxxxxxx';
UPDATE calls set props = '{"hosts":["xxxxxxxxxxxxxxxxxxxxxxxxxx"],"node_id":"xxxxxxxxxxxxxxxxxxxxxxxxxx","participants":{"xxxxxxxxxxxxxxxxxxxxxxxxxx":{}}}' where id = 'xxxxxxxxxxxxxxxxxxxxxxxxxx;

その他(systemd)

手元では systemd で mattermost を起動している．以下のように mattermost.service が dockerpg.service に依存することにしておき，/etc/systemd/system/dockerpg.service を適当に作成する (start: docker compose up -d postgres，stop: docker compose down するように適当に書く; 本当に適当なのでここでは晒さない)．

[/etc/systemd/system/mattermost.service]
-After=mysql.service
-Requires=mysql.service
+After=dockerpg.service
+Requires=dockerpg.service

追記 2025-02-09

以下のような感じで Mattermost Playbooks 周りでエラーが出ていた．

{"timestamp":"2025-02-09 XX:XX:XX.XXX +09:00","level":"error","msg":"An internal error has occurred. Check app server logs for details.","caller":"app/plugin_api.go:1011","plugin_id":"playbooks","request_id":"xxxxxxxxxxxxxxxxxxxxxxxxxx","error":"sql: Scan error on column index 2, name \"digestnotificationsettingsjson\": unsupported Scan, storing driver.Value type string into type *json.RawMessage\nfailed to get userInfo by userId 'xxxxxxxxxxxxxxxxxxxxxxxxxx'\ngithub.com/mattermost/mattermost-plugin-playbooks/server/sqlstore.(*userInfoStore).Get\n\tgithub.com/mattermost/mattermost-plugin-playbooks/server/sqlstore/user_info.go:51\ngithub.com/mattermost/mattermost-plugin-playbooks/server/api.(*BotHandler).connect\n\tgithub.com/mattermost/mattermost-plugin-playbooks/server/api/bot.go:175\ngithub.com/mattermost/mattermost-plugin-playbooks/server/api.NewBotHandler.withContext.func3\n\tgithub.com/mattermost/mattermost-plugin-playbooks/server/api/context.go:36\nnet/http.HandlerFunc.ServeHTTP\n\tnet/http/server.go:2141\ngithub.com/mattermost/mattermost-plugin-playbooks/server/api.MattermostAuthorizationRequired.func1\n\tgithub.com/mattermost/mattermost-plugin-playbooks/server/api/api.go:109\nnet/http.HandlerFunc.ServeHTTP\n\tnet/http/server.go:2141\ngithub.com/mattermost/mattermost-plugin-playbooks/server/api.LogRequest.func1\n\tgithub.com/mattermost/mattermost-plugin-playbooks/server/api/logger.go:46\nnet/http.HandlerFunc.ServeHTTP\n\tnet/http/server.go:2141\ngithub.com/gorilla/mux.(*Router).ServeHTTP\n\tgithub.com/gorilla/mux@v1.8.0/mux.go:210\ngithub.com/mattermost/mattermost-plugin-playbooks/server/api.(*Handler).ServeHTTP\n\tgithub.com/mattermost/mattermost-plugin-playbooks/server/api/api.go:60\nmain.(*Plugin).ServeHTTP\n\tgithub.com/mattermost/mattermost-plugin-playbooks/server/plugin.go:96\ngithub.com/mattermost/mattermost-server/v6/plugin.(*hooksRPCServer).ServeHTTP\n\tgithub.com/mattermost/mattermost-server/v6@v6.0.0-20221206174448-c3c81cb3d6a2/plugin/client_rpc.go:453\nreflect.Value.call\n\treflect/value.go:596\nreflect.Value.Call\n\treflect/value.go:380\nnet/rpc.(*service).call\n\tnet/rpc/server.go:382\nruntime.goexit\n\truntime/asm_amd64.s:1650","plugin_caller":"github.com/mattermost/mattermost-plugin-playbooks/server/api/api.go:85"}

digestnotificationsettingsjson 付近でコケている様子で，https://github.com/mattermost/mattermost-plugin-playbooks/blob/master/server/sqlstore/migrations/postgres/000077_add_digest_notification_settings_json_to_ir_userinfo.up.sql によるとこれは JSON type のはずが，text type になっていた．

mattermost=# \d ir_userinfo
                               Table "public.ir_userinfo"
             Column             |         Type          | Collation | Nullable | Default
--------------------------------+-----------------------+-----------+----------+---------
 id                             | character varying(26) |           | not null |
 lastdailytododmat              | bigint                |           |          |
 digestnotificationsettingsjson | text                  |           |          |
Indexes:
    "idx_XXXXX_primary" PRIMARY KEY, btree (id)

調べたところ保存されているデータも JSON が text で格納されていたので，以下で修正．

mattermost=# ALTER TABLE ir_userinfo ALTER COLUMN digestnotificationsettingsjson TYPE JSON USING digestnotificationsettingsjson::JSON;
mattermost=# \d ir_userinfo
                               Table "public.ir_userinfo"
             Column             |         Type          | Collation | Nullable | Default
--------------------------------+-----------------------+-----------+----------+---------
 id                             | character varying(26) |           | not null |
 lastdailytododmat              | bigint                |           |          |
 digestnotificationsettingsjson | json                  |           |          |
Indexes:
    "idx_XXXXX_primary" PRIMARY KEY, btree (id)

追記 2025-02-10

PostgreSQL で運用する Mattermost では日本語検索がまともに機能しないことがわかった．

• 以前は textsearch_ja と MeCabを組み合わせて日本語検索するということができたようだが，textsearch_ja はメンテナンスが止まっているので，あまり使いたくない．

• Elasticsearch の利用 が Mattermost 公式で解説されているが，これは少し面倒(やるなら Elasticsearch を Docker で動かすことを考えたい)．．．

ということで，pg_cjk_parserでお手軽対応をした．なお，MariaDB で日本語検索する件は2020/02/29 18:50 / Mattermost で日本語検索 (Mariadb+Mroonga)参照．

以下の Dockerfile で PostgreSQL のイメージを build して，それを docker compose で起動．

ARG POSTGRES_VERSION=17.2
FROM postgres:$POSTGRES_VERSION-alpine AS build
ARG POSTGRES_VERSION=17.2
RUN apk update && apk add musl-dev icu-dev llvm19-dev clang19 make

RUN mkdir -p /root/parser
WORKDIR /root/parser
COPY pg_cjk_parser.c /root/parser/
COPY pg_cjk_parser.control /root/parser/
COPY Makefile /root/parser/
COPY pg_cjk_parser--0.0.1.sql /root/parser/
COPY zht2zhs.h /root/parser/
RUN make clean && make install

FROM postgres:$POSTGRES_VERSION-alpine
COPY --from=build /root/parser/pg_cjk_parser.bc /usr/local/lib/postgresql/bitcode
COPY --from=build /root/parser/pg_cjk_parser.so /usr/local/lib/postgresql/
COPY --from=build /root/parser/pg_cjk_parser--0.0.1.sql /usr/local/share/postgresql/extension/
COPY --from=build /root/parser/pg_cjk_parser.control /usr/local/share/postgresql/extension/

あとは，pg_cjk_parser のページにかかれている通り，以下の SQL を実行する(public ではなくなんとなく pg_catalog にした)．

CREATE EXTENSION pg_cjk_parser;

CREATE TEXT SEARCH PARSER pg_catalog.pg_cjk_parser (
    START = prsd2_cjk_start,
    GETTOKEN = prsd2_cjk_nexttoken,
    END = prsd2_cjk_end,
    LEXTYPES = prsd2_cjk_lextype,
    HEADLINE = prsd2_cjk_headline);

CREATE TEXT SEARCH CONFIGURATION pg_catalog.config_2_gram_cjk (
    PARSER = pg_cjk_parser
);

SET default_text_search_config = 'pg_catalog.config_2_gram_cjk';

ALTER TEXT SEARCH CONFIGURATION pg_catalog.config_2_gram_cjk
    ADD MAPPING FOR asciihword
    WITH simple;

ALTER TEXT SEARCH CONFIGURATION pg_catalog.config_2_gram_cjk
    ADD MAPPING FOR cjk
    WITH simple;

ALTER TEXT SEARCH CONFIGURATION pg_catalog.config_2_gram_cjk
    ADD MAPPING FOR email
    WITH simple;

ALTER TEXT SEARCH CONFIGURATION pg_catalog.config_2_gram_cjk
    ADD MAPPING FOR asciiword
    WITH english_stem;

ALTER TEXT SEARCH CONFIGURATION pg_catalog.config_2_gram_cjk
    ADD MAPPING FOR entity
    WITH simple;

ALTER TEXT SEARCH CONFIGURATION pg_catalog.config_2_gram_cjk
    ADD MAPPING FOR file
    WITH simple;

ALTER TEXT SEARCH CONFIGURATION pg_catalog.config_2_gram_cjk
    ADD MAPPING FOR float
    WITH simple;

ALTER TEXT SEARCH CONFIGURATION pg_catalog.config_2_gram_cjk
    ADD MAPPING FOR host
    WITH simple;

ALTER TEXT SEARCH CONFIGURATION pg_catalog.config_2_gram_cjk
    ADD MAPPING FOR hword
    WITH simple;

ALTER TEXT SEARCH CONFIGURATION pg_catalog.config_2_gram_cjk
    ADD MAPPING FOR hword_asciipart
    WITH simple;

ALTER TEXT SEARCH CONFIGURATION pg_catalog.config_2_gram_cjk
    ADD MAPPING FOR hword_numpart
    WITH simple;

ALTER TEXT SEARCH CONFIGURATION pg_catalog.config_2_gram_cjk
    ADD MAPPING FOR hword_part
    WITH simple;

ALTER TEXT SEARCH CONFIGURATION pg_catalog.config_2_gram_cjk
    ADD MAPPING FOR int
    WITH simple;

ALTER TEXT SEARCH CONFIGURATION pg_catalog.config_2_gram_cjk
    ADD MAPPING FOR numhword
    WITH simple;

ALTER TEXT SEARCH CONFIGURATION pg_catalog.config_2_gram_cjk
    ADD MAPPING FOR numword
    WITH simple;

ALTER TEXT SEARCH CONFIGURATION pg_catalog.config_2_gram_cjk
    ADD MAPPING FOR protocol
    WITH simple;

ALTER TEXT SEARCH CONFIGURATION pg_catalog.config_2_gram_cjk
    ADD MAPPING FOR sfloat
    WITH simple;

ALTER TEXT SEARCH CONFIGURATION pg_catalog.config_2_gram_cjk
    ADD MAPPING FOR tag
    WITH simple;

ALTER TEXT SEARCH CONFIGURATION pg_catalog.config_2_gram_cjk
    ADD MAPPING FOR uint
    WITH simple;

ALTER TEXT SEARCH CONFIGURATION pg_catalog.config_2_gram_cjk
    ADD MAPPING FOR url
    WITH simple;

ALTER TEXT SEARCH CONFIGURATION pg_catalog.config_2_gram_cjk
    ADD MAPPING FOR url_path
    WITH simple;

ALTER TEXT SEARCH CONFIGURATION pg_catalog.config_2_gram_cjk
    ADD MAPPING FOR version
    WITH simple;

ALTER TEXT SEARCH CONFIGURATION pg_catalog.config_2_gram_cjk
    ADD MAPPING FOR word
    WITH simple;

default_text_search_config の設定が，セッション終了毎に元の pg_catalog.english に戻ってしまって，これにかなり悩んだ．最終的には postgresql.conf (手元環境では /somewhere/17.2/data/postgresql.conf)に以下を書いて，コンテナを再起動したら，設定が反映された(コンテナ再起動ではなく pg_ctl reload で良かったのかもしれない)．

default_text_search_config = 'pg_catalog.config_2_gram_cjk'

インデックスを再生成する必要があるので，以下を実行する(ここは english ままで良いらしい)．

DROP INDEX idx_posts_message_txt;
DROP INDEX idx_fileinfo_content_txt;
CREATE INDEX IF NOT EXISTS idx_fileinfo_content_txt ON fileinfo USING gin(to_tsvector('english', content));
CREATE INDEX IF NOT EXISTS idx_posts_message_txt ON posts USING gin(to_tsvector('english', message));

なお，pg_cjk_parser にも書いてあるが，CJK文字列「のび太の牧場物語」を「のび」「び太」「太の」「の牧」「牧場」「場物」「物語」のように分解するので，一文字での検索はできない(「AのB」とかがあればこれには「の」でマッチするが，「のび太の牧場物語」には「の」はマッチしない)．が，これで十分だ．．．

もとの状態に戻すには以下(要インデックス再生成)．

SET default_text_search_config = 'pg_catalog.english';
DROP TEXT SEARCH CONFIGURATION pg_catalog.config_2_gram_cjk;
DROP TEXT SEARCH PARSER pg_catalog.pg_cjk_parser;
DROP EXTENSION pg_cjk_parser;

pg_cjk_parser が改良されたり，Mattermost の仕様が変わったとしても，たぶん default_text_search_config を入れ替えて再度インデックスを生成すれば良いだけなので，おそらくメンテナンス簡単．

Related articles

• 2022/09/05 08:00 / Mattermost 7.2 に upgrade すると DM が表示できない
• 2020/02/29 18:50 / Mattermost で日本語検索 (Mariadb+Mroonga)

ラピートに乗る際，改札前でいつもどうしたら良いかわからなくなる．なので，通常は以下の2択．

• 窓口で特急券購入(クレジットカード)
• 中に入って現金で特急券購入(購入できない場合は諦めて空港急行)

南海のことなので券売機で特急券がクレジットカードで買えるようには思えない．．．と，調べてみたら買えるようになっている様子．知らなかった．

さて，今回は15分ぐらい余裕はあったので，Webで特急券購入．https://www.club-nankai.jp/sta/web/OnetimeTop.do から会員登録なしで購入できる．座席指定も可能．

• レギュラーシート: 520円
• スーパーシート: 730円

座席指定で良い席を見繕っていたら，クレジットカード決済の段階で座席確保に失敗する(おそらく窓口購入でその座席が販売された)．座席指定してから決済するまでに結構入力する項目があるので，何度か失敗したけど，4回目ぐらいでうまく購入できた．会員登録をしておけば入力する項目を減らせるのだろうけどほぼ南海乗らないので，また機会があれば会員登録する．

なお，関空やなんば周辺は海外からの人だらけ．

結論としては一旦2値画像のTIFFを作成して，Acrobat で PDF に変換，その後 Acrobat で OCR して保存する，ということ．

レシートとかをスキャナで取り込む環境がなくて，やむなくスマートフォンで撮影したりした場合，あとできれいな PDF にしたくなる(そんなこともない？)．

• まず撮影した画像を GIMP 等で明るさ・コントラスト調整や，不要な箇所を取り除いたりする．最終的に2値(白黒; グレイスケールではなく)にしたいので，色モードをインデックスカラー2値にして，PNGとかで保存．
• このPNGをAcrobatでPDFにして，OCRをかけた場合，なぜか画像部分がグレイスケールになってしまう(JPEGのようなノイズが文字の周りに現れる)．本当になぜかわからない．
• なので，PNG を TIFF に変換して，AcrobatでPDFにする．この状態で Acrobat の OCRをかけた場合，2値画像まま維持される．

.msg 形式のメールが転送されてきて，これを印刷せよとの指示を受ける．．．.eml であれば Wanderlust や Thunderbird に取り込めるので，変換することを検討．

libemail-outlook-message-perlというパッケージに含まれるmsgconvertを使うと良いらしい．

% sudo apt install libemail-outlook-message-perl

% msgconvert example.msg

で example.eml が生成される．既存の mbox (複数メール/1ファイル)に追加したい場合は，--mbox オプションを使うらしい．

% msgconvert example.msg --mbox my_mbox

Linux 6.7.x が EOL になったので，Linux 6.8.4 にあげる．久しぶりに .config がどう変更されるのか見てみた．以下 - は削除されたもの，+ は追加されたもの．x86_64．

追加

• +CONFIG_ACPI_THERMAL_LIB=y

  thermal: ACPI: Move the ACPI thermal library to drivers/acpi/

  ACPI_THERMAL で select される．

• +CONFIG_ARCH_HAS_CPU_PASID=y
+CONFIG_IOMMU_MM_DATA=y

  iommu: Change kconfig around IOMMU_SVA

  X86 で ARCH_HAS_CPU_PASID が select if IOMMU_SVA される．ARCH_HAS_CPU_PASID で IOMMU_MM_DATA が select される．

• +CONFIG_ARCH_HAS_HW_PTE_YOUNG=y

  mm/mglru: add CONFIG_ARCH_HAS_HW_PTE_YOUNG

  X86 で select される．

• +CONFIG_BLK_DEV_WRITE_MOUNTED=y

  block: Add config option to not allow writing to mounted devices

  追加された．default y

• +CONFIG_CC_NO_STRINGOP_OVERFLOW=y
+CONFIG_GCC_NO_STRINGOP_OVERFLOW=y

  init: Kconfig: Disable -Wstringop-overflow for GCC-11

  Kconfig: Disable -Wstringop-overflow for GCC globally

• +CONFIG_DIMLIB=y

  virtio-net: support rx netdim

  VIRTIO_NET で select されることになった．

• +CONFIG_FS_STACK=y

  fs: prepare for stackable filesystems backing file helpers

  OVERLAY_FS で select される．上記のとおり stackable filesystems 向け．

• +CONFIG_GENERIC_CPU_DEVICES=y

  drivers: base: Use present CPUs in GENERIC_CPU_DEVICES

  この付近．

  x86/topology: Switch over to GENERIC_CPU_DEVICES

  X86 で select される．

• +CONFIG_KVM_COMMON=y

  KVM: introduce CONFIG_KVM_COMMON

  KVM で select される．

• +CONFIG_KVM_GENERIC_MMU_NOTIFIER=y

  KVM: Convert KVM_ARCH_WANT_MMU_NOTIFIER to CONFIG_KVM_GENERIC_MMU_NOTIFIER

  KVM で select される．

• +CONFIG_KVM_HYPERV=y

  KVM: x86: Make Hyper-V emulation optional

  Support for Microsoft Hyper-V emulation．default y で If unsure, say “Y” とのこと．y にしておく．

• +CONFIG_STACKDEPOT_MAX_FRAMES=64

  lib/stackdepot: use fixed-sized slots for stack records

  default 64

• +CONFIG_VIRTIO_PCI_ADMIN_LEGACY=y

  virtio-pci: Initialize the supported admin commands

  default y

• +CONFIG_X86_HAVE_PAE=y

  x86/Kconfig: Rework CONFIG_X86_PAE dependency

  PAE (Physical Address Extension) Support．

  HIGHMEM64G や X86_PAE がこれに依存するが，これらは 32bit 向けなので関係ない．

削除

• -CONFIG_HAVE_KVM_EVENTFD=y

  KVM: remove CONFIG_HAVE_KVM_EVENTFD

• -CONFIG_HAVE_KVM_IRQFD=y

  KVM: remove CONFIG_HAVE_KVM_IRQFD

• -CONFIG_MD_FAULTY=m
-CONFIG_MD_LINEAR=m
-CONFIG_MD_MULTIPATH=m

  md: Remove deprecated CONFIG_MD_FAULTY

  md: Remove deprecated CONFIG_MD_LINEAR

  md: Remove deprecated CONFIG_MD_MULTIPATH

  deprecated for 2.5 years とのことで削除された．

変更

• -CONFIG_AS_HAS_NON_CONST_LEB128=y
+CONFIG_AS_HAS_NON_CONST_ULEB128=y

  lib/Kconfig.debug: Update AS_HAS_NON_CONST_LEB128 comment and name

  rename された．

• -CONFIG_FB_SYS_FOPS=y
+CONFIG_FB_SYSMEM_FOPS=y

  fbdev: Rename FB_SYS_FOPS token to FB_SYSMEM_FOPS

• -CONFIG_GCC11_NO_ARRAY_BOUNDS=y
+CONFIG_GCC10_NO_ARRAY_BOUNDS=y

  init/Kconfig: lower GCC version check for -Warray-bounds

他

• -CONFIG_NFS_FSCACHE=y
CONFIG_NETFS_SUPPORT: y->m

  netfs, fscache: Combine fscache with netfs

  depends on NFS_FS=m && NETFS_SUPPORT || NFS_FS=y && NETFS_SUPPORT=y

  の条件が満たせなくなって n になっていた．NFS_FS=y は nfsroot のために必須なので，CIFS を m から y にして y にする．

Related articles

• 2022/04/18 15:22 / Linux 5.17
• 2021/09/08 12:13 / Linux 5.14
• 2021/07/19 11:11 / Linux 5.13
• 2021/04/28 18:58 / Linux 5.12
• 2021/01/13 21:27 / brtfs 上に swap ファイルを置く
• 2020/09/11 20:24 / Linux 5.9-rc4
• 2020/07/12 16:42 / Linux 5.8-rc4
• 2020/05/01 21:21 / Linux 5.7-rc1
• 2020/04/03 22:18 / Linux 5.6.x fs/cachefiles/rdwr.c bug
• 2020/02/22 19:33 / Linux 5.6-rc2
• 2020/01/11 20:50 / Linux 5.5-rc5
• 2019/11/25 14:45 / nvidia-kernel-dkms 418.74-1 with Linux 5.4
• 2019/10/02 00:03 / Linux 5.3.1 -> 5.4-rc1
• 2019/09/20 14:45 / nvidia-kernel-dkms 418.74-1 with Linux 5.3
• 2019/07/22 19:13 / Linux 5.2.2 -> 5.3-rc1
• 2019/06/28 20:38 / GeForce GT 430 with nvidia-legacy-390xx-kernel-dkms 390.116-1~bpo9+1
• 2019/06/12 16:10 / Linux 5.1.8 -> 5.2-rc4
• 2019/05/07 19:43 / Linux 5.0.9 -> 5.1.0
• 2019/03/07 22:16 / Linux 4.20.13 -> 5.0.0
• 2018/11/06 11:30 / Linux 4.19.0 -> 4.20-rc1
• 2018/08/29 11:06 / Linux 4.18.5 -> 4.19-rc1
• 2018/06/20 17:06 / Linux 4.17.2 -> 4.18-rc1
• 2018/04/19 15:25 / Linux 4.16.2 -> 4.17-rc1
• 2018/02/12 17:23 / Linux 4.15.3 -> 4.16-rc1
• 2018/01/29 11:08 / Linux 4.14.15 -> 4.15
• 2017/11/28 12:42 / Linux 4.14.2 -> 4.15-rc1
• 2017/11/15 15:56 / Linux ORC unwinder と objtool (CONFIG_STACK_VALIDATION needs tools/objtool/objtool along headers)
• 2017/11/15 15:41 / Linux 4.13.12 -> 4.14.0
• 2017/09/18 07:04 / Linux 4.13.1 -> 4.14-rc1
• 2017/09/05 04:14 / Linux 4.12.10 -> 4.13
• 2017/07/16 23:56 / Linux 4.12.0 -> 4.13-rc1
• 2017/05/15 14:04 / Linux 4.11.0 -> 4.12-rc1
• 2017/05/03 00:24 / Linux 4.10.13 -> 4.11.0
• 2017/03/06 09:51 / Linux 4.10.1 -> 4.11-rc1
• 2017/02/20 10:31 / Linux 4.9.X -> 4.10
• 2016/12/30 21:28 / Linux 4.9 -> 4.10-rc1
• 2016/12/14 23:00 / Linux 4.8 -> 4.9

年末ぎりぎりの雑所得について，精算手続きの都合で振り込まれたのが年明けだったので，源泉徴収票において源泉徴収税額の欄が2段(いわゆる内書き有り状態)になってしまった．さてどうしたものかと悩んだのでメモ．

確定申告は確定申告書等作成コーナーで申告書を作成して，そのまま e-Tax (スマートフォンでQRコードスキャン)で提出するとして，内書きがある場合は源泉徴収税額の納付届出書 (汎用手続ID HKO0410，様式)の提出が必要 (説明)．つまり，未納源泉徴収があるものとして確定申告して，「源泉徴収税額の納付届出書」というだけ．

「源泉徴収税額の納付届出書」は e-Taxソフト(WEB版)を用いれば電子的に提出可能．イメージデータで送信可能な手続に含まれていて，PDFを送付するのみ．たぶんe-Taxソフト(Windows等にインストールして使うもの)でもできるらしいが，こちらはICカードリーダーが必要 (インストールしたが英語 Windows 環境だと結構文字化けがひどい印象)．なお，e-Taxソフト(Web版)のログイン画面が「読み込み中です…」のまま進まない場合は，環境の確認が必要(Chrome を英語で使っている場合は，日本語環境に変更する必要がある; これ)．

なお確定申告の際の納税額(あるいは還付額)は未納源泉徴収の有無に依存しない雰囲気．確定申告書等作成コーナーで両方のバージョンを作成したが金額が変わらなかった．

Related articles

• 2020/07/24 17:54 / マイナポイント手続き
• 2018/03/10 23:59 / 政府認証基盤(GPKI)自己署名証明書インストール
• 2017/03/05 23:07 / 確定申告 w/e-Tax
• 2017/03/04 22:45 / マイナンバーカードと PaSoRi RC-S380

64-bit time_t への移行とかあったりして Debian unstable がややこしいことになっているが，それの影響かよくわからないが Mozc で日本語入力モードにすると gnome-shell が死ぬようになった．死ぬというのは以下の表示と Log Out ボタンが現れる．

Oh no! Something has gone wrong.
A problem has occurred and the system can't recover.
Please log out and try again.

別環境では問題無いようだったので，調べてみたら dconf の設定に依存するらしい．というか org.gnome.desktop.input-sources の per-window が true だと不具合起こすらしい．以下で解決．

% gsettings set org.gnome.desktop.input-sources per-window false

なお，dconf の内容は以下のように dump して(テキスト形式)，編集して，取り込む，ということができる．

% dconf dump / > dump.dconf
% vi dump.dconf
% dconf reset -f /
% dconf load / < dump.dconf

以下の設定を一旦まるごと消して，そこから再度設定をしていって問題箇所を明らかにしていった．

• desktop/ibus/general (←最近は使われないような気がする)
• org/gnome/desktop/input-sources

ちなみに dconf の設定は ~/.config/dconf/user にある(バイナリ)．たまにダンプしてバックアップするのが良いかもしれない．

追記(2024/5/21)

現在は per-window が true でも gnome-shell は問題なく動作する．Terminal (や Emacs) は基本的に Direct 入力なので，per-window false だと少々面倒だった．なお，Emacs は以下をして，そもそもデスクトップ環境のIMを使わないように設定している．

echo "Emacs*useXIM: false" | xrdb -merge

追記(2024/5/30)

% gsettings set org.gnome.desktop.input-sources per-window true

な状態で gnome-shell 起動して，Mozc で日本語入力しようと Direct input から Hiragana に切り替えたタイミングで gnome-shell が死んでしまう様子．

% gsettings set org.gnome.desktop.input-sources per-window false

としておいて，Mozc Hiragana 状態にしてしまえば，あとは per-window true にして問題ない様子．

Related articles

• 2021/12/04 11:13 / Gnome で Input Source を Window 毎に変える
• 2021/01/12 14:52 / gnome-shell で Alt-tab で group ベースの window switch (swith-application)をしない
• 2017/12/27 23:20 / Switch to next input source (Gnome)
• 2017/06/10 23:51 / google-chrome Emacs key binding
• 2016/01/18 10:22 / google-chrome の表示言語設定
• 2015/08/20 09:48 / screen.xterm-256color
• 2015/02/27 17:28 / gnome-shell が 3D acceleration 無し環境では動かない件
• 2015/02/08 19:42 / gnome-terminal (Error constructing proxy for...)
• 2015/02/07 23:05 / gnome-shell のパネルに日付を表示する
• 2014/08/14 23:58 / google-chrome-stable on Debian GNU/Linux sid
• 2014/04/14 19:34 / gnome-shell 3.8.4-8 + ibus 1.5.5-1
• 2013/09/24 20:46 / Mozc Dictionary Tool
• 2013/06/18 22:58 / gnome-terminal 3.8.3-1 背景が透けない

先月シドニーに行ったメモ．

• 事前にElectronic Travel Authority (ETA; 電子渡航許可)の申請が必要

  AustralianETAというアプリを入れて処理．

• 日本帰国の際はVisit Japan Webサービスを利用すると税関の審査が省略される(カメラの前を通るだけ)．申告がない場合に限られるけど．

• トラムも鉄道もバスもクレジットカード(VISAかAMEXのタッチ決済)で乗れる(乗車時と降車時にタッチする)

• 物価高い．皆で飯行く時以外は大抵 Market City の Thai Kee (泰記超級市場)でなにか買って食べていた．

• 常用部屋用のサンダル(ビーチサンダル)を往路の航空機内に忘れてしまって，かつうっかり電源コネクタ変換器(オーストラリアは八の字型Oタイプ)も持ってくるの忘れてしまったので，これら一式 Regent Place の DAISO で入手．DAISO 前にはガチャガチャ(カプセルトイ)が大量に置いてあったが，価格は2トークンで，1トークンAUD 5．あと，たしか Regent Place の DAISO のあるフロアは日本食レストランとか居酒屋っぽいものがあったけど，高そうだった．

Related articles

• 2019/08/26 15:22 / フロリダ・オーランド メモ
• 2018/12/14 09:07 / ハワイ(ホノルル・ワイキキ)メモ
• 2018/03/12 15:56 / マレーシアメモ
• 2016/11/02 06:44 / タイ王国メモアゲイン
• 2016/10/05 03:41 / タイ王国バンコク スワンナプーム空港メモ
• 2015/12/25 23:34 / 香港メモ
• 2015/07/26 00:57 / シンガポールメモ

Debian GNU/Linux sid (unstable) で以下のように mmm-mode の問題で upgrade に失敗する．

Install mmm-mode for emacs
install/mmm-mode: Handling install of emacsen flavor emacs
install/mmm-mode: byte-compiling for emacs

In toplevel form:
mmm-auto.el:178:4: Error: Wrong number of arguments: (3 . 4), 2

In toplevel form:
mmm-class.el:36:2: Error: Eager macro-expansion failure: (wrong-number-of-arguments (3 . 4) 2)

In toplevel form:
mmm-cmds.el:36:2: Error: Eager macro-expansion failure: (wrong-number-of-arguments (3 . 4) 2)

In toplevel form:
mmm-cweb.el:35:2: Error: Eager macro-expansion failure: (wrong-number-of-arguments (3 . 4) 2)

In toplevel form:
mmm-defaults.el:37:2: Error: Eager macro-expansion failure: (wrong-number-of-arguments (3 . 4) 2)

In toplevel form:
mmm-erb.el:62:2: Error: Eager macro-expansion failure: (wrong-number-of-arguments (3 . 4) 2)

In toplevel form:
mmm-mason.el:36:2: Error: Eager macro-expansion failure: (wrong-number-of-arguments (3 . 4) 2)

In toplevel form:
mmm-mode.el:93:2: Error: Eager macro-expansion failure: (wrong-number-of-arguments (3 . 4) 2)

In toplevel form:
mmm-myghty.el:41:2: Error: Eager macro-expansion failure: (wrong-number-of-arguments (3 . 4) 2)

In toplevel form:
mmm-noweb.el:44:2: Error: Eager macro-expansion failure: (wrong-number-of-arguments (3 . 4) 2)

In toplevel form:
mmm-region.el:42:2: Error: Eager macro-expansion failure: (wrong-number-of-arguments (3 . 4) 2)

In toplevel form:
mmm-rpm.el:45:2: Error: Eager macro-expansion failure: (wrong-number-of-arguments (3 . 4) 2)

In toplevel form:
mmm-sample.el:38:2: Error: Eager macro-expansion failure: (wrong-number-of-arguments (3 . 4) 2)

In toplevel form:
mmm-univ.el:35:2: Error: Eager macro-expansion failure: (wrong-number-of-arguments (3 . 4) 2)
ERROR: install script from mmm-mode package failed
dpkg: error processing package mmm-mode (--configure):
 installed mmm-mode package post-installation script subprocess returned error exit status 1

原因は /usr/share/emacs/site-lisp/mmm-mode/mmm-auto.el の以下の箇所で define-obsolete-function-alias もマクロ展開に失敗している(XEmacs だった場合の引数の少ない方)．

(if (not (string-match "XEmacs" (emacs-version)))
    (define-obsolete-function-alias 'mmm-add-find-file-hooks 'mmm-add-find-file-hook
      "0.3.8"
      "Both `mmm-add-find-file-hooks' and `mmm-add-find-file-hook' are deprecated.")
  (define-obsolete-function-alias 'mmm-add-find-file-hooks 'mmm-add-find-file-hook))

本家 git で https://github.com/dgutov/mmm-mode/issues/137 のとおり報告されていて，https://github.com/dgutov/mmm-mode/commit/244f8c4794f20a6be5ebe1e405400a9c35ea6d2f のとおり修正されているが，そもそもこの XEmacs サポートは Debian package 化する際に patch されており，該当 patch は https://sources.debian.org/src/mmm-mode/0.5.9-1/debian/patches/01-xemacs/ のとおり．

結局の所，XEmacs は手元で使っていないので，git にある https://raw.githubusercontent.com/dgutov/mmm-mode/master/mmm-auto.el で置き換えてしまえば問題ない(上記ブロックと mmm-add-find-file-hook 自体が削除される)．

追記(2023/9/19)

mmm-mode: post-install script failsのとおりバグ報告がされており mmm-mode 0.5.9-2 で本件修正された様子．Conflicts: xemacs21 となって，XEmacs サポートは削除された．XEmacs なんか誰も使っていないので順当．．．

Related articles

• 2022/08/20 13:22 / Emacs 28.1 Error: Wrong number of arguments: (3 . 4), 2

財布を落としてしまい，身分を証明するものが何もなくなってしまったので，ひとまず免許証から復活させた，という話．とほほ．

https://www.police.pref.hokkaido.lg.jp/guide/menkyo/menkyo3.html に従って手続き．札幌運転免許試験場で即日発行可能(ただし平日のみ; 受付は 8:45–11:30，13:00–15:00; 受付から交付まで約3時間半とのこと)．以下実際の流れ．

• 8番窓口で事情を説明して申請用紙をもらう．その際書き方についての説明を受ける．写真(3.0cm × 2.4cm)をこの際提出．証明写真印刷まま切り取っていなかったので窓口で切り取ってもらった．なお午前中に片付けたかったので 8:45 に窓口に行ったが，その段階で数名が並んでいる状態．再発行はこの窓口のみなので結構混む．

• 印紙購入(2,250円)，申請書記入，再度8番窓口へ(結構並んでる)．記入に不備がないか確認される．警察に遺失届を提出したか，なども聞かれたような気がする(先回りして申請用紙に受理番号を書いておいた)．

• 別の部屋で待つように言われて，その後面接．面接担当の方は免許の情報(すべて)を持っているのでそれに基づき質問される．

  • 本人であることを証明可能なものを提示(パスポートと社員証を持って行った)
  • マスクを外して顔を確認
  • 前回の免許更新はいつか
  • それで『何年伸びたか』(『何年伸びたか』と言われても，なんのことかよくわからなかったが，更新後の有効期限を聞かれていたらしい; 5年)
  • このような再交付は何回目か
  • 最初に免許取得したのはどこか．どこの都道府県か．
  • その後注意事項の説明がある: 紛失した免許証が見つかった場合は，その免許証を返納すること，などだったように思う．

• 8番窓口前で待つように言われて，待っていたら名前を呼ばれて，引換券のようなものを渡される．その後写真撮影．

• ここまでで 10:00 ぐらいになっていて，あとは 12:00頃に窓口で受け取る(引換券に出来上がり時間と受け取り窓口情報が書いてある)．

Related articles

• 2023/01/30 16:15 / 運転免許証更新メモ

共用サーバーSD (SD-11プラン; 年払い12,936円(税込))はいろいろ不便で，別プロジェクトでRSプラン(初回は若干割引あるけどコストは同じ)を利用したこともあったので，RSプランに移行．移行に関する説明はここにある．いろいろ便利になった．

• SSHで公開鍵暗号方式が利用できるようになった (SDプランはパスワード認証)．

  コントロールパネル→ サーバー→ SSHで公開鍵をアップロード

  ポート番号は 8022．

• 各種設定は自力で移行．SDプランで行っていたDNSサーバの設定等は自動で移行できるものかと思っていたのだけど，個別に設定が必要．

  DNSサーバを

  • dns01.gmoserver.jp，dns02.gmoserver.jp から
  • ns-rs1.gmoserver.jp，ns-rs2.gmoserver.jp

  に変更 (お名前.com管理のものと他業者管理のものをちまちま設定していく．．．)．

  NS情報はこちらを参照．

• メールについても同様，個別に設定が必要．当然サーバのメールも移行できない(取り出して別のIMAPサーバに移動した)．

  1つを除いて転送メールアドレスのみだったので，かつ数も少なかったのでコントロールパネルのメールでちまちま設定．

  メールアカウントのバルク登録はできるが，転送設定のバルク設定はできない．

• アルファSSL (SNI)は無料．

  • SDプランは Let’s Encrypt だったはず．
  • RSプランはお名前.com (GMO)関連の GlobalSign 利用の様子．

  DNSの設定が落ち着くまで若干時間がかかって，そのため SSL の有効化も時間がかかる(トータル2時間ぐらい？)．

• サブドメイン追加でたとえば public_html/myn.meganecco.org/ のような directory がサーバに追加され，そこが Document Root になる．

  http は https に自動で転送されて，あと，myn.meganecco.org も www.myn.meganecco.org も上の Document Root を参照する．

  うちについては www を付けない URL に正規化する設定を，以前の同様の設定を思い出しつつ行った．

Related articles

• 2023/02/25 13:10 / http と https，www. を付ける付けないの正規化(Canonicalization)
• 2019/04/14 15:28 / Let's Encrypt の Root Certificate の Debian への追加
• 2018/11/18 17:15 / curl on お名前.com 共用サーバーSD CGI (curl: (48) An unknown option was passed in to libcurl)
• 2018/09/29 23:40 / お名前.com 共用サーバ FTP パスワード変更
• 2018/02/19 10:35 / お名前.com 共用サーバーSD SSL設定 (Let's Encrypt)
• 2017/03/26 00:54 / curl on お名前.com 共用サーバーSD CGI
• 2016/03/03 00:06 / お名前.com 共用サーバーSD で SSH 接続

手元に https://www.amazon.co.jp/dp/B00VDSFXDC/ の RTL-SDR があるので，ひとまず FM を聞いてみる．何故かリモート計算機に RTL-SDR を接続してあるので，リモートでごにょごにょするメモ．

リモートサーバ(hoge; 実際には手元)で起動している pulseaudio にデータを送って，それで聞く．

% export PULSE_SERVER=hoge
% sudo rtl_fm -f 80.4M -Mwbfm | ffplay - -f s16le -nodisp -ar 32000

環境変数 PULSE_SERVER については こちら 参照．なお，この場合 hoge 側で TCP/IP で受けられる設定が必要．

• /etc/pulse/default.pa を ~/.config/pulse/default.pa に copy して，
• load-module module-native-protocol-tcp auth-ip-acl=127.0.0.1;192.168.0.0/24 auth-anonymous=1 とかを書く(192.168.0.0/24はローカルネットワーク)
• systemctl --user status pulseaudio.service で pulseaudio 再起動

あるいは，nc で送って，ただし AAC で圧縮する．

@hoge
% nc -l -p 2000 | ffplay - -f aac
@RTL-SDR
% sudo rtl_fm -f 80.4M -Mwbfm | ffmpeg -f s16le -ar 32000 -i - -f adts -y /dev/stdout | nc hoge 2000

先に hoge 側で nc を起動しておく必要があるし，接続が途絶えると nc の process が終了する．

なお，-Mwbfm は -M fm -s 170k -o 4 -A fast -r 32k -l 0 -E deemp と同じで，ffmpeg や ffplay の -ar 32000 はこれ由来のオーディオサンプリングレート．

Amazon からの注文確定のメールを MHonArc が Nested start tags で拒否る．以下．

Warning: Rejecting Invalid HTML: Nested start tags
         Message-Id: <xxxxxxxxxxxxxxxx-xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx-xxxxxx@us-west-x.amazonses.com>

この Warning を吐くコードは以下で，

[/usr/share/mhonarc/mhtxthtml.pl]
    # Bug-32013 (CVE-2010-4524): Invalid tags cause immediate rejection.
    # Bug-32014 (CVE-2010-1677): Prevents DoS if massively nested.
    my $allowcom = $args =~ /\ballowcomments\b/i;
    strip_comments($fields, $data)  unless $allowcom;
    if ($$data =~ /<[^>]*</) {
      # XXX: This will reject HTML that includes a '<' char in a
      #      comment declaration if allowcomments is enabled.
      return bad_html_reject($fields, "Nested start tags");
    }

/<[^>]*</ の正規表現で引っかかっている箇所は以下．確かに Amazon が悪い．．．

    <!-- This is called in a loop from the MAIN template
## #foreach($orderId in $orderIds)--> 
    <!--Images--> 
    <!--ROW 4--> 
    <tr <td="" style="font-family: Arial, sans-serif !important">   
    </tr> 
    <!--Checks if the buyerName and groupName is null or empty--> 
    <tr style="font-family: Arial, sans-serif !important"> 
     <td width="600" valign="top" style="font-family: Arial, sans-serif !important;border-collapse: collapse"> 
      <!--Order Details Table--> 
      <table style="border-collapse:collapse; mso-table-lspace:0pt; mso-table-rspace:0pt;font-family: Arial, sans-serif !important"> 

CVE割当があって，

• CVE-2010-4524
• CVE-2010-1677

ちょっと嫌だけど，MHonArc に掛けるメールはフィルタ済み(特定の送信元; 発注情報共有目的)なので，bad_html_reject の行をコメントアウトすることにした．

Related articles

• 2020/10/02 17:29 / GNU Mailman で送付されてきたメールに対する MHonArc+Namazu システム構築
• 2019/12/11 21:32 / MHonArc+Namazu での Namazu の UTF-8 対応

古いデスク(横長; たぶん安物)の真ん中が少々下がってきてディスプレイが斜めになるので，検討．

• 80D x 110W x 74.2H cm, 22.57 kg (サイド/モニター台あり，据え置き)

• 60D x 100W x 70H cm, 12.8 kg (サンワダイレクト，シンプル，耐荷重50kg)

• 60D x 100W x 70H cm, 12.8 kg (サンワダイレクト，キャスター付き，耐荷重30kg)

ちなみに別拠点ではサンワダイレクトの古い 100-DESK080M を利用していて，70D x 160W x 70H cm とかなり広いのだけど重量も相当で(24 kg)，かつモニターアームを取り付けるにはフレームがゴツすぎたはず．100Wの同型だと 17 kgなので，それに比べると70Dと60Dの違いを考慮しても最近のものは少し軽くなっている様子．

Related articles

• 2013/05/31 01:38 / オフィスチェア

Apache mod_rewrite を使って http は https に，example.org は www.example.org に転送する設定．以下．

<IfModule mod_rewrite.c>
RewriteEngine On
RewriteBase /
RewriteCond %{HTTP_HOST} !^www\. [NC]
RewriteRule ^/?(.*) https://www.%{HTTP_HOST}/$1 [R=301,L,NE]
RewriteCond %{HTTPS} !=on
RewriteRule ^/?(.*) https://%{SERVER_NAME}/$1 [R=301,L,NE]
</IfModule>

• 最初の RewriteCond は FQDN が www. で始まっていない場合に引き続く RewriteRule を適用するように書いている．

  NC は大文字小文字の区別をしない flag．これが無いと，WWW.example.org から www.WWW.example.org に転送される．

• 2つ目の RewriteCond は HTTPS か否かの判定．Apache の Confluence RewriteHTTPToHTTPS の記述に倣ったが，RewriteCond %{HTTPS} off と書いても同じ．

• RewriteRule は2つともほぼ同じ書き方にしてあって，ドメイン名に非依存な書き方にしてある．

  R は転送，301 はそのコード(Moved Permanently)

  L はこのルールで一旦終了という意味(ここまでの条件にマッチしていたらここで終了する)．

  NE は URL を書き換える際にエスケープしないというフラグ．これが無いと & や ?，# がエスケープされて本来のURLと異なる URL に転送される，かもしれない(そもそも # は一般的にはリクエストに含まれないだろうし，& や ? がエスケープされていたとしても解釈可能なはずなので，特にこのオプション不要かもしれないが，未検証)．

• まとめると，以下は1つ目のルールで https://www.example.org/ に転送していて，

  • http://example.org/
  • https://example.org/

  http://www.example.org/ は 2つ目のルールで https://www.example.org/ に転送される．

Related articles

• 2023/05/24 23:09 / お名前.com 共用サーバーSD (SDプラン)からRSプランに移行
• 2019/04/14 15:28 / Let's Encrypt の Root Certificate の Debian への追加
• 2018/11/18 17:15 / curl on お名前.com 共用サーバーSD CGI (curl: (48) An unknown option was passed in to libcurl)
• 2018/09/29 23:40 / お名前.com 共用サーバ FTP パスワード変更
• 2018/02/19 10:35 / お名前.com 共用サーバーSD SSL設定 (Let's Encrypt)
• 2017/03/26 00:54 / curl on お名前.com 共用サーバーSD CGI
• 2016/03/03 00:06 / お名前.com 共用サーバーSD で SSH 接続

ImageMagickでPDFをPNG等画像に変換する際のメモ．単純には以下で良いのだけど，

% convert input.pdf output.png

この場合 output-0.png, output-1.png, …, output-10.png, output-11.png, … というファイルが生成される．

% convert -scene 1 input.pdf output-%03d.png

とすると output-001.png, output-002.png, … というファイルが生成される．なお，%03d-export.png などとすることも可能．

% convert "input.pdf[11-12]" output-%03d.png

とすると output-011.png, output-012.png が生成される(指定するページ番号は 0 始まり)．加えて，

% convert -scene 1 "input.pdf[11-12]" output-%03d.png

とすると，一つ前の例と同じページが output-001.png, output-002.png として生成される．

あと，(レンダリングの)解像度を指定するには -density 100 のように指定する(100 dpi, default は 72 dpi)．

なぜ PDF を PNG にしたいかというと，超大なPDFの更新版を頂いた際などに，差分を取ったりするのに使えるから．その際ページ番号の桁が揃っていないと，差分ファイルを見る際に(ファイル名ソートで)面倒なことになる．例えば以下．

% convert -scene 1 input1.pdf %03d-input1.png
% convert -scene 1 input2.pdf %03d-input2.png
% for i in ???-input1.png ; do echo $(compare -metric PSNR $i ${i%-input1.png}-input2.png ${i%-input1.png}-diff.png) ; done

compare はなぜか改行を返してくれないので echo している．

Related articles

• 2020/09/09 21:09 / ImageMagick で空の PDF 作成に失敗する

5年に一度(ゴールド免許)でよくわからなくなるのでメモ．

• 大きめの警察署内にある優良運転者免許更新センターでも可能(ただし土日祝はお休み)
• なんとなく毎回運転免許試験場に行っている(日曜日もやっている; 土祝はお休み)
  • 札幌運転免許試験場の駐車場は広い(無料)
• 住所変更手続きを怠っていて，更新連絡書(はがき)が届いてなくても(持参しなくても)更新可能
• 住所変更手続きは更新と共に行える(マイナンバーカードとか持参)

今回必要だった持ち物

• 免許証
• 住所確認ができるもの(マイナンバーカード)
• 現金(更新手数料＋講習手数料; たぶん3,000円)
• 眼鏡(両眼で0.7以上，かつ片眼でそれぞれ0.3以上; ぎりぎり．．．)
• (筆記具は会場に用意されていて借りること可能)

得られたもの

• (新)免許証(4桁暗証番号 x2; 控えの紙をくれる)

• 穴開き(旧)免許証

• 安全運転に関する冊子(全国版＋北海道編)

  以下の話があったような気がする．

  • ながらスマホ関連(道路交通法71条5の5)
  • あおり運転関連(道路交通法117条2，2の2)

  他に電動キックボードと自動運転の話があったような気がするが失念した．

なお，優良運転者オンライン更新時講習のモデル事業なるものをやっているらしく(2023 3Eまで)，受付けでオンライン講習を受けましたか？ とか聞かれたけど，その時までその事業の存在自体を知らなかった．

ちなみに，免許証の有効期限の表示が平成だったので，免許証を見るたびに有効期限が切れていないか不安な気持ちになっていた．新しい免許証は西暦が併記されている．

Related articles

• 2023/06/22 16:04 / 運転免許証再交付＠札幌運転免許試験場

XWayland の試用を続けているが，Barrierが動いてくれない．なお，Barrier は Synergy 1.9 からの fork で (Synergy は現在有料)，キーボードとマウスを複数の PC で共有する Server と Client．

https://github.com/debauchee/barrier/issues/109 で Wayland support の議論が行われていたらしいが，https://github.com/input-leap/input-leap/issues/1414 にあるとおり主要な開発者(p12tic と shymega)が Barrier の fork である input-leap に移動したらしくて，とはいえ

As of mid-2022, there is no expected completion date for Wayland support.

とのこと．なお本家の Synergy については https://github.com/symless/synergy-core/issues/4090 のとおり 2014年頃から Support するする言っておきながら未だサポートしていない様子．

現状では waynergy が Wayland サポートの Barrier client として動作するので，

• Server: barrier (X11)
• Client: waynergy (Wayland)

という構成は可能．Wayland 環境で Barrier server を動かせないのがちょっと厳しいけど．あとは rkvm を利用するアプローチもあるけど，Rust で書かれていて openssl 周辺の問題で Debian GNU/Linux unstable (sid) 環境ではコンパイルできない(sid の openssl は 3.0.7-1)．

waynergy を sid 環境でコンパイルするには以下ぐらい．

% PKG_CONFIG_PATH=/usr/lib/x86_64-linux-gnu/pkgconfig meson setup -Dprefix=`pwd`/local build
The Meson build system
Version: 1.0.0
Source dir: /home/myn/work/waynergy
Build dir: /home/myn/work/waynergy/build
Build type: native build
Project name: waynergy
Project version: 0.0.15
C compiler for the host machine: ccache cc (gcc 12.2.0 "cc (Debian 12.2.0-13) 12.2.0")
C linker for the host machine: cc ld.bfd 2.39.90.20230104
Host machine cpu family: x86_64
Host machine cpu: x86_64
Found pkg-config: /usr/bin/pkg-config (1.8.0)
Run-time dependency wayland-client found: YES 1.21.0
Run-time dependency xkbcommon found: YES 1.4.1
Run-time dependency libtls found: YES 3.7.0
Program wayland-scanner found: YES (/usr/bin/wayland-scanner)
Build targets in project: 5

waynergy 0.0.15

  User defined options
    prefix: /home/myn/work/waynergy/local

Found ninja-1.11.1 at /usr/bin/ninja
% cd build
% ninja install

これで /home/myn/work/waynergy/local/bin/ に waynergy とかが install される．なお，wayland-client.pc 等 pkgconfig のファイルが /usr/lib/x86_64-linux-gnu/pkgconfig/ にあるので，PKG_CONFIG_PATH=/usr/lib/x86_64-linux-gnu/pkgconfig で場所を指定している．

あとは

./waynergy -c 192.168.1.xxx -e -t

とかでサーバに接続する．./waynergy が /dev/uinput にアクセスする権限を要求するので，調整が必要．ちょっと危険だけど手元ではchmod 666 /dev/uinputした．

追記(2023/1/9)

rkvm は以下で compile 出来なかったのだけど，

  cargo:warning=build/expando.c:4:24: error: pasting "RUST_VERSION_OPENSSL_" and "(" does not give a valid preprocessing token
  cargo:warning=    4 | #define VERSION2(n, v) RUST_VERSION_##n##_##v
  cargo:warning=      |                        ^~~~~~~~~~~~~
  cargo:warning=build/expando.c:5:23: note: in expansion of macro ‘VERSION2’
  cargo:warning=    5 | #define VERSION(n, v) VERSION2(n, v)
  cargo:warning=      |                       ^~~~~~~~
  cargo:warning=build/expando.c:10:1: note: in expansion of macro ‘VERSION’
  cargo:warning=   10 | VERSION(OPENSSL, OPENSSL_VERSION_NUMBER)
  cargo:warning=      | ^~~~~~~
  exit status: 1

一旦 Cargo.lock を削除して以下で，

% rm Cargo.lock
% PKG_CONFIG_PATH=/usr/lib/x86_64-linux-gnu/pkgconfig cargo build --release

• target/release/server
• target/release/client
• target/release/certificate-gen

が compile できる．あとは鍵/証明書を作成して example/ の下のサンプルを参考に server/client を起動すればよいのだけど，

[ 4400.612998] input: Logitech M280/320/275 as /devices/virtual/input/input462
[ 4400.615160] input: Topre Corporation HHKB Professional as /devices/virtual/input/input463
[ 4400.616645] input: HDA Intel PCH HDMI/DP,pcm=8 as /devices/virtual/input/input464
[ 4400.617821] input: HDA Intel PCH HDMI/DP,pcm=7 as /devices/virtual/input/input465
[ 4400.618878] input: HDA Intel PCH HDMI/DP,pcm=3 as /devices/virtual/input/input466
[ 4400.619870] input: HDA Intel PCH Headphone as /devices/virtual/input/input467
[ 4400.620981] input: HDA Intel PCH Headset Mic as /devices/virtual/input/input468
[ 4400.621923] input: USB2.0 HD UVC WebCam: USB2.0 HD as /devices/virtual/input/input469
[ 4400.622296] input: Asus WMI hotkeys as /devices/virtual/input/input470
[ 4400.622787] input: GDX1301:00 27C6:01F0 Touchpad as /devices/virtual/input/input471
[ 4400.623144] input: GDX1301:00 27C6:01F0 Mouse as /devices/virtual/input/input472
[ 4400.623504] input: ELAN9008:00 04F3:2772 Stylus as /devices/virtual/input/input473
[ 4400.623875] input: ELAN9008:00 04F3:2772 UNKNOWN as /devices/virtual/input/input474
[ 4400.624117] input: ELAN9008:00 04F3:2772 UNKNOWN as /devices/virtual/input/input475
[ 4400.624421] input: ELAN9008:00 04F3:2772 as /devices/virtual/input/input476
[ 4400.624696] input: PC Speaker as /devices/virtual/input/input477
[ 4400.625134] input: DP-2 as /devices/virtual/input/input478
[ 4400.625420] input: Video Bus as /devices/virtual/input/input479
[ 4400.625865] input: Power Button as /devices/virtual/input/input480
[ 4400.626484] input: Power Button as /devices/virtual/input/input481
[ 4400.626941] input: Sleep Button as /devices/virtual/input/input482
[ 4400.629118] input: Lid Switch as /devices/virtual/input/input483
[ 4400.629940] input: AT Translated Set 2 keyboard as /devices/virtual/input/input484
[ 4400.631582] input: rkvm as /devices/virtual/input/input485

のように /sys/devices/virtual/input/inputXXX/ に仮想デバイスが生成され，これを掴むように gdm 側を調整する必要がありそうな雰囲気で(gdm が起動する前に rkvm server/client を起動しておく)，そこで断念．

追記(2023/1/18)

waynergy だけど，動かしたまま Display の解像度を変更すると混乱する様子(前の解像度を想定したまま waynergy が動き続ける)．

Related articles

• 2022/12/30 13:29 / Inkscape と Wanland と Zoom
• 2017/12/12 12:29 / GNOME 3.26 System Tray (Status Icons) Removed

/etc/gdm3/daemon.conf で WaylandEnable=false として Wanland を Off にした X11 環境を使っているのであるが，いつのまにか Inkscape がまともに動かなくなった．具体的には Text tool モードにすると Inkscape 内の描画が固まる．Control + マウスホイールのズームが機能していることはルーラ(の拡大縮小)でわかるけど，その内側の描画は反応してくれない．

• inkscape 1.2.2-1
• xserver-xorg-core 2:21.1.5-1

という環境で，たぶんX.Org Server が 1.20 から 21.1 になったことが原因だろうと思うのだけど，よくわからず．

/etc/gdm3/daemon.conf で WaylandEnable=false をコメントアウトして(Default は WaylandEnable=true)，Wayland を利用するようにすると Inkscape は正常に動作してくれる．ただし，Wayland 利用の副作用，気がついた範囲では以下．

• 普段のキーリピート xset r rate 300 55 が効いていないような気がする
• Zoom の画面共有(share)ができない

Zoomの画面共有(share)ができない，は以下の様に怒られる．

Can not start share, we only support Wayland on GNOME with
Ubuntu 17 and above, Fedora 25 and above, Debian 9 and
above, CentOS 8 and above, OpenSUSE Leap 15 and above,
Oracle Linux 8 and above, RHEL 8 and above, Mageia 7 and
above, Rocky 8 and above, Arch Linux, AnterGos, Manjaro. If
your OS is not on the list, please use x11 instead.

環境は Debian GNU/Linux の unstable なのだけど，何が悪いのだろうか．．．Wayland 関連の(よく分かってないけど) Version は以下．

• libwayland-bin 1.21.0-1
• xwayland 2:22.1.6-1

追記(2022/12/31)

OSのバージョン云々でZoomに怒られるのは /etc/os-release を偽装すれば良いらしい．bullseye (Debian 11)の /etc/os-release (/usr/lib/os-release への symlink)を copy して使えば OK だが，最小限の修正は以下．

% lsb_release -a
No LSB modules are available.
Distributor ID: Debian
Description:    Debian GNU/Linux bookworm/sid
Release:        n/a
Codename:       bookworm
% vi /etc/os-release
VERSION_ID="13" を末尾に追加
% lsb_release -a
No LSB modules are available.
Distributor ID: Debian
Description:    Debian GNU/Linux bookworm/sid
Release:        13
Codename:       bookworm

これで，以下の Dialog を出すところまでは進める．

ただし Use system capture を選んで Share しても何も起こらなくて(Dialog が閉じられるだけ)，この場合は (参考: Wayland screen sharing broken with GNOME 41 on Fedora 35，Screen sharing with Wayland) xdg-desktop-portal-gnome を install する必要があるらしい(systemd 周りのことがあるので，再起動するか systemctl をごにょごにょする必要がある)．

あと，xset によるキーリピート変更が効かないのは gnome-terminal のみのようで，他の GUI では効いている．How to set keyboard repeat delay and speed in Ubuntu Gnome 16.10?によると，Gnome のキーリピートは gsettings で行えば良いらしく，現状を確認すると以下．

% gsettings describe org.gnome.desktop.peripherals.keyboard repeat
Set this to TRUE to enable keyboard repeat.
% gsettings describe org.gnome.desktop.peripherals.keyboard repeat-interval
Delay between repeats in milliseconds.
% gsettings describe org.gnome.desktop.peripherals.keyboard delay
Initial key repeat delay in milliseconds.
% gsettings get org.gnome.desktop.peripherals.keyboard repeat
true
% gsettings get org.gnome.desktop.peripherals.keyboard repeat-interval
uint32 30
% gsettings get org.gnome.desktop.peripherals.keyboard delay
uint32 500

すっかり数値の意味を忘れているが xset r rate 300 55 の 300 と 55 はそれぞれ delay と rate で，意味は man xset にある以下の通り．

the delay is the number of milliseconds before autorepeat starts, and the rate is the number of repeats per second

ということで，以下設定することにした．だいたい以前と同じような key の感覚になった．

% gsettings set org.gnome.desktop.peripherals.keyboard delay 300
% gsettings set org.gnome.desktop.peripherals.keyboard repeat-interval 18

追記(2023/1/2)

https://lists.debian.org/debian-devel-announce/2022/10/msg00004.htmlによると

Debian 14
=========

The release team has decided that the release after bookworm and
trixie will be called forky.

だとかで，既に Debian 14 までの code name が決まっているようなので，VERSION_ID="14" としておいても良いかもしれない．

• Debian 12: Bookworm
• Debian 13: Trixie
• Debian 14: Forky

追記(2023/1/3)

XWayland の試用を続けているが，Remmina で Windows キーが接続先に届いてくれず，手元の Gnome が反応してしまう．Grab all keyboard events のボタンを On にしても．

以下を設定すれば効くとか，そのように書いている記事もあるが，効いてくれず．

• org.gnome.mutter.wayland xwayland-allow-grabs
• org.gnome.mutter.wayland xwayland-grab-access-rules

https://gitlab.gnome.org/GNOME/mutter/-/blob/main/data/org.gnome.mutter.wayland.gschema.xml.in や /usr/share/glib-2.0/schemas/org.gnome.mutter.wayland.gschema.xml にある説明は以下の通り．

    <key name="xwayland-allow-grabs" type="b">
      <default>false</default>
      <summary>Allow X11 grabs to lock keyboard focus with Xwayland</summary>
      <description>
        Allow all keyboard events to be routed to X11 “override redirect”
        windows with a grab when running in Xwayland.

        This option is to support X11 clients which map an “override redirect”
        window (which do not receive keyboard focus) and issue a keyboard
        grab to force all keyboard events to that window.

        This option is seldom used and has no effect on regular X11 windows
        which can receive keyboard focus under normal circumstances.

        For a X11 grab to be taken into account under Wayland, the client must
        also either send a specific X11 ClientMessage to the root window or be
        among the applications allowed in key “xwayland-grab-access-rules”.
      </description>
    </key>

    <key name="xwayland-grab-access-rules" type="as">
      <default>[]</default>
      <summary>Xwayland applications allowed to issue keyboard grabs</summary>
      <description>
        List the resource names or resource class of X11 windows either
        allowed or not allowed to issue X11 keyboard grabs under Xwayland.

        The resource name or resource class of a given X11 window can be
        obtained using the command “xprop WM_CLASS”.

        Wildcards “*” and jokers “?” in the values are supported.

        Values starting with “!” are denied, which has precedence over
        the list of values allowed, to revoke applications from the default
        system list.

        The default system list includes the following applications:

        “gnome-boxes,remote-viewer,virt-viewer,virt-manager,vinagre,vncviewer,Xephyr”

        Users can break an existing grab by using the specific keyboard
        shortcut defined by the keybinding key “restore-shortcuts”.
      </description>
    </key>

そもそも，xwayland-grab-access-rules には WM_CLASS をリスト形式で書くはずで，Remmina 自体が Wayland client として動作しているので xprop で調べることもできず，xprop の変わりの looking glassを使ってもよくわからず(実際にはLooking Glass Buttonを利用)．．．

xfreerdp だと all keyboard events を grab してくれるようなので，こちらでしばらく代用．xfreerdp は X client．

% xfreerdp /v:rdpserver.example.org /dynamic-resolution /u:username

なお，Remmina は TopIcons Plus で Tray Icon を出していたのだが，これもなぜか出なくなった(Skype やら Barrier の Icon は正しく表示されている)．

追記(2023/1/4)

XWaylandの試用を続けているが，一部のWindowで上部のタイトルバーダブルクリックによるWindow最大化が効かない．

• Evince: 効かない
• Google Chrome: 素早くダブルクリックすると最大化される

追記(2023/1/12)

Wayland 環境でなければ Inkscape がまともに動かない(Text まわりで固まる)ということで Wayland を試用していたが，別計算機であれば X (の他はほぼ同じ環境; Debian GNU/Linux)でも問題なかった．GPU が異なるのでそのドライバの問題かもしれない．Intel の Comet Lake UHD Graphics 環境(i7-10710U)では X + Inkscape で不具合起こす．

Related articles

• 2023/01/09 18:37 / Barrier on Wanland
• 2017/12/12 12:29 / GNOME 3.26 System Tray (Status Icons) Removed

いつの頃からかユーザ権限で Emacs が勝手に起動するようになっていた．/usr/lib/systemd/user/emacs.service が原因で，以下で停止可能．

% systemctl --user stop emacs.service

なお，/usr/bin/emacs --fg-daemon が起動されて，emacsclient でこの daemon process 内で Emacs を利用することが想定されているらしいが，X 上で起動しているわけではないので，Terminal 内での Emacs 利用に限定されてしまう．

ユーザレベルで勝手に起動しないようにするには以下．これで ~/.config/systemd/user/emacs.service -> /dev/null という symlink ができる．

% systemctl --user mask emacs.service

システムレベルで Emacs を勝手に起動しないようにするには以下．これで /etc/systemd/user/emacs.service -> /dev/null という symlink ができる．

% sudo systemctl --global mask emacs.service
% systemctl --user daemon-reload

Don’t enable Debian systemd unit by default や以下の通り default では enable されないことになっているのだけど．．．

[/usr/share/doc/emacs-common/changelog.Debian.gz]
emacs (1:28.1+1-4) unstable; urgency=medium
(snip)
  [ Nicholas D Steeves ]
  * Don't enable Debian systemd unit by default.

他の設定は特に問題ないのに，SSHでX11 Forwardingが効かない症状発生，かなり悩んだ．原因はX11Forwarding does not work when net.ipv6.conf.all.disable_ipv6 = 1の様子(2010年のバグ報告だけど．．．)．

IPv6をdisableするためにsysctl で net.ipv6.conf.all.disable_ipv6 = 1としている環境ではX11 Forwardingが動作しない様子．解決方法は以下のいづれか．

• net.ipv6.conf.all.disable_ipv6 = 0 (←これが default)するか，
• -4 option付きでsshdを起動する(/etc/default/sshにそのように書いておく)か，

手元環境はIPv4 Onlyだが，SSH serverとはいえNote PCで，出先でテザリング等するので，この際IPv6をenable (前者で対応)することにした．

なお，Client/Serverとも他の設定は問題なくて，最新のDebian GNU/Linux unstableの ssh serverを起動して，そこに繋ごうとしたら症状が出た．いつのなにのupgradeが原因か不明．

X11 Forwardingが効かない，のログは以下．

Client:

debug1: Requesting X11 forwarding with authentication spoofing.
debug1: Requesting authentication agent forwarding.
debug1: Sending environment.
debug1: channel 0: setting env LANG = "en_US.UTF-8"
X11 forwarding request failed on channel 0

Server:

2022-12-03T19:54:38.724819+09:00 xxxxxx sshd[21834]: Accepted publickey for myn from 10.8.0.13 port 46426 ssh2: RSA SHA256:(snip)
2022-12-03T19:54:38.727374+09:00 xxxxxx sshd[21834]: pam_unix(sshd:session): session opened for user myn(uid=XXXX) by (uid=0)
2022-12-03T19:54:38.827380+09:00 xxxxxx sshd[21834]: pam_env(sshd:session): deprecated reading of user environment enabled
2022-12-03T19:54:38.957033+09:00 xxxxxx sshd[21846]: error: Failed to allocate internet-domain X11 display socket.

最初は deprecated reading of user environment enabled を疑って，sshd: pam_env(sshd:session): deprecated reading of user environment enabled のバグレポートを発見したが，これについては現状では皆スルーしている様子．で，他の bug reportを漁って，X11Forwarding does not work when net.ipv6.conf.all.disable_ipv6 = 1 を発見，sudo sysctl net.ipv6.conf.all.disable_ipv6=0 としたらひとまず X11 Forwarding が有効になった．にしても openssh-server のバグレポート，大量にあるな．．．

Debian GNU/Linux 11 (bullseye)

 % pandoc -v
pandoc 2.9.2.1
Compiled with pandoc-types 1.20, texmath 0.12.0.2, skylighting 0.8.5
Default user data directory: /home/myn/.local/share/pandoc or /home/myn/.pandoc
Copyright (C) 2006-2020 John MacFarlane
Web:  https://pandoc.org
This is free software; see the source for copying conditions.
There is no warranty, not even for merchantability or fitness
for a particular purpose.
 % pandoc
test
ててててててててててててててててててててててててててててててててててててててててててててて
<p>test ててててててててててててててててててててててててててててててててててててててててててててて</p>

Debian GNU/Linux unstable (sid)

 % pandoc -v
pandoc 2.17.1.1
Compiled with pandoc-types 1.22.2.1, texmath 0.12.4, skylighting 0.12.3.1,
citeproc 0.6.0.1, ipynb 0.2
User data directory: /home/myn/.local/share/pandoc
Copyright (C) 2006-2022 John MacFarlane. Web:  https://pandoc.org
This is free software; see the source for copying conditions. There is no
warranty, not even for merchantability or fitness for a particular purpose.
 % pandoc
test
ててててててててててててててててててててててててててててててててててててててててててててて
<p>test
ててててててててててててててててててててててててててててててててててててててててててててて</p>

という感じで sid (unstable) の pandoc は，長すぎる行はできるだけ短くなるように，改行を入れても問題ない箇所に改行を入れる．Debian GNU/Linux 11 (bullseye) を同じ挙動をさせるためには --wrap option を使う．

% pandoc --wrap=none
test
ててててててててててててててててててててててててててててててててててててててててててててて
<p>test ててててててててててててててててててててててててててててててててててててててててててててて</p>

Related articles

• 2021/07/23 20:04 / 日本語 Markdown の改行が Pandoc でスペースに変換される問題(`east_asian_line_breaks` 拡張)
• 2021/04/29 13:58 / Markdown のスペース数問題
• 2018/05/02 10:11 / pandoc 1.19.2.4~dfsg-1+b3 -> 2.2-1

Makefile を書く際にいつも過去のやつを探すのが面倒なのでメモ．

• LibreOffice:

  % libreoffice --headless --convert-to pdf input.odt --outdir .

• Inkscape (Version 2 以降; 以前は --export-pdf とかだった):

  Page を PDF に:

  % inkscape input.svg -o output.pdf

  Drawing Area のみを PDF に:

  % inkscape input.svg --export-area-drawing -o output.pdf

  See https://wiki.inkscape.org/wiki/Using_the_Command_Line.

Makefile に書くなら以下かな．．．

%.pdf: %.odt
    libreoffice --headless --convert-to pdf $< --outdir .
%.pdf: %.docx
    libreoffice --headless --convert-to pdf $< --outdir .
%.pdf: %.svg
    inkscape $< -o $@

Related articles

• 2022/07/11 13:15 / MS Office の暗号化ファイルをコマンドラインで復号する
• 2020/09/27 18:10 / xls(x) to csv using libreoffice

Mattermost 7.2 に upgrade すると DM が表示できない(通常の channel や group message は表示できる)．環境は以下．

• self-hosted
• Debian GNU/Linux bullseye (11.4) amd64
• mariadb 1:10.5.15-0+deb11u1

Web appでも Desktop appでもだめで，Mobile appの場合は User を選択して，Send Message から DM を参照できる．

いろいろ探ってみたのだが API で /api/v4/users/me/teams/<team_id>/channels/categories (Sidebar 用の情報取得) を叩いた際に Direct Messages の Category が空になっていて，どうやら DM の Channel ID が取得できていない雰囲気．Mobile app でも確かに Sidebar 情報の DM の箇所が空になる．

直接 DM の Channel ID を指定して /api/v4/channels/<channel_id>/posts は，きちんと DM のやり取りを返すので，Channel (ID)まわりが怪しい．

Mattermost self-hosted changelog Release v7.2 - Feature Release によると 7.2 に upgrade する際に

ALTER TABLE Channels MODIFY COLUMN Type ENUM("D", "O", "G", "P");

するらしい．backup をとっていたので，upgrade 前後で Channels table を比較すると，Type column の値がもとは D O G P といった 1文字だったところが，空になっている．なお，型については以下の通り変更されていた．

• before upgrade: `Type` varchar(1) DEFAULT NULL
• after upgrade: `Type` enum('D','O','G','P') DEFAULT NULL

なんだか ALTER コマンドがうまく変換してくれないらしい．Type が空なので，

• O: public (open) channel
• P: private channel
• D: DM
• G: group message

の区別ができなくなって(https://github.com/mattermost/mattermost-server/blob/master/model/channel.go#L20)，DM の Channel ID が取得できなかったものと思われる．Backup から適当に sql を作成して，Type カラムの値を復元したら直った．

全然だれもこのバグの報告を forum とかでしていなくて，known issue にもなっていなくて，実はだれも Debian で self-hosted で Mattermost を運用していないのかしらと思ったり思わなかったり(Slack が 9/1 から無料プランだと90日間しか履歴が見れなくなったので(以前は期限なしで，ただし，10,000件までだった)，Mattermost も積極的にプレゼンスを上げようとしているはずなのだけど)．

以下備忘．

file=`date +%Y%m%d%H%M`
mysqldump -u root -p<PW> --all-databases --events | xz > $file

のように backup をとっていた．以下みたいな箇所を切り出してきて(backup はこのように，一旦 Table を削除して，再度作り直す SQL になっている)，

DROP TABLE IF EXISTS `Channels`;
/*!40101 SET @saved_cs_client     = @@character_set_client */;
/*!40101 SET character_set_client = utf8 */;
CREATE TABLE `Channels` (
  `Id` varchar(26) NOT NULL,
  `CreateAt` bigint(20) DEFAULT NULL,
  `UpdateAt` bigint(20) DEFAULT NULL,
  `DeleteAt` bigint(20) DEFAULT NULL,
  `TeamId` varchar(26) DEFAULT NULL,
**snip**
) ENGINE=Mroonga DEFAULT CHARSET=utf8mb4;
/*!40101 SET character_set_client = @saved_cs_client */;

--
-- Dumping data for table `Channels`
--

LOCK TABLES `Channels` WRITE;
/*!40000 ALTER TABLE `Channels` DISABLE KEYS */;
INSERT INTO `Channels` VALUES (**snip**);
/*!40000 ALTER TABLE `Channels` ENABLE KEYS */;
UNLOCK TABLES;

CREATE TABLE の箇所は upgrade 後のものを，INSERT INTO `Channels` VALUES の箇所は upgrade 前のものを利用するようにして，それを適当に from_backup.sql とかのファイル名で保存して，あとは以下のように実行するのみ．もちろん Mattermost は停止しておく．

% mysql -u <mattermost_db username> -p<mattermost_db_password>
Welcome to the MariaDB monitor.  Commands end with ; or \g.
Your MariaDB connection id is 2965
Server version: 10.5.15-MariaDB-0+deb11u1 Debian 11

Copyright (c) 2000, 2018, Oracle, MariaDB Corporation Ab and others.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

MariaDB [(none)]> use mattermost;
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A

Database changed
MariaDB [mattermost]> source from_backup.sql

なお，API 叩く(テストする)のに以下のような script を作っておくと便利(.token というファイルを用意しておいて Personal Access Tokens を入れておく)．

#!/bin/sh
curl -H "Authorization: Bearer $(cat .token)" https://mattermost.example.org/$1 | jq

./a.sh だとして % ./a.sh /api/v4/users/me のように使う．GET しかできないけど，問題を追うにはこれで充分だった．

/api/v4 も書かせる仕様にしてあるのは，config.json で LogSettings の FileLevel を DEBUG にした際の mattermost.log に出力される API endpoint の表記が /api/v4 を含んでいたため．% tail -f mattermost.log | grep GET | sed 's,.*"url":"\([^"]*\)".*,\1,' とかで，どの API が叩かれているかを追っていた．

Related articles

• 2025/02/09 00:58 / Mattermost Migration from MariaDB to PostgreSQL
• 2020/02/29 18:50 / Mattermost で日本語検索 (Mariadb+Mroonga)

Ruby の FileUtils.mv がなんか遅い，というか /usr/bin/mv が異様に早い，という話．

ファイルサーバの /home/<username>/ (/home 自体が btrfs subvolume)を NFS+autofs でクライアントがマウントしていて，/home/myn/ から /home/default/ へのファイル移動することを考える(/home/myn/ と /home/default/ をそれぞれ NFS mount している状態)．

FileUtils.mv の場合 rename を試みて Errno::EXDEV あるいは Errno::EPERM だったら copy を行う(ファイルサイズが大きいと時間がかかる)．

https://github.com/ruby/fileutils/blob/master/lib/fileutils.rb

  def mv(src, dest, force: nil, noop: nil, verbose: nil, secure: nil)
    fu_output_message "mv#{force ? ' -f' : ''} #{[src,dest].flatten.join ' '}" if verbose
    return if noop
    fu_each_src_dest(src, dest) do |s, d|
      destent = Entry_.new(d, nil, true)
      begin
        if destent.exist?
          if destent.directory?
            raise Errno::EEXIST, d
          end
        end
        begin
          File.rename s, d
        rescue Errno::EXDEV,
               Errno::EPERM # move from unencrypted to encrypted dir (ext4)
          copy_entry s, d, true

/usr/bin/mv の場合は rename しようとして失敗すると clone operation (下の箇所)を試みる．成功すればそれで移動(一瞬で終わる)．

https://github.com/coreutils/coreutils/blob/master/src/copy.c

/* Perform the O(1) btrfs clone operation, if possible.
   Upon success, return 0.  Otherwise, return -1 and set errno.  */
static inline int
clone_file (int dest_fd, int src_fd)
{
#ifdef FICLONE
  return ioctl (dest_fd, FICLONE, src_fd);
#else
  (void) dest_fd;
  (void) src_fd;
  errno = ENOTSUP;
  return -1;
#endif
}

strace で追った感じ，以下 EXDEV の行以降抜粋．

FileUtils.mv の場合

copy_file_range で copy．

rename("test", "/home/default/test")    = -1 EXDEV (Invalid cross-device link)
newfstatat(AT_FDCWD, "test", {st_mode=S_IFREG|0644, st_size=192658, ...}, AT_SYMLINK_NOFOLLOW) = 0
openat(AT_FDCWD, "test", O_RDONLY|O_CLOEXEC) = 5
ioctl(5, TCGETS, 0x7ffc0c5c7490)        = -1 ENOTTY (Inappropriate ioctl for device)
newfstatat(5, "", {st_mode=S_IFREG|0644, st_size=192658, ...}, AT_EMPTY_PATH) = 0
openat(AT_FDCWD, "/home/default/test", O_WRONLY|O_CREAT|O_TRUNC|O_CLOEXEC, 0100644) = 6
ioctl(6, TCGETS, 0x7ffc0c5c7000)        = -1 ENOTTY (Inappropriate ioctl for device)
newfstatat(5, "", {st_mode=S_IFREG|0644, st_size=192658, ...}, AT_EMPTY_PATH) = 0
newfstatat(6, "", {st_mode=S_IFREG|0644, st_size=0, ...}, AT_EMPTY_PATH) = 0
lseek(5, 0, SEEK_CUR)                   = 0
copy_file_range(5, NULL, 6, NULL, 192658, 0) = 192658
close(6)                                = 0
close(5)                                = 0

/usr/bin/mv の場合

ioctl で clone を試みる．

renameat2(AT_FDCWD, "test", AT_FDCWD, "/home/default/test", RENAME_NOREPLACE) = -1 EXDEV (Invalid cross-device link)
stat("/home/default/test", 0x7ffebbebd0a0) = -1 ENOENT (No such file or directory)
newfstatat(AT_FDCWD, "test", {st_mode=S_IFREG|0644, st_size=192658, ...}, AT_SYMLINK_NOFOLLOW) = 0
newfstatat(AT_FDCWD, "/home/default/test", 0x7ffebbebcd60, AT_SYMLINK_NOFOLLOW) = -1 ENOENT (No such file or directory)
unlink("/home/default/test")            = -1 ENOENT (No such file or directory)
openat(AT_FDCWD, "test", O_RDONLY|O_NOFOLLOW) = 3
fstat(3, {st_mode=S_IFREG|0644, st_size=192658, ...}) = 0
openat(AT_FDCWD, "/home/default/test", O_WRONLY|O_CREAT|O_EXCL, 0600) = 4
fstat(4, {st_mode=S_IFREG|0600, st_size=0, ...}) = 0
ioctl(4, BTRFS_IOC_CLONE or FICLONE, 3) = 0
utimensat(4, NULL, [{tv_sec=1662011348, tv_nsec=268642097} /* 2022-09-01T14:49:08.268642097+0900 */, {tv_sec=1662011426, tv_nsec=47929040} /* 2022-09-01T14:50:26.047929040+0900 */], 0) = 0

NFS からでももとファイルシステムの機能が使えるんだなぁと．

Debian GNU/Linux unstable (sid) で Emacs が .el の compile に(以下のように)失敗して upgrade 失敗する．

In toplevel form:
ess-r-package.el:560:1: Error: Wrong number of arguments: (3 . 4), 2
Eager macro-expansion failure: (wrong-number-of-arguments (3 . 4) 2)
Eager macro-expansion failure: (wrong-number-of-arguments (3 . 4) 2)

Emacs が 1:27.1+1-3.1 から 1:28.1+1-1 になった際に define-obsolete-function-alias に仕様変更があったのが原因．

emacs-28.1/etc/NEWS:

** The WHEN argument of 'make-obsolete' and related functions is mandatory.
The use of those functions without a WHEN argument was marked obsolete
back in Emacs 23.1.  The affected functions are: 'make-obsolete',
'define-obsolete-function-alias', 'make-obsolete-variable',
'define-obsolete-variable-alias'.

/usr/share/emacs/27.1/lisp/emacs-lisp/byte-run.el.gz:

(defmacro define-obsolete-function-alias (obsolete-name current-name
                           &optional when docstring)

/usr/share/emacs/28.1/lisp/emacs-lisp/byte-run.el.gz:

(defmacro define-obsolete-function-alias ( obsolete-name current-name when
                                           &optional docstring)

手元でこれの影響を受けるのは elpa-ess (Emacs Speaks Statistics (ESS))のみだった様子で，かつ引数 2つだった箇所は1箇所(ess-r-package.el 内にある)．ということで，elpa-ess 側に手動でパッチを当てればなんとなかる．以下．

--- /usr/share/emacs/site-lisp/elpa-src/ess-18.10.2/ess-r-package.el.orig       2022-08-20 13:25:40.649872918 +0900
+++ /usr/share/emacs/site-lisp/elpa-src/ess-18.10.2/ess-r-package.el    2022-08-20 13:25:47.654118456 +0900
@@ -557,7 +557,7 @@
   (error "As of ESS 16.04, `ess-developer' is deprecated. Use `ess-r-set-evaluation-env' instead"))
 
 (defalias 'ess-toggle-developer 'ess-developer)
-(define-obsolete-function-alias 'ess-r-devtools-check-package-buildwin 'ess-r-devtools-check-with-winbuilder)
+(define-obsolete-function-alias 'ess-r-devtools-check-package-buildwin 'ess-r-devtools-check-with-winbuilder "")
 (define-obsolete-function-alias 'ess-r-devtools-ask 'ess-r-devtools-execute-command "18.04")
 
 (make-obsolete-variable 'ess-developer "Please use `ess-developer-select-package' and `ess-r-set-evaluation-env' instead." "16.04")

追記(2022/8/20)

ということで Emacs 28.1 になったのだが

• make-coding-system がなくなったので izonmoji-mode.elが動かなくなった．navi2ch 自体は使っていないのだけど Wanderlust で使っていたような気がする，のだけど，ひとまず使わないことにした．
• Warning: docstring wider than 80 characters が *Warnings* buffer に大量に出る．warning-suppress-types を ((comp)) にして抑制．

Related articles

• 2023/09/18 11:20 / mmm-mode 0.5.9-1, Error: Eager macro-expansion failure: (wrong-number-of-arguments (3 . 4) 2)

MS Office の暗号化ファイルをコマンドラインで復号する だけにいちいち Windows を用意したり Libreoffice 起動したりが面倒なので，CLI でなんとかする方法検討．msoffcrypto-tool (Debian package) というのがあって，これが使える．

pip install msoffcrypto-tool で install するか，sudo aptitude install python3-msoffcrypto-tool で Debian package を install する．使い方は簡単で，以下のような感じ．

% msoffcrypto-tool -p PPAP_PASSW0RD ppap_encrypted_file.xlsx ppap_decrypted_file.xlsx

あとは，.xlsx なら Python か Ruby で読んだり，xls(x) to csv using libreofficeのとおり Libreoffice で csv に変換したり，.docx なら pandoc で markdown やらに変換したり．

xlsx や docx は実際は zip なので，zip の復号をやってみたのだけど，そもそも暗号化 zip として見えない様子．以下のように Encrypted Composite Document File V2 (CDF) として見える．

% file ppap_encrypted_file.xlsx zip_encrypted_file.zip
ppap_encrypted_file.xlsx: CDFV2 Encrypted
zip_encrypted_file.zip:   Zip archive data, at least v1.0 to extract, compression method=store

Related articles

• 2022/10/05 11:27 / LibreOffice および Inkscape からコマンドラインで PDF 生成
• 2020/09/27 18:10 / xls(x) to csv using libreoffice

Emacs (emacs-gtk)起動時に以下のような Warning が出る．

Gtk-Message: 09:25:50.067: Failed to load module "canberra-gtk-module"

libcanberra-gtk3-module を install して Warning が出ないようにする．

厚生労働省の新型コロナウイルス接触確認アプリ(COCOA)を延々と使っているが，690日目にしてやっと通知来た．この○○daysでなにかポイント還元してくれたらいいのに．．．マイナポイントなりで．

さて，May 11 の 9am からの 24時間中 67 分間接触があったとのこと．GMT基準の24時間毎に測っている様子で，もしかすると 8:50-9:10 に close contact があったりしたらうまく反応してくれないのかも．

67 minutes of contact に基本的に身に覚えがないが，あるとすれば飛行機に乗っていた時(かつ機内モードでも bluetooth を有効にする習慣がある; COCOA と Fitbit と，たまに AVIOT の Earbud)．周りの乗客で，後で陽性になった人が居たのかも．

Instructions によると，症状があったり見に覚えがある場合は相談窓口に連絡，そうでない場合は7日間注意せよ(自己隔離せよ，とまでは書かれていない)，とのこと．Find COVID-19 Consultation Centers をクリックすると都道府県を選ぶページが出てきて，そこから相談窓口を探す．

症状はなくて，機内でもマスクつけていたし，換気システムで充分な換気がされているはずで，たぶん感染はしていないのだけど，機内では爆睡していてその間になにかあったりとかしたら嫌なので，念の為 PCR 検査を受けたくて悩む．

札幌市では以下の無料検査事業をやっていて，札幌駅近辺でも予約不要で受けることができる様子．

• ワクチン検査パッケージ・対象者全員検査等定着促進事業
  実施期間 令和4年6月30日(木)まで(抗原定性検査)

• 感染拡大傾向時の一般検査事業
  実施期間 令和4年5月31日(火)まで(抗原定性検査/PCR検査)

のだけど，動き始める際にそこまで調べられなくて，ひとまずいつもの野良PCR検査を受けて，安心を買っておいた．

受けたのは狸小路の東亜産業PCR検査(2,000円)．要予約だけど大抵空いてる．以前は1Fでやっていたけど(かつ3,000円だったような気がする)，今は3Fに移動していて，1Fはドラッグストアのようなものが入っている(1F，2Fが商品だらけで3Fに上がる階段が見つけづらい)．ちなみに「陰性証明」は発行されなくて，以下の抜粋のような報告レポートが届くのみ．

検体として取り出した唾液内に、SARS-CoV-2(新型コロナウイルス)に特徴的な RNA 配列が、「存在しない」状況を示していました。したがいまして、検査状況としては、「低リスク」であることをご報告申し上げます。

本レポートは、検査の状況をご報告するものであり、検体にウイルスが存在する又はしないことを保証するものではありません。

sudo apt update で以下の Warning が最近出るようになった．Debian GNU/Linux unstable (sid) 環境で，apt 2.4.5．

All packages are up to date.
W: https://repo.skype.com/deb/dists/stable/InRelease: Key is stored in legacy trusted.gpg keyring (/etc/apt/trusted.gpg), see the DEPRECATION section in apt-key(8) for details.
W: http://packages.cloud.google.com/apt/dists/cloud-sdk-sid/InRelease: Key is stored in legacy trusted.gpg keyring (/etc/apt/trusted.gpg), see the DEPRECATION section in apt-key(8) for details.
W: http://linux.dropbox.com/debian/dists/sid/Release.gpg: Key is stored in legacy trusted.gpg keyring (/etc/apt/trusted.gpg), see the DEPRECATION section in apt-key(8) for details.

/usr/share/doc/apt/changelog.gz によると 2.4.0 からとのこと．

[/usr/share/doc/apt/changelog.gz] (partial excerpt)

apt (2.4.0) unstable; urgency=medium

  * Warn if the legacy trusted.gpg keyring is used for verification

 -- Julian Andres Klode <jak@debian.org>  Tue, 22 Feb 2022 20:00:46 +0100

以下で import した key が /etc/apt/trusted.gpg に保存されているのが原因で，最近は /etc/apt/trusted.gpg.d/ に置くことになっているとのこと(--dearmour した binary は .gpg として，ASCII armored keys は .asc で置くことになっている)．

wget -qO- https://myrepo.example/myrepo.asc | sudo apt-key add -

man apt-key によると以下のとおり /etc/apt/keyrings に置く選択肢もあって，ただしこの場合 /etc/apt/sources.list で Signed-By option により path を指定知る必要があるらしく(deb822-styleを想定？)，面倒そうなので普通に /etc/apt/trusted.gpg.d/ に置くことにした．

Recommended: Instead of placing keys into the /etc/apt/trusted.gpg.d
directory, you can place them anywhere on your filesystem by using the
Signed-By option in your sources.list and pointing to the filename of
the key. See sources.list(5) for details. Since APT 2.4,
/etc/apt/keyrings is provided as the recommended location for keys not
managed by packages. When using a deb822-style sources.list, and with
apt version >= 2.4, the Signed-By option can also be used to include
the full ASCII armored keyring directly in the sources.list without an
additional file.

まず以下で，

sudo mv /etc/apt/trusted.gpg /etc/apt/trusted.gpg.0
sudo apt update

以下のように必要な key を確認して，

Err:11 http://packages.cloud.google.com/apt cloud-sdk-sid InRelease
  The following signatures couldn't be verified because the public key is not available: NO_PUBKEY FEEA9169307EA071 NO_PUBKEY 8B57C5C2836F4BEB
Err:12 https://repo.skype.com/deb stable InRelease
  The following signatures couldn't be verified because the public key is not available: NO_PUBKEY 1F3045A5DF7587C3
Err:18 http://linux.dropbox.com/debian sid Release.gpg
  The following signatures couldn't be verified because the public key is not available: NO_PUBKEY FC918B335044912E

あとは，以下で順に export していった．

sudo mv /etc/apt/trusted.gpg.0 /etc/apt/trusted.gpg
sudo apt update
sudo apt-key export FEEA9169307EA071 8B57C5C2836F4BEB | gpg --dearmour | sudo sh -c 'cat > /etc/apt/trusted.gpg.d/packages.cloud.google.com.gpg'
sudo apt-key export 1F3045A5DF7587C3 | gpg --dearmour | sudo sh -c 'cat > /etc/apt/trusted.gpg.d/repo.skype.com.gpg'
sudo apt-key export FC918B335044912E | gpg --dearmour | sudo sh -c 'cat > /etc/apt/trusted.gpg.d/linux.dropbox.com.gpg'
sudo rm /etc/apt/trusted.gpg

Linux 5.17 がでたので 5.16.18 から .config がどう変更されるのか見てみた．もう 5.17.3 が出ているけど 5.16 は EOL らしいので．以下 - は削除されたもの，+ は追加されたもの．x86_64．New features 等は https://www.phoronix.com/scan.php?page=article&item=linux-517-features 参照．

追加

• +CONFIG_ACPI_PCC=y

  ACPI: PCC: Implement OperationRegion handler for the PCC Type 3 subtype

  y のままにしておく．

• +CONFIG_ARCH_SUPPORTS_PAGE_TABLE_CHECK=y

  x86: mm: add x86_64 support for page table check

• +CONFIG_BLK_ICQ=y

  block: only build the icq tracking code when needed

• +CONFIG_BUILDTIME_MCOUNT_SORT=y

  ftrace: Fix assuming build time sort works for s390

• +CONFIG_HAVE_BUILDTIME_MCOUNT_SORT=y

  ftrace: Have architectures opt-in for mcount build time sorting

• +CONFIG_CRYPTO_LIB_BLAKE2S_GENERIC=y

  lib/crypto: blake2s: include as built-in

• +CONFIG_DRM_NOMODESET=y

  drm: Decouple nomodeset from CONFIG_VGA_CONSOLE

• +CONFIG_GUEST_PERF_EVENTS=y

  perf: Force architectures to opt-in to guest callbacks

• +CONFIG_HAVE_KVM_DIRTY_RING=y

  KVM: Introduce CONFIG_HAVE_KVM_DIRTY_RING

• +CONFIG_HAVE_KVM_PFNCACHE=y

  KVM: Reinstate gfn_to_pfn_cache with invalidation support

• +CONFIG_NET_VENDOR_ENGLEDER=y

  tsnep: Add TSN endpoint Ethernet MAC driver

  n にする．

• +CONFIG_NET_VENDOR_VERTEXCOM=y

  net: vertexcom: Add MSE102x SPI support

  n にする．

• +CONFIG_PAGE_SIZE_LESS_THAN_256KB=y

  arch/Kconfig: split PAGE_SIZE_LESS_THAN_256KB from PAGE_SIZE_LESS_THAN_64KB

• +CONFIG_SERIAL_8250_PERICOM=y

  serial: 8250_pericom: Re-enable higher baud rates

  n にする．

削除

• -CONFIG_DAX_DRIVER=y

  dax: remove CONFIG_DAX_DRIVER

• -CONFIG_GENERIC_FIND_FIRST_BIT=y

  arch: remove GENERIC_FIND_FIRST_BIT entirely

• -CONFIG_NFT_COUNTER=m

  netfilter: nf_tables: make counter support built-in

• -CONFIG_NF_FLOW_TABLE_IPV4=m
-CONFIG_NF_FLOW_TABLE_IPV6=m

  netfilter: Remove flowtable relics

モジュール化

• CONFIG_DRM_GEM_SHMEM_HELPER: y->m

  drm: Move GEM memory managers into modules

nvidia-legacy-390xx-kernel-dkms

proc: remove PDE_DATA() completelyの影響で bullseye の nvidia-legacy-390xx-kernel-dkms の compile に以下の通り失敗する．

/var/lib/dkms/nvidia-legacy-390xx/390.147/build/nvidia/nv-procfs.c: In function ‘nv_procfs_open_gpu_info’:
/var/lib/dkms/nvidia-legacy-390xx/390.147/build/common/inc/nv-procfs.h:118:29: error: implicit declaration of function ‘PDE’ [-Werror=implicit-function-declaration]
  118 | # define NV_PDE_DATA(inode) PDE(inode)->data
      |                             ^~~
/var/lib/dkms/nvidia-legacy-390xx/390.147/build/common/inc/nv-procfs.h:136:13: note: in expansion of macro ‘NV_PDE_DATA’
  136 |             NV_PDE_DATA(inode));                                              \
      |             ^~~~~~~~~~~
/var/lib/dkms/nvidia-legacy-390xx/390.147/build/nvidia/nv-procfs.c:161:1: note: in expansion of macro ‘NV_DEFINE_PROCFS_SINGLE_FILE’
  161 | NV_DEFINE_PROCFS_SINGLE_FILE(gpu_info);
      | ^~~~~~~~~~~~~~~~~~~~~~~~~~~~
/var/lib/dkms/nvidia-legacy-390xx/390.147/build/common/inc/nv-procfs.h:118:39: error: invalid type argument of ‘->’ (have ‘int’)
  118 | # define NV_PDE_DATA(inode) PDE(inode)->data
      |                                       ^~
/var/lib/dkms/nvidia-legacy-390xx/390.147/build/common/inc/nv-procfs.h:136:13: note: in expansion of macro ‘NV_PDE_DATA’
  136 |             NV_PDE_DATA(inode));                                              \
      |             ^~~~~~~~~~~
/var/lib/dkms/nvidia-legacy-390xx/390.147/build/nvidia/nv-procfs.c:161:1: note: in expansion of macro ‘NV_DEFINE_PROCFS_SINGLE_FILE’
  161 | NV_DEFINE_PROCFS_SINGLE_FILE(gpu_info);
      | ^~~~~~~~~~~~~~~~~~~~~~~~~~~~
/var/lib/dkms/nvidia-legacy-390xx/390.147/build/nvidia/nv-procfs.c: In function ‘nv_procfs_open_version’:
/var/lib/dkms/nvidia-legacy-390xx/390.147/build/common/inc/nv-procfs.h:118:39: error: invalid type argument of ‘->’ (have ‘int’)
  118 | # define NV_PDE_DATA(inode) PDE(inode)->data
      |                                       ^~
/var/lib/dkms/nvidia-legacy-390xx/390.147/build/common/inc/nv-procfs.h:136:13: note: in expansion of macro ‘NV_PDE_DATA’
  136 |             NV_PDE_DATA(inode));                                              \
      |             ^~~~~~~~~~~
/var/lib/dkms/nvidia-legacy-390xx/390.147/build/nvidia/nv-procfs.c:175:1: note: in expansion of macro ‘NV_DEFINE_PROCFS_SINGLE_FILE’
  175 | NV_DEFINE_PROCFS_SINGLE_FILE(version);
      | ^~~~~~~~~~~~~~~~~~~~~~~~~~~~
/var/lib/dkms/nvidia-legacy-390xx/390.147/build/nvidia/nv-procfs.c: In function ‘nv_procfs_open_file’:
/var/lib/dkms/nvidia-legacy-390xx/390.147/build/common/inc/nv-procfs.h:118:39: error: invalid type argument of ‘->’ (have ‘int’)
  118 | # define NV_PDE_DATA(inode) PDE(inode)->data
      |                                       ^~
/var/lib/dkms/nvidia-legacy-390xx/390.147/build/nvidia/nv-procfs.c:195:23: note: in expansion of macro ‘NV_PDE_DATA’
  195 |     nvfp->proc_data = NV_PDE_DATA(inode);
      |                       ^~~~~~~~~~~
/var/lib/dkms/nvidia-legacy-390xx/390.147/build/nvidia/nv-procfs.c: In function ‘nv_procfs_open_params’:
/var/lib/dkms/nvidia-legacy-390xx/390.147/build/common/inc/nv-procfs.h:118:39: error: invalid type argument of ‘->’ (have ‘int’)
  118 | # define NV_PDE_DATA(inode) PDE(inode)->data
      |                                       ^~
/var/lib/dkms/nvidia-legacy-390xx/390.147/build/common/inc/nv-procfs.h:136:13: note: in expansion of macro ‘NV_PDE_DATA’
  136 |             NV_PDE_DATA(inode));                                              \
      |             ^~~~~~~~~~~
/var/lib/dkms/nvidia-legacy-390xx/390.147/build/nvidia/nv-procfs.c:346:1: note: in expansion of macro ‘NV_DEFINE_PROCFS_SINGLE_FILE’
  346 | NV_DEFINE_PROCFS_SINGLE_FILE(params);
      | ^~~~~~~~~~~~~~~~~~~~~~~~~~~~

/usr/src/nvidia-legacy-390xx-390.147 に以下のパッチをあてればなんとかなる．

--- a/common/inc/nv-procfs.h
+++ b/common/inc/nv-procfs.h
@@ -113,7 +113,7 @@ typedef struct file_operations nv_proc_ops_t;
     })

 #if defined(NV_PDE_DATA_PRESENT)
-# define NV_PDE_DATA(inode) PDE_DATA(inode)
+# define NV_PDE_DATA(inode) pde_data(inode)
 #else
 # define NV_PDE_DATA(inode) PDE(inode)->data
 #endif
--- a/conftest.sh
+++ b/conftest.sh
@@ -1800,7 +1800,7 @@ compile_test() {
             CODE="
             #include <linux/proc_fs.h>
             void conftest_PDE_DATA(void) {
-                PDE_DATA();
+                pde_data();
             }"

             compile_check_conftest "$CODE" "NV_PDE_DATA_PRESENT" "" "functions"

Related articles

• 2024/04/08 13:19 / Linux 6.8.4
• 2021/09/08 12:13 / Linux 5.14
• 2021/07/19 11:11 / Linux 5.13
• 2021/04/28 18:58 / Linux 5.12
• 2021/01/13 21:27 / brtfs 上に swap ファイルを置く
• 2020/09/11 20:24 / Linux 5.9-rc4
• 2020/07/12 16:42 / Linux 5.8-rc4
• 2020/05/01 21:21 / Linux 5.7-rc1
• 2020/04/03 22:18 / Linux 5.6.x fs/cachefiles/rdwr.c bug
• 2020/02/22 19:33 / Linux 5.6-rc2
• 2020/01/11 20:50 / Linux 5.5-rc5
• 2019/11/25 14:45 / nvidia-kernel-dkms 418.74-1 with Linux 5.4
• 2019/10/02 00:03 / Linux 5.3.1 -> 5.4-rc1
• 2019/09/20 14:45 / nvidia-kernel-dkms 418.74-1 with Linux 5.3
• 2019/07/22 19:13 / Linux 5.2.2 -> 5.3-rc1
• 2019/06/28 20:38 / GeForce GT 430 with nvidia-legacy-390xx-kernel-dkms 390.116-1~bpo9+1
• 2019/06/12 16:10 / Linux 5.1.8 -> 5.2-rc4
• 2019/05/07 19:43 / Linux 5.0.9 -> 5.1.0
• 2019/03/07 22:16 / Linux 4.20.13 -> 5.0.0
• 2018/11/06 11:30 / Linux 4.19.0 -> 4.20-rc1
• 2018/08/29 11:06 / Linux 4.18.5 -> 4.19-rc1
• 2018/06/20 17:06 / Linux 4.17.2 -> 4.18-rc1
• 2018/04/19 15:25 / Linux 4.16.2 -> 4.17-rc1
• 2018/02/12 17:23 / Linux 4.15.3 -> 4.16-rc1
• 2018/01/29 11:08 / Linux 4.14.15 -> 4.15
• 2017/11/28 12:42 / Linux 4.14.2 -> 4.15-rc1
• 2017/11/15 15:56 / Linux ORC unwinder と objtool (CONFIG_STACK_VALIDATION needs tools/objtool/objtool along headers)
• 2017/11/15 15:41 / Linux 4.13.12 -> 4.14.0
• 2017/09/18 07:04 / Linux 4.13.1 -> 4.14-rc1
• 2017/09/05 04:14 / Linux 4.12.10 -> 4.13
• 2017/07/16 23:56 / Linux 4.12.0 -> 4.13-rc1
• 2017/05/15 14:04 / Linux 4.11.0 -> 4.12-rc1
• 2017/05/03 00:24 / Linux 4.10.13 -> 4.11.0
• 2017/03/06 09:51 / Linux 4.10.1 -> 4.11-rc1
• 2017/02/20 10:31 / Linux 4.9.X -> 4.10
• 2016/12/30 21:28 / Linux 4.9 -> 4.10-rc1
• 2016/12/14 23:00 / Linux 4.8 -> 4.9

Python の code (正確には Jupyter Notebook)を Web 上でインタラクティブに動作させる環境である Jupyterhub で LDAP 認証が使えるのであるが(つまりマルチユーザで利用可能)，LDAP w/o SSL 環境(port #: 389)ではそのままではうまく認証できない，という話．

以下のようなエラーを吐いて，認証しようとするとコケる．

[I 2021-12-11 12:48:55.527 JupyterHub app:2717] Running JupyterHub version 2.0.0
[I 2021-12-11 12:48:55.527 JupyterHub app:2747] Using Authenticator: ldapauthenticator.ldapauthenticator.LDAPAuthenticator-1.3.2
[I 2021-12-11 12:48:55.527 JupyterHub app:2747] Using Spawner: jupyterhub.spawner.LocalProcessSpawner-2.0.0
[I 2021-12-11 12:48:55.527 JupyterHub app:2747] Using Proxy: jupyterhub.proxy.ConfigurableHTTPProxy-2.0.0
[I 2021-12-11 12:48:55.528 JupyterHub app:1641] Writing cookie_secret to /tf/jupyterhub_cookie_secret
[I 2021-12-11 12:48:55.541 alembic.runtime.migration migration:201] Context impl SQLiteImpl.
[I 2021-12-11 12:48:55.541 alembic.runtime.migration migration:204] Will assume non-transactional DDL.
[I 2021-12-11 12:48:55.548 alembic.runtime.migration migration:615] Running stamp_revision  -> 833da8570507
[I 2021-12-11 12:48:55.683 JupyterHub proxy:496] Generating new CONFIGPROXY_AUTH_TOKEN
[I 2021-12-11 12:48:55.709 JupyterHub app:1913] Not using allowed_users. Any authenticated user will be allowed.
[I 2021-12-11 12:48:55.727 JupyterHub roles:358] Adding role admin for User: myn
[W 2021-12-11 12:48:55.729 JupyterHub app:2152] No admin role found; assuming hub upgrade. Initializing default roles for all entities
[I 2021-12-11 12:48:55.768 JupyterHub app:2786] Initialized 0 spawners in 0.002 seconds
[W 2021-12-11 12:48:55.769 JupyterHub proxy:687] Running JupyterHub without SSL.  I hope there is SSL termination happening somewhere else...
[I 2021-12-11 12:48:55.769 JupyterHub proxy:691] Starting proxy @ http://:8000
12:48:55.921 [ConfigProxy] info: Proxying http://*:8000 to (no default)
12:48:55.934 [ConfigProxy] info: Proxy API at http://127.0.0.1:8001/api/routes
[I 2021-12-11 12:48:56.023 JupyterHub app:3035] Hub API listening on http://0.0.0.0:8081/hub/
[I 2021-12-11 12:48:56.023 JupyterHub app:3037] Private Hub API connect url http://hoge-mydockerimage:8081/hub/
12:48:56.023 [ConfigProxy] info: 200 GET /api/routes 
12:48:56.024 [ConfigProxy] info: 200 GET /api/routes 
[I 2021-12-11 12:48:56.024 JupyterHub proxy:431] Adding route for Hub: / => http://hoge-mydockerimage:8081
12:48:56.025 [ConfigProxy] info: Adding route / -> http://hoge-mydockerimage:8081
12:48:56.026 [ConfigProxy] info: Route added / -> http://hoge-mydockerimage:8081
12:48:56.026 [ConfigProxy] info: 201 POST /api/routes/ 
[I 2021-12-11 12:48:56.026 JupyterHub app:3101] JupyterHub is now running at http://:8000
[I 2021-12-11 12:53:41.998 JupyterHub log:189] 302 GET / -> /hub/ (@::ffff:10.8.1.6) 0.61ms
[I 2021-12-11 12:53:42.069 JupyterHub log:189] 302 GET /hub/ -> /hub/login?next=%2Fhub%2F (@::ffff:10.8.1.6) 0.51ms
[I 2021-12-11 12:53:42.240 JupyterHub log:189] 200 GET /hub/login?next=%2Fhub%2F (@::ffff:10.8.1.6) 27.24ms
[E 2021-12-11 12:53:47.996 JupyterHub web:1789] Uncaught exception POST /hub/login?next=%2Fhub%2F (::ffff:10.8.1.6)
    HTTPServerRequest(protocol='http', host='hoge:8000', method='POST', uri='/hub/login?next=%2Fhub%2F', version='HTTP/1.1', remote_ip='::ffff:10.8.1.6')
    Traceback (most recent call last):
      File "/usr/local/lib/python3.8/dist-packages/tornado/web.py", line 1704, in _execute
        result = await result
      File "/usr/local/lib/python3.8/dist-packages/jupyterhub/handlers/login.py", line 151, in post
        user = await self.login_user(data)
      File "/usr/local/lib/python3.8/dist-packages/jupyterhub/handlers/base.py", line 788, in login_user
        authenticated = await self.authenticate(data)
      File "/usr/local/lib/python3.8/dist-packages/jupyterhub/auth.py", line 473, in get_authenticated_user
        authenticated = await maybe_future(self.authenticate(handler, data))
      File "/usr/local/lib/python3.8/dist-packages/ldapauthenticator/ldapauthenticator.py", line 382, in authenticate
        conn = self.get_connection(userdn, password)
      File "/usr/local/lib/python3.8/dist-packages/ldapauthenticator/ldapauthenticator.py", line 314, in get_connection
        conn = ldap3.Connection(
      File "/usr/local/lib/python3.8/dist-packages/ldap3/core/connection.py", line 363, in __init__
        self._do_auto_bind()
      File "/usr/local/lib/python3.8/dist-packages/ldap3/core/connection.py", line 391, in _do_auto_bind
        if self.start_tls(read_server_info=False):
      File "/usr/local/lib/python3.8/dist-packages/ldap3/core/connection.py", line 1314, in start_tls
        if self.server.tls.start_tls(self) and self.strategy.sync:  # for asynchronous connections _start_tls is run by the strategy
      File "/usr/local/lib/python3.8/dist-packages/ldap3/core/tls.py", line 277, in start_tls
        raise LDAPStartTLSError(connection.last_error)
    ldap3.core.exceptions.LDAPStartTLSError: startTLS failed - protocolError
    
[E 2021-12-11 12:53:48.018 JupyterHub log:181] {
      "X-Forwarded-Host": "hoge:8000",
      "X-Forwarded-Proto": "http",
      "X-Forwarded-Port": "8000",
      "X-Forwarded-For": "::ffff:10.8.1.6",
      "Accept-Language": "en-US,en;q=0.9,ja;q=0.8",
      "Accept-Encoding": "gzip, deflate",
      "Referer": "http://hoge:8000/hub/login?next=%2Fhub%2F",
      "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9",
      "User-Agent": "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Safari/537.36",
      "Content-Type": "application/x-www-form-urlencoded",
      "Origin": "http://hoge:8000",
      "Upgrade-Insecure-Requests": "1",
      "Cache-Control": "max-age=0",
      "Content-Length": "34",
      "Connection": "close",
      "Host": "hoge:8000"
    }
[E 2021-12-11 12:53:48.018 JupyterHub log:189] 500 POST /hub/login?next=%2Fhub%2F (@::ffff:10.8.1.6) 23.50ms
12:53:56.029 [ConfigProxy] info: 200 GET /api/routes 

Jupyterhub は Docker image として構築していて，Jupyterhub (+ LDAP auth) 関連の Docierfile 該当部は以下．

RUN pip install jupyterhub
RUN pip install jupyterhub-ldapauthenticator
RUN npm install -g configurable-http-proxy

あとは，起動時に

jupyterhub --config=/etc/jupyterhub_config.py

が呼ばれるようになっていて，jupyterhub_config.py は以下のようなもの．

c.JupyterHub.authenticator_class = "ldapauthenticator.LDAPAuthenticator"
c.LDAPAuthenticator.server_address = "10.0.0.1"
c.LDAPAuthenticator.server_port = 389
c.LDAPAuthenticator.bind_dn_template = "uid={username},ou=People,dc=example,dc=com"
c.LDAPAuthenticator.use_ssl = False
c.JupyterHub.hub_ip = '0.0.0.0'
c.Authenticator.admin_users = {'myn'}

LDAP には SSL 使っていない(ローカル環境なので)のに startTLS しようとしているように見える．たぶん /usr/local/lib/python3.8/dist-packages/ldapauthenticator/ldapauthenticator.pyの以下の箇所がおかしいような気がしていて，

    def get_connection(self, userdn, password):
        server = ldap3.Server(
            self.server_address, port=self.server_port, use_ssl=self.use_ssl
        )
        auto_bind = (
            ldap3.AUTO_BIND_NO_TLS if self.use_ssl else ldap3.AUTO_BIND_TLS_BEFORE_BIND
        )
        conn = ldap3.Connection(
            server, user=userdn, password=password, auto_bind=auto_bind
        )
        return conn

ここの箇所で以下の修正をするとうまく動いてくれる．

-    ldap3.AUTO_BIND_NO_TLS if self.use_ssl else ldap3.AUTO_BIND_TLS_BEFORE_BIND
+    ldap3.AUTO_BIND_NO_TLS if not self.use_ssl else ldap3.AUTO_BIND_TLS_BEFORE_BIND

Dockerfile 的には以下を書いている．

RUN sed -i 's/ldap3\.AUTO_BIND_NO_TLS if self\.use_ssl/ldap3.AUTO_BIND_NO_TLS if not self.use_ssl/g' /usr/local/lib/python3.*/dist-packages/ldapauthenticator/ldapauthenticator.py

Related articles

• 2019/03/09 00:06 / Windows 10 Pro 1803 の Samba NT4 ドメイン参加
• 2017/01/16 22:15 / Windows 10 Client が Samba (2:4.2.14+dfsg-0+deb8u2) で構築されているドメインに参加できない
• 2016/03/13 01:15 / Samba+LDAP 設定メモ
• 2015/10/28 13:34 / slapd[XXXX]: <= bdb_equality_candidates: (uid) not indexed
• 2015/05/23 22:39 / Windows 8 を LDAP+Samba で構築したドメインに参加させる
• 2015/01/15 18:24 / Debian GNU/Linux jessie (testing) autofs w/-hosts
• 2014/04/23 15:53 / LDAP 作業メモ
• 2013/06/24 18:50 / LDAP server + autofs

Gnome で Input Source は

• English (US): 英語キーボード(HHKB)
• Japanese (Mozc): Mozc による日本語入力

を使っているのだけど Window 毎に Input Source をスイッチしたいという話．具体的にはたとえば

• Chrome: Japanese (Mozc)
• Gnome Terminal: English (US): 英語キーボード(HHKB)

として固定(というか個別に Input Source を変えられるように)して使いたいという話．そうしないと Chome (Japanese (Mozc) による日本語入力)から Terminal に移った際に全角でコマンドを打ってしまったりする．以下で Switch input sources individually for each window を有効にする．

現在の設定の確認:

% gsettings get org.gnome.desktop.input-sources per-window
false

設定の変更:

% gsettings set org.gnome.desktop.input-sources per-window true

変更後の設定の確認:

% gsettings get org.gnome.desktop.input-sources per-window
true

なお，Mozc の入力モードは Desktop 全体で共通になるので

• Chrome: Japanese (Mozc) あ (Hiragana)
• Gnome Terminal: Japanese (Mozc) A (Direct input)

といった運用はできない．

念の為，日本語キーボード利用環境でも同じ話．

• Input Source
  • Japanese: 日本語キーボード
  • Japanese (Mozc): Mozc による日本語入力
• Window 毎の設定
  • Chrome: Japanese (Mozc)
  • Gnome Terminal: Japanese (日本語キーボードからの Direct input)

加えて，

• Japanese: 日本語キーボード
• English (US): 英語キーボード
• Japanese (Mozc): Mozc による日本語入力

という謎環境にすると，Mozc の際のキーボード配列は，Japanese (Mozc) に Switch する前のキーボード配列になる．

• English (US) → Japanese (Mozc): Mozc による日本語入力(英語キーボード配列)
• Japanese → Japanese (Mozc): Mozc による日本語入力(日本語キーボード配列)

GUI では Settings→Keyboard で Input Source Switching で Switch input sources individually for each window を有効にする．

Related articles

• 2024/03/03 21:44 / Gnome 環境で日本語入力モードにすると gnome-shell が死ぬ
• 2021/01/12 14:52 / gnome-shell で Alt-tab で group ベースの window switch (swith-application)をしない
• 2017/12/27 23:20 / Switch to next input source (Gnome)
• 2017/06/10 23:51 / google-chrome Emacs key binding
• 2016/01/18 10:22 / google-chrome の表示言語設定
• 2015/08/20 09:48 / screen.xterm-256color
• 2015/02/27 17:28 / gnome-shell が 3D acceleration 無し環境では動かない件
• 2015/02/08 19:42 / gnome-terminal (Error constructing proxy for...)
• 2015/02/07 23:05 / gnome-shell のパネルに日付を表示する
• 2014/08/14 23:58 / google-chrome-stable on Debian GNU/Linux sid
• 2014/04/14 19:34 / gnome-shell 3.8.4-8 + ibus 1.5.5-1
• 2013/09/24 20:46 / Mozc Dictionary Tool
• 2013/06/18 22:58 / gnome-terminal 3.8.3-1 背景が透けない

Mailman 2.1 設定メモの Mailman 3 版．Mailman 2.1 の環境を Debian GNU/Linux bullseye に移行した際，Mailman 2.1 環境は一式削除して，新たにインストール(あらかじめ list pseudo user が存在していた環境なので，クリーンインストール環境とは差があるかもしれない)．

Mailman 3 インストール

Mailman 3 + Postfix + Apache を想定．

sudo apt install mailman3-full

これが以下に依存して，

• mailman3
• mailman3-web
• python3-mailman-hyperkitty

さらに以下が install される．

• python3-django-hyperkitty
• python3-django-mailman3
• python3-django-postorius

Mailman 3 の Web I/F は以下で提供される．

• list 制御: Postorius
• list archive: HyperKitty

/usr/share/doc/mailman3/README.Debian.gz や /usr/share/doc/mailman3-web/README.Debian.gz に従って設定すればOKだが，Postfix 向け alias (mailman process への転送)は /var/lib/mailman3/data/postfix_lmtp* で提供され，mailman3 install 時に /etc/postfix/main.cf に以下のとおり(コメントアウトされた状態で)追記されるので，この箇所を有効にする．

# mailman
owner_request_special = no
transport_maps = hash:/var/lib/mailman3/data/postfix_lmtp
local_recipient_maps = proxy:unix:passwd.byname $alias_maps hash:/var/lib/mailman3/data/postfix_lmtp
relay_domains = ${{$compatibility_level} < {2} ? {$mydestination} : {}} hash:/var/lib/mailman3/data/postfix_domains

Apache 向けの snippet は /etc/mailman3/apache.conf にあり，これも mailman3-web install 時に適切に Apache に組み込まれる (/etc/apache2/ 以下に適切に symlink が生成される)．が，手元では以下の patch が必要だった．

-       ProxyPass /mailman3 unix:/run/mailman3-web/uwsgi.sock|uwsgi://localhost/
+       ProxyPass /mailman3/ unix:/run/mailman3-web/uwsgi.sock|uwsgi://localhost/

HyperKitty に archive させるには Mailman への REST アクセスが必要で，その api_key を /etc/mailman3/mailman-hyperkitty.cfg に書き込む．これは以下で実現される．

sudo dpkg-reconfigure python3-mailman-hyperkitty

他，以下の通り微調整．

• /etc/mailman3/mailman-web.py の EMAILNAME 変数は install 時(debconf 時)に適切に設定されるはずだが，確認する．
• mailman 3 の site level owner の default は changeme@example.com なので，/etc/mailman3/mailman.cfg の site_owner で変更する．
• HyperKitty の default のドメインは example.com になっているので，設定した host (myn.example.com とする) に http://myn.example.com/mailman3/admin/ でアクセスすると Django administration page が現れるので，Sites の箇所 (http://myn.example.com/mailman3/admin/sites/site/) で修正する(多分そのままでも問題ないのかもしれない)．

ML (list) 作成/削除/メンバ制御

• create ml

  % sudo -u list mailman create testml@myn.example.com

• remove ml

  % sudo -u list mailman remove testml@myn.example.com

• list member

  sudo -u list mailman members testml@myn.example.com

• add member

  コマンドラインから1メールアドレスずつ追加する場合以下．ファイルにリストして追加する場合は - の箇所をファイル名にする(そして pipe しない)．

  % echo myn@myn.example.com | sudo -u list mailman addmembers - testml@myn.example.com

  以下のような welcome message が送付される．

  To: myn@myn.example.com
  Subject: Welcome to the "Testml" mailing list
  From: testml-request@myn.example.com
  
  Welcome to the "Testml" mailing list!
  
  To post to this list, send your message to:
  
    testml@myn.example.com
  
  You can unsubscribe or make adjustments to your options via email by
  sending a message to:
  
    testml-request@myn.example.com
  
  with the word 'help' in the subject or body (don't include the
  quotes), and you will get back a message with instructions.  You will
  need your password to change your options, but for security purposes,
  this password is not included here.  If you have forgotten your
  password you will need to reset it via the web UI.

• delete (remove) member

  % sudo -u list mailman delmembers -l testml@myn.example.com -m myn@myn.example.com

  以下のような goodbye message が送付される(body は空)．

  To: <myn@myn.example.com>
  Subject: You have been unsubscribed from the Testml mailing list
  From: <testml-bounces@myn.example.com>

ML (list) 作成時に作成されるエイリアスについて

mailman create で /var/lib/mailman3/data/postfix_lmtp (およびそのdb)が以下の通り自動生成される．

# This file is generated by Mailman, and is kept in sync with the binary hash
# file.  YOU SHOULD NOT MANUALLY EDIT THIS FILE unless you know what you're
# doing, and can keep the two files properly in sync.  If you screw it up,
# you're on your own.

# Aliases which are visible only in the @myn.example.com domain.
testml@myn.example.com                          lmtp:[127.0.0.1]:8024
testml-bounces@myn.example.com                  lmtp:[127.0.0.1]:8024
testml-confirm@myn.example.com                  lmtp:[127.0.0.1]:8024
testml-join@myn.example.com                     lmtp:[127.0.0.1]:8024
testml-leave@myn.example.com                    lmtp:[127.0.0.1]:8024
testml-owner@myn.example.com                    lmtp:[127.0.0.1]:8024
testml-request@myn.example.com                  lmtp:[127.0.0.1]:8024
testml-subscribe@myn.example.com                lmtp:[127.0.0.1]:8024
testml-unsubscribe@myn.example.com              lmtp:[127.0.0.1]:8024

Envelope from は testml-bounces で，また，testml-owner にはなにがしか mailman から notification が届く．自動 subscripe や参加者 command を使わせないのであれば，それ以外はこの段階で disable しておいたほうが安心かもしれない．

以下で適当に comment out して，それを /var/lib/mailman3/data/postfix_lmtp に配置して，

cat /var/lib/mailman3/data/postfix_lmtp | sed 's,\(.*-\(confirm\|join\|leave\|request\|subscribe\|unsubscribe\)\),# \1,'

その後は以下で /var/lib/mailman3/data/postfix_lmtp.db を作成する．

sudo -u list postmap /var/lib/mailman3/data/postfix_lmtp

本当は手動で調整するのは微妙．mailman create や mailman remove の後に自動で処理するようにしたほうが良いはず．

追記(2021/11/5): mailman3 が起動する際に /var/lib/mailman3/data/postfix_lmtp が生成されるので，その後に hook が必要．

追記(2022/4/6): /var/lib/mailman3/data/postfix_lmtp に作成されるエイリアスのリストは /usr/lib/python3/dist-packages/mailman/mta/aliases.py で以下の通り定義されている．ここを修正すれば制御可能．

SUBDESTINATIONS = (
    'bounces',
    'confirm',
    'join',
    'leave',
    'owner',
    'request',
    'subscribe',
    'unsubscribe',
    )

ということで以下にした．Package が upgrade される際に上書きされるけど．

SUBDESTINATIONS = (
    'bounces',
    'owner',
    )

ML (list) の設定

Mailman 2 と異なり Mailman 3 では /usr/sbin/config_list のような設定を直接操作するコマンドが用意されていない．Web I/F でポチポチ設定するということになるが，他は REST を使うか mailman shell の Python の shell を使う．他に Python の method を list を引数に呼び出すアプローチもある．

私にとって一番やりやすいのは上記の最後のアプローチで，以下の script を作成した．これを main.py とかでどこかに置いておいて，あとは /usr/lib/mailman3/bin に symlink を置いておけば，ユーザ権限でいろいろな操作を (method を書けば)可能になる．

from mailman.testing.documentation import dump_json
from mailman.testing.documentation import call_http
from mailman.interfaces.mailinglist import SubscriptionPolicy
from mailman.interfaces.archiver import ArchivePolicy


# default method
def main():
    dump_json('http://localhost:8001/3.1/lists')


# config dump
def getconf(mlist):
    url = 'http://localhost:8001/3.1/lists/%s/config' % mlist.fqdn_listname
    dump_json(url)


# private ml default configuration
def conf(mlist):
    mlist.send_welcome_message = False
    mlist.send_goodbye_message = False
    mlist.subject_prefix = ''
    mlist.include_rfc2369_headers = False
    mlist.digests_enabled = False
    mlist.archive_policy = ArchivePolicy.private
    mlist.require_explicit_destination = False
    mlist.collapse_alternatives = False
    mlist.max_message_size = 0
    mlist.subscription_policy = SubscriptionPolicy.moderate
    mlist.unsubscription_policy = SubscriptionPolicy.moderate
    mlist.max_num_recipients = 20

# site level で footer を disable する
def site_conf():
    r = call_http('http://localhost:8001/3.1/uris')
    for key in ['list:member:regular:footer', 'list:member:digest:footer']:
        flag = True
        if 'entries' in r:
            for i in r['entries']:
                if 'name' in i:
                    if i['name'] == key:
                        flag = False
                        break
        if flag:
            s = 'file:///var/lib/mailman3/templates/site/en/{}'.format(key)
            call_http('http://localhost:8001/3.1/uris',
                      {key: s}, method='PATCH')

以下で，上記の main() が処理される．list の list を得る．

sudo -u list mailman shell -r main

以下で，指定した list の個人的好みの default の設定を行う．上記の conf(mlist) がコマンドラインで指定した list を引数に呼ばれる．

sudo -u list mailman shell -r main.conf -l testml@myn.example.com

https://docs.mailman3.org/projects/mailman/en/latest/src/mailman/rest/docs/listconf.html?highlight=send_goodbye_message#changing-a-partial-configuration のように dump_json を使っても良いかもしれない．

他，上記 script では以下用意した．

• main.getconf: list の configuration dump
• site_conf: site level の設定

site_conf では site level で footer を disable する設定をしている．

• file:///var/lib/mailman3/templates/site/en/list:member:regular:footer
• file:///var/lib/mailman3/templates/site/en/list:member:digest:footer

を参照するようにしていて，ここに空(zero file size)のファイルを配置する．

追記(2021/11/5): SQLite での運用時，ファイルがなくてもなんとかなっていた(空として処理される)ような気がしたのだけれど，MySQL (MariaDB) に変更したらファイルがなければ配信が止まるようになった(HyperKitty には Archive される)．ファイルを touch すると勢い良く配信が始まった．

個人的好みの default の設定

mailman 自体の Default 設定は /usr/lib/python3/dist-packages/mailman/styles/base.py 参照．

• mlist.send_welcome_message = False, mlist.send_goodbye_message = False

  welcome/goodbye message を disable する．See /usr/lib/python3/dist-packages/mailman/app/membership.py.

• mlist.subject_prefix = ''

  Subject の先頭部分に追加される prefix．ML の存在をあまりユーザに気にさせたくないので，空(’’)にする．

• mlist.include_rfc2369_headers = False

  RFC2369のヘッダを付加するか否か．ユーザに操作させたくない(MLの存在もあまり気にさせたくない)ので，disable する．

• mlist.digests_enabled = False

  Digest は使わないので disable する．

• mlist.archive_policy = ArchivePolicy.private

  HyperKitty での Archive を private モードで運用 (Web でログインしないと見られない)．Default は public だったような気がする．ArchivePolicy は enum になっていて，他に取れる値は never．See /usr/lib/python3/dist-packages/mailman/interfaces/archiver.py.

• mlist.require_explicit_destination = False

  Default True．True だと，ML に Bcc で送付するなど(もしくは転送など)，ML の email address が To や Cc に含まれない場合に admin proval が要求される．

• mlist.collapse_alternatives = False

  元のメールのまま配信したいので disable する．mlist.collapse_alternatives の Default は False．

• mlist.max_message_size = 0

  0 (無制限)にする．Default: 40 (kilobytes)．

• mlist.subscription_policy = SubscriptionPolicy.moderate, mlist.unsubscription_policy = SubscriptionPolicy.moderate

  Default は confirm．ユーザによる confirm があれば subscribe/unsubscribe 可能．勝手に join/leave して欲しくないので moderate にする．SubscriptionPolicy は enum になっていて，他に取れる値は open，confirm_then_moderate．See /usr/lib/python3/dist-packages/mailman/interfaces/mailinglist.py．

• mlist.max_num_recipients = 20

  この数字以上の宛先がメールに含まれている場合に admin proval を要求するというもの．0 だと制限がなくなる．Default は 10．

mailman 2 にあったような DontReceiveDuplicates は Web I/F でユーザ毎に設定可能．Default では DontReceiveDuplicates は Off の様子．

追記 (2021/11/5) Backend DB について

SQLite3 で運用していたら以下のような Error が頻出しており (ちょうど下にある Bounce 処理の確認をしている際)，

Nov 05 20:28:28 2021 (688389) Uncaught runner exception: (raised as a result of Query-invoked autoflush; consider using a session.no_autoflush block if this flush is occurri
ng prematurely)
(sqlite3.OperationalError) database is locked
[SQL: UPDATE mailinglist SET last_post_at=?, post_id=? WHERE mailinglist.id = ?]
[parameters: ('2021-11-05 11:28:23.577152', 4, 2)]
(Background on this error at: http://sqlalche.me/e/13/e3q8)
Nov 05 20:28:28 2021 (688389) Traceback (most recent call last):
  File "/usr/lib/python3/dist-packages/sqlalchemy/engine/base.py", line 1276, in _execute_context
    self.dialect.do_execute(
  File "/usr/lib/python3/dist-packages/sqlalchemy/engine/default.py", line 609, in do_execute
    cursor.execute(statement, parameters)
sqlite3.OperationalError: database is locked

sqlalchemy.exc.OperationalError: (raised as a result of Query-invoked autoflush; consider using a session.no_autoflush block if this flush is occurring prematurely)
(sqlite3.OperationalError) database is locked
[SQL: UPDATE mailinglist SET last_post_at=?, post_id=? WHERE mailinglist.id = ?]

/usr/share/doc/mailman3/README.Debian に書いてあるとおり，SQLite が怪しいので MySQL に backend を置き換えた．

Database backend ================

The default configured database backend is SQLite3. This is necessary to not break automated (non-interactive) installations without installing recommends.

For productive setups, SQLite3 is not recommended as database backend. PostgreSQL or MySQL should be used instead. The database configuration can be automated by installing ‘dbconfig-pgsql’ or ‘dbconfig-mysql’ and running ‘dpkg-reconfigure mailman3’. A respective local or remote database server has to be available in this case.

(SQLite だとメールが SHUNT されたり，それを sudo -u list mailman unshunt や sudo /etc/init.d/mailman3 restart で吐き出させたり，いろいろややこしい状況になっていた; 上にあるテンプレートのファイルを置いていなかったのも原因の一つかもしれない)

ひとまず MariaDB (MySQL) をインストールして

sudo aptitude install mariadb-server

あとは以下を順番に行う．

sudo dpkg-reconfigure mailman3

sudo dpkg-reconfigure mailman3-web

SQLite3 か MySQL か聞かれるので，MySQL と答え，他は以下にした(ほぼ Default; 以下 mailman3 のみ，mailman3-web もほぼ同じ)．

• Authentication plugin for MySQL database: default
• MySQL database name for mailman3: mailman.db
• MySQL username for mailman3: mailman3@localhost
• MySQL application password for mailman3: (empty)
  • If left blank, a random password will be generated.
• Name of the database’s administrative user: root
  • For MySQL, this is almost always “root”. Note that this is not the same as the Unix login “root”.
• Add the HyperKitty configuration to mailman.cfg?: Yes
  • The content of /usr/share/mailman3/mailman_cfg_hyperkitty_snippet.cfg will be added to /etc/mailman3/mailman.cfg.

mailman3 は ModuleNotFoundError: No module named 'pymysql' で起動できなかったので sudo aptitude install python3-pymysql して，mailman3-web は django.core.exceptions.ImproperlyConfigured: Error loading MySQLdb module. でコケている雰囲気だったので sudo aptitude install python3-mysqldb した．

追記 (2021/11/5) Bounce 処理について

Mailman 3 の Default の Bounce 処理 (See /usr/lib/python3/dist-packages/mailman/model/bounce.py)は

• Bounce score が bounce_score_threshold (default: 5) を超えると配信が disable され，disable されたアドレスには disable warning が送信される．Warning の template は /usr/lib/python3/dist-packages/mailman/templates/en/list:user:notice:warning.txt．Bounce するけど．

• Disable warning が bounce_you_are_disabled_warnings 回 (default: 3) 送信されるた後に list から remove される

  • Disable warning の送信 interval は bounce_you_are_disabled_warnings_interval で決まる(default: 7d)．

  • bounce_you_are_disabled_warnings が 0 であれば，warning を送信せずに disable のタイミングで remove される

• Bounce score は bounce 毎 1 increment されるが，Bounce が発生した日に既に increment されている場合は increment されない．

• Bounce score は bounce_info_stale_after (default: 7d) の間に bounce が発生しなければ reset (0 に戻る)される．

手元では

• bounce_score_threshold: 1
• bounce_you_are_disabled_warnings: 0

にして，bounce したら即 remove することにした．

disable, removal の際に list owner に通知が届く．Template は以下にある．

• /usr/lib/python3/dist-packages/mailman/templates/en/list:admin:notice:disable.txt
• /usr/lib/python3/dist-packages/mailman/templates/en/list:admin:notice:removal.txt

bounce_notify_owner_on_disable および bounce_notify_owner_on_removal でこの通知の Enable/Disable を設定できるが，True (Enabled)が Default で，このままで通常問題ない．

が，上で作成した list では owner の設定ができてなくて，設定するには Web から設定するのがおそらく簡単．http://myn.example.com/mailman3/postorius/lists/testml.myn.example.com/members/owner/ から設定．一旦1人設定すると，Removing the last owner is impossible とか怒られて削除できなくなる．

CUI から owner を設定するには，以下を上で説明している main.py に書いておいて，

from mailman.interfaces.usermanager import IUserManager
from zope.component import getUtility
from mailman.interfaces.member import MemberRole

def set_owner(mlist):
    user_manager = getUtility(IUserManager)
    admin = user_manager.get_user('myn@myn.example.com')
    mlist.subscribe(admin.addresses[0], MemberRole.owner)

def members():
    dump_json('http://localhost:8001/3.1/members')

以下で呼び出す．

sudo -u list mailman shell -r main.set_owner -l testml@myn.example.com

たぶん address が既に mailman 内に無いと get_user でコケるかもしれない．Owner を削除するには

sudo -u list mailman shell -r main.members

で該当 Owner の member_id を探して，以下を呼び出すようにする (Leaving a mailing list参照)．

dump_json('http://localhost:8001/3.1/members/<member_id>', method='DELETE')

なお，disable, removal の際の list owner への通知は以下のヘッダで届く (上の bounce したら即 remove の設定だと2通同時に届く)．また，bounce の log は /var/log/mailman3/bounce.log で確認できる．

Return-Path: <testml-bounces@myn.example.com>
To: testml-owner@myn.example.com
Subject: myn-error@myn.example.com's subscription disabled on Testml
From: myn@myn.example.com

Return-Path: <testml-bounces@myn.example.com>
To: testml-owner@myn.example.com
Subject: myn-error@myn.example.com unsubscribed from Testml mailing list due to bounces
From: myn@myn.example.com

Related articles

• 2018/03/27 09:58 / Mailman 2.1 設定メモ

Linux 5.14 がでたので 5.13.13 から .config がどう変更されるのか見てみた．以下 - は削除されたもの，+ は追加されたもの．x86_64．New features 等は https://www.phoronix.com/scan.php?page=article&item=linux-514-features 参照．

• +CONFIG_ACPI_MDIO=y
+CONFIG_FWNODE_MDIO=y
-CONFIG_FIXED_PHY=m
+CONFIG_FIXED_PHY=y

  net: mdio: Add ACPI support code for mdio
  net: mdiobus: Introduce fwnode_mdiobus_register_phy()

  IEEE 802.3 の PHY management interface である MDIO 関連．このあたりの影響で手元では CONFIG_FIXED_PHY が y になった．

• +CONFIG_ACPI_PRMT=y

  ACPI: PRM: implement OperationRegion handler for the PlatformRtMechanism subtype

  Platform Runtime Mechanism (PRM) 関連．

  depends on EFI && X86_64 で default y

• +CONFIG_ARCH_HAS_ZONE_DMA_SET=y

  mm: generalize ZONE_[DMA|DMA32]

  Selected by [y]:
  - X86 [=y] && EXPERT [=y]

• +CONFIG_ARCH_WANTS_NO_INSTR=y
+CONFIG_CC_HAS_NO_PROFILE_FN_ATTR=y

  Kconfig: Introduce ARCH_WANTS_NO_INSTR and CC_HAS_NO_PROFILE_FN_ATTR

• +CONFIG_ASN1=m

  cifs: decoding negTokenInit with generic ASN1 decoder

  Selected by [m]:
  - CIFS [=m] && NETWORK_FILESYSTEMS [=y] && INET [=y]

• +CONFIG_HAVE_KVM_PM_NOTIFIER=y

  kvm: add PM-notifier

• +CONFIG_HUGETLB_PAGE_FREE_VMEMMAP=y

  mm: hugetlb: introduce a new config HUGETLB_PAGE_FREE_VMEMMAP

• +CONFIG_IOMMU_SVA_LIB=y

  iommu/vt-d: Use iommu_sva_alloc(free)_pasid() helpers

• +CONFIG_SECRETMEM=y

  mm: introduce memfd_secret system call to create “secret” memory areas

• +CONFIG_X86_PLATFORM_DRIVERS_INTEL=y

  platform/x86: intel_skl_int3472: Move to intel/ subfolder

• -CONFIG_CLKDEV_LOOKUP=y

  clkdev: remove CONFIG_CLKDEV_LOOKUP

  CONFIG_HAVE_CLK に統合．

• -CONFIG_DRM_KMS_FB_HELPER=y

  drm: Remove DRM_KMS_FB_HELPER Kconfig option

  It’s only used by DRM_FBDEV_EMULATION, so inline it there.

• -CONFIG_HAVE_IDE=y

  ide: remove the legacy ide driver

  The legay ide driver has been replace with libata starting in 2003 and has been scheduled for removal for a while.

• -CONFIG_MAX_RAW_DEVS=256
-CONFIG_RAW_DRIVER=m

  remove the raw driver

  The raw driver used to provide direct unbuffered access to block devices before O_DIRECT was invented. It has been obsolete for more than a decade.

• -CONFIG_NEED_MULTIPLE_NODES=y

  mm: replace CONFIG_NEED_MULTIPLE_NODES with CONFIG_NUMA

• -CONFIG_X86_RESERVE_LOW=64

  x86/setup: Remove CONFIG_X86_RESERVE_LOW and reservelow= options

• +CONFIG_AX88796B_PHY=m

  net: usb/phy: asix: add support for ax88772A/C PHYs

  手元では USB_NET_AX8817X で select されている．

bullseye の nvidia の以下の driver については https://gist.github.com/joanbm/144a965c36fc1dc0d1f1b9be3438a368 のパッチが必要．

• nvidia-kernel-dkms 460.91.03-1
• nvidia-legacy-390xx-kernel-dkms 390.144-1

nvidia-kernel-dkms についてはそのまま patch apply 可能，nvidia-legacy-390xx-kernel-dkms については以下ぐらい．

• dev->pdev = pdev; 削除
• current->state = TASK_INTERRUPTIBLE; を WRITE_ONCE(current->__state, TASK_INTERRUPTIBLE); に変更

参考:

• sched: Change task_struct::state
• drm: Remove pdev field from struct drm_device

Related articles

• 2024/04/08 13:19 / Linux 6.8.4
• 2022/04/18 15:22 / Linux 5.17
• 2021/07/19 11:11 / Linux 5.13
• 2021/04/28 18:58 / Linux 5.12
• 2021/01/13 21:27 / brtfs 上に swap ファイルを置く
• 2020/09/11 20:24 / Linux 5.9-rc4
• 2020/07/12 16:42 / Linux 5.8-rc4
• 2020/05/01 21:21 / Linux 5.7-rc1
• 2020/04/03 22:18 / Linux 5.6.x fs/cachefiles/rdwr.c bug
• 2020/02/22 19:33 / Linux 5.6-rc2
• 2020/01/11 20:50 / Linux 5.5-rc5
• 2019/11/25 14:45 / nvidia-kernel-dkms 418.74-1 with Linux 5.4
• 2019/10/02 00:03 / Linux 5.3.1 -> 5.4-rc1
• 2019/09/20 14:45 / nvidia-kernel-dkms 418.74-1 with Linux 5.3
• 2019/07/22 19:13 / Linux 5.2.2 -> 5.3-rc1
• 2019/06/28 20:38 / GeForce GT 430 with nvidia-legacy-390xx-kernel-dkms 390.116-1~bpo9+1
• 2019/06/12 16:10 / Linux 5.1.8 -> 5.2-rc4
• 2019/05/07 19:43 / Linux 5.0.9 -> 5.1.0
• 2019/03/07 22:16 / Linux 4.20.13 -> 5.0.0
• 2018/11/06 11:30 / Linux 4.19.0 -> 4.20-rc1
• 2018/08/29 11:06 / Linux 4.18.5 -> 4.19-rc1
• 2018/06/20 17:06 / Linux 4.17.2 -> 4.18-rc1
• 2018/04/19 15:25 / Linux 4.16.2 -> 4.17-rc1
• 2018/02/12 17:23 / Linux 4.15.3 -> 4.16-rc1
• 2018/01/29 11:08 / Linux 4.14.15 -> 4.15
• 2017/11/28 12:42 / Linux 4.14.2 -> 4.15-rc1
• 2017/11/15 15:56 / Linux ORC unwinder と objtool (CONFIG_STACK_VALIDATION needs tools/objtool/objtool along headers)
• 2017/11/15 15:41 / Linux 4.13.12 -> 4.14.0
• 2017/09/18 07:04 / Linux 4.13.1 -> 4.14-rc1
• 2017/09/05 04:14 / Linux 4.12.10 -> 4.13
• 2017/07/16 23:56 / Linux 4.12.0 -> 4.13-rc1
• 2017/05/15 14:04 / Linux 4.11.0 -> 4.12-rc1
• 2017/05/03 00:24 / Linux 4.10.13 -> 4.11.0
• 2017/03/06 09:51 / Linux 4.10.1 -> 4.11-rc1
• 2017/02/20 10:31 / Linux 4.9.X -> 4.10
• 2016/12/30 21:28 / Linux 4.9 -> 4.10-rc1
• 2016/12/14 23:00 / Linux 4.8 -> 4.9

もしかしたら英語で使っているのが原因なだけかもしれないが，Adobe Acrobat Pro DC で長さの単位がインチ(Inches)になっていて感じ悪い．Edit → Preferences → Unit & Guides から Page & Ruler Units を Inches から Millimeters に変更すると，単位がミリになる．

https://www.debian.org/releases/bullseye/amd64/release-notes/ch-upgrading.ja.html を参照しつつ進める．

• Debian 由来でないパッケージを確認する

  aptitude search '?narrow(?installed, ?not(?origin(Debian)))'

• /etc/apt/sources.list 更新

• 残っている設定ファイルを取り除く

  find /etc -name '*.dpkg-*' -o -name '*.ucf-*' -o -name '*.merge-error'

• システムの最小アップグレード

  apt upgrade --without-new-pkgs

メールサーバ(Courier Mail Server)から手元の独自メールサーバに fetchmail でメールを取り出しているのだけど(POP)，fetchmail は UTF-8 をサポートしておらず，8bit を含む Subject のメールは POP される際に Courier Mail Server 側で 以下のように変換される．

MUA がこういった表示をしているのかと思ってたのだけど，fetchmail の問題で Courier Mail Server が変換していた．大抵 Subject は MIME で Encode されて 7bit で送信されるので，8bit Subject で送信されるのは SPAM がほとんどだけどちょっと気になる．

Received: from pop.example.com [xx.xx.xx.xx]
    by client.example.com with POP3 (fetchmail-6.4.0.beta4)
    for <myn@localhost> (single-drop); Tue, 17 Aug 2021 20:50:24 +0900 (JST)
From: Mail Delivery Subsystem <postmaster>
Subject: Cannot display Unicode content
Mime-Version: 1.0
Content-Type: multipart/mixed; boundary="=_XXXXXX-XXXXXXXXXX"



--=_XXXXXX-XXXXXXXXXX
Content-Type: text/plain

This E-mail message was determined to be Unicode-formatted
but your E-mail reader does not support Unicode E-mail.

Please use an E-mail reader that supports POP3 with UTF-8
(see https://tools.ietf.org/html/rfc6856.html).

This can also happen when the sender's E-mail program does not
correctly format the sent message.

The original message is included as a separate attachment
so that it can be downloaded manually.

--=_XXXXXX-XXXXXXXXXX
Content-Type: message/global

https://gitlab.com/fetchmail/fetchmail/-/issues/14 のとおり Issue 登録はされている．

なお，fetchmail には他に 32bit 問題があって，サーバのスプール容量が 2G を超えると log に spool サイズがマイナスで表示される，というのがあって，直る気配がない．ログを漁ってたらちょうどマイナスに切り替わるタイミングがあったので，以下．

fetchmail: 68112 messages (68112 seen) for myn at mail.example.com (2137611084 octets).
fetchmail: 68113 messages (68112 seen) for myn at mail.example.com (-2145081713 octets).

ちなみに，以前は Courier Mail Server 側で UTF8 コマンドのチェックをしていなかったはずで，調べてみたら以下の commit とかで導入されたらしい．

• https://github.com/svarshavchik/courier-libs/commit/14179a773e02455620b8db480e5cde990301bdb1
• https://github.com/svarshavchik/courier-libs/commit/befd23187c407f2462d0abc6359db46c5dd22a66

追記 (2021/9/3)

fetchmail 6.4.0~beta4-3+deb10u1 を bullseye の 6.4.16-4 に上げたら，上記 (-2145081713 octets). が表示されなくなった．加えて改行まで消える様子で，log がやたら見づらい．．．どうやら report.c の bug で https://gitlab.com/fetchmail/fetchmail/-/commit/d3db2da1d13bd2419370ad96defb92eecb17064c のパッチが必要な様子．修正すると，(8367740453 octets) とか表示された．．．Maildir でため過ぎ．．．

参考:

• [Fetchmail-users] UTF-8 support?

作業中で git add していないファイルが溜まってきていて，しかもその内容はもう見たくもない，が，あとで参照する可能性はある．．．という状況で，git status で大量にそういったファイルがリストされるので，なんとかしたい(なんともならないけど)．

まとめてそういったファイルをある新しい directory に移動してしまったら，リストされる行が1行になるので，見た目ストレスが軽減される(なお，通常は git stash -u するが，stash したことを絶対忘れそうなので，git status でなにか untracked なものがあることはリマインドしたい，という話)．

untracked files の list は，あまり git の command を覚えていない私的には以下．

% git status -s . | grep '^\?\?'

ただしこれだと，スペースを含むファイルがある際に以下のように double quote を含むようになり，パイプしづらい．

?? "test death.txt"

ということで，調べた範囲だと，以下とするのが良さそう．

git ls-files --others --exclude-standard --directory .

• --others: untracked files をリストする．
• --exclude-standard: ignore (.gitignore とか)を適用する．
• --directory: directory まるごと untracked の場合は directory のみ表示(この option がなければ個別のファイルがすべてリストされる)

幸い今処理したい working repository では sub-directory に untracked なファイルがないので，

% mkdir work-old
% git ls-files --others --exclude-standard --directory . | while read i ; do mv -v "$i" work-old ; done

ぐらいで1つの directory に untracked files をまとめてしまえる．あるいは -z を使うと null 文字区切りにできるので，以下．

% mkdir -p work-old
% git ls-files --others --exclude-standard --directory -z . | xargs -0 mv -t work-old

mv の -t は予め移動先を指定してしまう方法．なお，いずれも work-old も ls-files されてしまうので，以下のように怒られるけど気にしない．

mv: cannot move 'work-old/' to a subdirectory of itself, 'work-old/work-old'

なお，通常は git stash -u する(再度)．

Related articles

• 2021/02/03 16:25 / find した結果それぞれに対する処理

Web サーバ兼 MTA なサーバを(ある組織で)共有で使っているのだけど，以前は SPAM 対策がされていた(おそらくプロプライエタリなもので，SPAM を隔離した旨メールが届いて，Web から確認するタイプのもの)のだけど，サーバリプレースに伴いその機能がなくなり，SPAM が多くなってきた(特に ML で悲惨)ので対策．

もともと procmail + fml でなんとなくシステムを作ってあるので(MTA は postfix と qmail の併用)，procmail から簡単に使える SpamAssassin を利用する．タイトルどおりユーザ権限で，必要なものをどんどん入れていく．のメモ．

方針としては以下．

• Perl の Module は可能な限り CPAN を使って入れる．
• SpamAssassin も cpan Mail::SpamAssassin で Install できれば簡単だけど，依存するものの，特に test 段階で失敗するものがあり，SpamAssassin は手動で入れることにする．

まず，SpamAssassin の機嫌を尋ねる．

• Mail-SpamAssassin-3.4.6 取得，展開
• 基本的には perl Makefile.PL で Makefile ができて，あとは make; make install という流れだけど，perl Makefile.PL の段階で依存にするものがリストされるので，それを順番に入れていく(入れられないものは諦める)

ユーザ権限で CPAN でモジュールを入れると ~/perl5/ にファイルがインストールされていく．加えて ~/.cpan/ に管理用(や build)のファイルが溜まっていく．手元環境でインストールしたもの，以下．たぶん．順番とか怪しい．

• Net::DNS
• YAML
• NetAddr::IP
• Log::Log4perl
• IO::String
• Net::CIDER::Lite
• BSD::Resource
• Geo::IP
• GeoIP2::Database::Reader
• IP::Country::DB_File
• IO::Socket::INET6
• Mail::SPF (失敗)
• Mail::DKIM (失敗)
• Net::Patricia (失敗 → あきらめ; 8/16 改めて cpan Net::Patricia したら Install できた)
• Net::LibIDN2 (失敗; なにかが依存していたはず)

Mail::SPF は /usr/sbin にファイル(spfd)を copy しようとして失敗する(権限がない; see https://rt.cpan.org/Public/Bug/Display.html?id=34768)．以下のようにして $HOME/perl5/bin にインストールするようにする．spfd は今のところ使わないつもり．

cpan Mail::SPF (→ install でコケる)
cd ~/.cpan/build/Mail-SPF-v2.9.0-0 (build directory に移動)
sed 's,/usr/sbin,/home/myn/perl5/bin,' -i Build.PL
cpan .

Mail::DKIM はまず依存する Crypt::OpenSSL::RSA や Crypt::OpenSSL::Random のインストールでこける．これは，手元では独自に OpenSSL をインストールしていて，その OpenSSL のパスを探せず(あるいは設定できず)に嵌った．

Crypt::OpenSSL::RSA は Crypt::OpenSSL::Guess に依存して，これがパスを探してくれるが，カスタムなパスをどのように渡すが謎だったので，直接推定(？)させることにした．~/perl5/lib/perl5/Crypt/OpenSSL/Guess.pm の @guesses という連想配列の先頭に '/home/myn/local/bin/openssl' => '/home/myn/local', を追加して，確実にこれが推定されるようにする．ほか rpath 関連もなにか問題があったような気がするが(~/.cpan/CPAN/MyConfig.pm で makepl_arg で LIBS や INC を自前で指定していると Crypt::OpenSSL::Guess の推定が使われないとかだったように思う; makepl_arg の設定をなくし，Crypt::OpenSSL::Guess で正しく推定できれば LD_RUN_PATH 付きで build されていたような気がする)．

Mail::DKIM が依存するものがインストールできたとして，次は Mail::DKIM の test でコケる．t/policy.t と t/public_key.t のテストでコケていて，

cd ~/.cpan/build/Mail-DKIM-1.20200907-0
% perl -Ilib t/policy.t
1..19
ok 1 - new() works
ok 2 - parse() works
DNS query timeout for _domainkey.policy.test.authmilter.org at lib/Mail/DKIM/DNS.pm line 100.

これ，8.8.8.8 (Google の Public DNS) および 1.1.1.1 (Cloudflare の Public DNS) を DNS サーバ(リゾルバ)としてテストするのが原因(ゲートウェイをパケットが通らない環境なので．．．)．それぞれのテストファイルのリゾルバ(のリスト)の箇所を手元の /etc/resolv.conf に合わせて修正して解決．

Net::LibIDN2 は，そもそも libidn2 (IDN (internationalized domain names) の encode/decode ライブラリ)を install するところから(システム側にヘッダファイルが用意されていない．．．)．

wget https://ftp.gnu.org/gnu/libidn/libidn2-2.3.2.tar.gz
tar zxfv libidn2-2.3.2.tar.gz
cd libidn2-2.3.2
./configure --prefix=/home/myn/local
make
make install

そのうえで cpan Net::LibIDN2 が上記 install した libidn2 を見つけられずに当然ハマる．上記 libidn2.so の symbol が見つけられず perl module LibIDN2.so が load できない，とか．以下でなんとかする．cpan する前に ./Build したかも．いずれにせよ --extra_linker_flags でしていた option 付きで link された LibIDN2.so が ~/perl5/lib/perl5/x86_64-linux-thread-multi/auto/Net/LibIDN2/LibIDN2.so にインストールされれば OK．ldd LibIDN2.so で自前インストールの libidn2.so に link されているか確認できる．

cd .cpan/build/Net-LibIDN2-1.01-0
perl Build.PL --extra_compiler_flags=-I/home/myn/local/include --extra_linker_flags='-L/home/myn/local/lib -lidn2 -Wl,--rpath,/home/myn/local/lib'
cpan .

色々整った段階でようやく Mail-SpamAssassin をインストール．

tar jxfv Mail-SpamAssassin-3.4.6.tar.bz2
cd Mail-SpamAssassin-3.4.6
perl Makefile.PL CONTACT_ADDRESS=admin@example.com
make
make install

~/perl5/bin/spamassassin に install される．CONTACT_ADDRESS を指定しないとインタラクティブに聞かれる．

SpamAssassin 設定

もう疲れたので，手短に．

% spamassassin -D < mail_file

とかでテストする．はじめは rule が存在しないので sa-update で取得する(かつ cron を仕込んでおく)．なお ~/perl5/var/spamassassin/3.004006/ に rule ファイルが置かれる．

~/.spamassassin/user_prefs にユーザ設定を置く．

required_score 10
score SUBJECT_ENCODED_TWICE 0
score DNS_FROM_AHBL_RHSBL 0
report_safe 0
internal_networks 1XX.XX.XX.XX....

whitelist_from ...@....

SPAM 判定のしきい値は高め(10; default は 5)に設定した．スコア 0 にしているものは，以前そのような設定にしたもので，今でもこのルールがあるかどうかは確認していない．internal_networks にはこのメールサーバに到達するために通常通過するサーバをリストする(それらの IP address の良し悪しを評価しなくなる; 評価すると SPAM Score が通常は下がる)．

whitelist_from は welcomelist_from に将来的に(Target Milestone: 4.0.0)変更になる様子だが，現時点(3.4.6)では welcomelist_from と書くと parse error になる．なお，blacklist_from は blocklist_from になる．ただし，spamassassin の report では USER_IN_BLACKLIST DEPRECATED: See USER_IN_BLOCKLIST とか表示されるので感じ悪い．

あとは procmail から spamassassin を filter として呼び出して，その結果に応じて処理をする．procmail をローカル配送に使っていないので，無理やり procmail を呼び出すようにしていて，

[~/.qmail-hoge]
|/usr/bin/procmail /home/myn/spool/procmail/hoge

そのレシピファイルで spamassassin を通して，その結果に応じて処理を変える．以下では spam@example.com に転送しているが，これはローカル配送を想定していて，結果同じメールサーバ(example.com)の Maildir に保存されていく，みないな設定にした．なお spamassassin.lock のロックファイルは $HOME/spamassassin.lock に作成される．

[/home/myn/spool/procmail/hoge]
LOGFILE=$HOME/spool/procmail/log/hoge.`date +%Y-%m`
SENDMAIL=/var/qmail/bin/sendmail
DEFAULT=$HOME/Maildir/.myn/

:0fw: spamassassin.lock
* < 10000000
| /home/myn/perl5/bin/spamassassin

:0
* ^X-Spam-Flag: YES
!spam@example.com

:0c
!myn@example.com

あと，はじめはあまり賢くないので，sa-learn --ham および sa-learn --spam で HAM (!SPAM)と SPAM の違いを覚えさせる．ある程度覚えるとあとは autolearn してくれる(はず)．

追記 (2021/8/15)

高速化のために re2c をインストールして，rule ファイルを native code にコンパイルできるようにしていたのだけど，手動で sa-compile する必要があるのを忘れていた(sa-update とともに cron に仕込む)．

ただし，手元の CPAN 環境では，手動で実行した感じ以下のようにエラーで落ちる．

Aug 15 14:15:06.345 [4115915] info: generic: base extraction starting. this can take a while...
Aug 15 14:15:06.345 [4115915] info: generic: extracting from rules of type body_0
100% [==========================================================================================] 5277.67 rules/sec 00m00s DONE
100% [==========================================================================================] 4722.65 bases/sec 00m00s DONE
Aug 15 14:15:07.069 [4115915] info: body_0: 1328 base strings extracted in 1 seconds
cd /tmp/.spamassassin4115915hkQrfJtmp
reading bases_body_0.in
cd Mail-SpamAssassin-CompiledRegexps-body_0
re2c -i -b -o scanner1.c scanner1.re
re2c -i -b -o scanner2.c scanner2.re
re2c -i -b -o scanner3.c scanner3.re
re2c -i -b -o scanner4.c scanner4.re
re2c -i -b -o scanner5.c scanner5.re
re2c -i -b -o scanner6.c scanner6.re
re2c -i -b -o scanner7.c scanner7.re
/usr/bin/perl Makefile.PL PREFIX=/tmp/.spamassassin4115915hkQrfJtmp/ignored INSTALLSITEARCH=/home/myn/perl5/var/spamassassin/compiled/5.026/3.004006 
Only one of PREFIX or INSTALL_BASE can be given.  Not both.
command failed: exit 25

CPAN の初期設定段階で ~/.zshrc に以下が書かれていたのが原因の様子．ということで PERL_MM_OPT= sa-compile でうまく compile できる．

PERL_MM_OPT="INSTALL_BASE=/home/myn/perl5"; export PERL_MM_OPT;

踏まえて仕込んだ cron (から呼ばれる script)はだいたい以下のような感じ．case 文は Debian の /etc/cron.daily/spamassassin を参考にした．

/home/myn/perl5/bin/sa-update
case $? in
    0)
        # got updates!
        PERL_MM_OPT= sa-compile
        ;;
    1)
        # no updates
        ;;
    2)
        # lint failed!
        ;;
    *)
        echo "sa-update failed for unknown reasons" 1>&2
        ;;
esac

コンパイルされたものは ~/perl5/var/spamassassin/compiled/ に置かれることになる．

追記 (2021/8/16)

書き忘れていた．コンパイルされた rule を利用するには ~/perl5/etc/mail/spamassassin/v320.pre の以下の行のコメントアウトを外す．

loadplugin Mail::SpamAssassin::Plugin::Rule2XSBody

Related articles

• 2018/10/14 03:06 / procmail レシピメモ
• 2015/04/23 13:07 / Email clients on Linux

Sync content across all devices with Drive for desktop のとおり Backup and Sync (バックアップと同期) から Drive for Desktop (パソコン版 Google ドライブ)への移行が推奨されている．というか Backup and Sync は今後使えなくなる．

移行についてもう少し詳細な Instruction が公開されるのでは？ とか思って様子見していたのだけど，特にそういった気配はなく，どうやら単に Drive for Desktop をインストール(Backup and Sync に対して上書きインストール？)すれば良いらしい(←と，どこかに書いておいてくれてたら良かったのに．．．)．

Drive for Desktop インストール時のメモ(Backup and Sync がすでにインストールされている場合)．

• Backup and Sync で利用しているアカウントについて，Drive for Desktop でもログインをうながされる

• Backup and Sync の設定(ローカルファイルの Google Drive への同期設定)がチェックされる(20分ほどかかっていた)

  • 同期漏れファイルがあると同期される

• 同期の方式について Stream files と Mirror files のいずれかを選択

  • Stream files: 必要に応じて Cloud からファイルを download．Offline 化が必要なファイルは個別に指定．
  • Mirror files: すべてのファイルを Cloud と Local の双方に保存(Backup and Sync にあった特定のフォルダのみ同期，という機能はなし)．

  Stream files を選択した．

• ローカルフォルダの同期先を Google Drive と Google Photo のいずれかから選択(写真・動画のみを保存しているフォルダについては，その旨通知されて Google Photo をおすすめされる)．

  すべて Google Drive にしておいた．

• Google Drive はネットワークドライブとして扱われる．

  Backup and Sync では C:\Users\<username>\Google Drive\ にマウントされていて，WSL からも /mnt/c/Users/<username>/Google Drive/ でアクセスできていた．

  Drive for Desktop ではネットワークドライブを WSL 側でどこか適当なマウントポイントにマウントする必要がある．

• 複数アカウントで Backup and Sync を利用していた場合，そのそれぞれで Drive for Desktop の設定を行う必要がある(確か，ここでスキップすると後で設定の引き継ぎはできない，とかそんな説明が出ていたような気がする)．

• 複数アカウントで Backup and Sync を利用していた場合，Windows の通知領域 (notification area) にアカウントごとの Backup and Sync アイコンが表示されるが，Drive for Desktop ではアイコン1つ．

• Drive for Desktop インストールの最後で Backup and Sync を削除するか尋ねられて，削除すると移行完了．

Inbox by Gmail の機能(の一部)が Gmail に統合されて久しいが，そのうちスヌーズ機能に関して，以前スヌーズしたメールを探すやり方などなどがよくわからなかったので，メモ．公式ドキュメントにはいまいち明記されていない様子．

• スヌーズ中のメール: in:snoozed
• スヌーズ期間が終了したメール: label:pinned

手元で試した感じこれらは排他的になっていて，snooze 終了後に pinned というラベルが付加され，再度 snooze すると pinned というラベルが削除される，という仕様になっている様子．なので，両方同時にリストするには in:snoozed OR label:pinned とする(in:snoozed OR label:pinned だと ∅)．

なお，pinned というラベルは Inbox by Google の「ピン留め」機能の名残っぽい．

参考:

• StackExchange: How to find an email in Gmail that was snoozed in Google Inbox?

いつのまにか Login する度に Xilinx Information Center (xic) と Skype for Linux と Teams が起動するようになっていて，それらを止めたいという話．~/.config/autostart/ にある .desktop file を削除すると解決する．

日本語で書いた Markdown を pandoc で変換する際，改行がスペースに変換されてしまう問題，east_asian_line_breaks という拡張が存在していてそれを使えば解決できるらしい．今まで改行なしでパラグラフを書いていて，git diff とかが見づらかったのだが，これで解決できる．

% cat test.md
これ
は
this is
a test
です
% cat test.md | pandoc -f markdown
<p>これ は this is a test です</p>
% cat test.md | pandoc -f markdown+ignore_line_breaks
<p>これはthis isa testです</p>
% cat test.md | pandoc -f markdown+east_asian_line_breaks
<p>これは this is a test です</p>

Related articles

• 2022/10/30 15:05 / pandoc で生成される HTML における改行の扱い
• 2021/04/29 13:58 / Markdown のスペース数問題
• 2018/05/02 10:11 / pandoc 1.19.2.4~dfsg-1+b3 -> 2.2-1

WordPress が動作しているサーバでいろいろコマンドラインから操作するには WP-CLI を使えば良いのだが，そうではなくて WordPress が用意している API を叩くというアプローチは無いのだろうか？ と思ったら，当然あって，REST APIが用意されている．

認証まわりも Application Passwords が使えて，Application Passwords Plugin 自体 WordPress 5.6 で本体に取り込まれている．

ということでApplication Passwords: Integration Guideに従って使ってみようとしたのだが，Basic Auth (ベーシック認証)がうまく行かず悩む．

% curl --user 'USERNAME:PASSWORD' 'https://myn.example.com/?rest_route=/wp/v2/users/me' | jq

上でユーザ情報が得られたら正しく動作していることになるのだが，以下が返ってくる．

{
  "code": "rest_not_logged_in",
  "message": "You are not currently logged in.",
  "data": {
    "status": 401
  }
}

そもそも PHP が Basic Auth の情報を受け取らなければ，認証情報が WordPress に渡らないわけで，HTTP authentication with PHP を参考にテストしつつ，最終的には https://www.php.net/manual/en/features.http-auth.php#114877 にある以下を .htaccess に書いて，正しく動作するようになった(お名前.com 共用サーバーSD)．

SetEnvIf Authorization .+ HTTP_AUTHORIZATION=$0

これがあると HTTP_AUTHORIZATION という環境変数で HTTP ヘッダの Authorization の情報(Basic ...)が PHP に渡される．

あと，メモがてら Server process から CGI が起動される際に渡される環境変数をチェックするためのスクリプト(サーバの情報ダダ漏れになるので，使ったあとは削除)．

[test.cgi]
#!/bin/sh

echo Content-Type: text/plain
echo
env

REST API が使えるようになったので，いちいち Web I/F で操作していた部分を一部自動化しようかと．

追記 (2021/7/23)

どうやら Pages の Update ができない．https://developer.wordpress.org/rest-api/reference/pages/ を見る限り API は用意されていそうなのだけど，POST 自体は成功する(content の raw で新しいデータを POST)けど更新されない．．．

Linux 5.13 出てた．5.12.XX から .config がどう変更されるのか見てみた．以下 - は削除されたもの，+ は追加されたもの．x86_64．今回やるきなし．New features 等は https://www.phoronix.com/scan.php?page=article&item=linux-512-features 参照．Apple M1 support．

+CONFIG_ARCH_MHP_MEMMAP_ON_MEMORY_ENABLE=y
+CONFIG_ARCH_USE_MEMTEST=y
+CONFIG_AS_IS_GNU=y
+CONFIG_AS_VERSION=23101
+CONFIG_DRM_I915_REQUEST_TIMEOUT=20000
+CONFIG_HAVE_ARCH_RANDOMIZE_KSTACK_OFFSET=y
+CONFIG_MODPROBE_PATH="/sbin/modprobe"
+CONFIG_MODULE_COMPRESS_NONE=y
+CONFIG_NETFILTER_XTABLES_COMPAT=y
+CONFIG_NETFS_SUPPORT=y
+CONFIG_NET_SELFTESTS=y
+CONFIG_NET_SOCK_MSG=y
+CONFIG_NET_VENDOR_MICROSOFT=y
+CONFIG_PCPU_DEV_REFCNT=y
+CONFIG_SND_CTL_LED=m
-CONFIG_BOUNCE=y
-CONFIG_HAVE_NET_DSA=y
-CONFIG_TOUCHSCREEN_PROPERTIES=y

• CONFIG_BOUNCE

  block: remove BLK_BOUNCE_ISA support で ZONE_DMA に依存しなくなり n になった．

• CONFIG_HAVE_NET_DSA

  dsa: simplify Kconfig symbols and dependencies で削除された．

• CONFIG_TOUCHSCREEN_PROPERTIES

  Input: touchscreen - move helper functions to core で core に移動した．

追記 (2021/7/19)

Linux 5.13 では以下が compile できない．

• nvidia-kernel-dkms 460.73.01-1~bpo10+1
• nvidia-legacy-390xx-kernel-dkms 390.143-1~bpo10+1

/var/lib/dkms/nvidia-current/460.73.01/build/nvidia-drm/nvidia-drm-modeset.c: In function ‘__will_generate_flip_event’:
/var/lib/dkms/nvidia-current/460.73.01/build/nvidia-drm/nvidia-drm-modeset.c:96:23: warning: unused variable ‘primary_plane’ [-Wunused-variable]
     struct drm_plane *primary_plane = crtc->primary;
                       ^~~~~~~~~~~~~
   ./tools/objtool/objtool orc generate  --module  --no-fp   --retpoline  --uaccess  /var/lib/dkms/nvidia-current/460.73.01/build/nvidia-drm/nvidia-drm-linux.o
   ./tools/objtool/objtool orc generate  --module  --no-fp   --retpoline  --uaccess  /var/lib/dkms/nvidia-current/460.73.01/build/nvidia-drm/nv-pci-table.o
/var/lib/dkms/nvidia-current/460.73.01/build/nvidia-drm/nvidia-drm-crtc.c:311:23: error: initialization of ‘int (*)(struct drm_plane *, struct drm_atomic_state *)’ from incompatible pointer type ‘int (*)(struct drm_plane *, struct drm_plane_state *)’ [-Werror=incompatible-pointer-types]
     .atomic_check   = nv_drm_plane_atomic_check,
                       ^~~~~~~~~~~~~~~~~~~~~~~~~
/var/lib/dkms/nvidia-current/460.73.01/build/nvidia-drm/nvidia-drm-crtc.c:311:23: note: (near initialization for ‘nv_plane_helper_funcs.atomic_check’)
/var/lib/dkms/nvidia-current/460.73.01/build/nvidia-drm/nvidia-drm-crtc.c:312:23: error: initialization of ‘void (*)(struct drm_plane *, struct drm_atomic_state *)’ from incompatible pointer type ‘void (*)(struct drm_plane *, struct drm_plane_state *)’ [-Werror=incompatible-pointer-types]
     .atomic_update  = nv_drm_plane_atomic_update,
                       ^~~~~~~~~~~~~~~~~~~~~~~~~~
/var/lib/dkms/nvidia-current/460.73.01/build/nvidia-drm/nvidia-drm-crtc.c:312:23: note: (near initialization for ‘nv_plane_helper_funcs.atomic_update’)
/var/lib/dkms/nvidia-current/460.73.01/build/nvidia-drm/nvidia-drm-crtc.c:313:23: error: initialization of ‘void (*)(struct drm_plane *, struct drm_atomic_state *)’ from incompatible pointer type ‘void (*)(struct drm_plane *, struct drm_plane_state *)’ [-Werror=incompatible-pointer-types]
     .atomic_disable = nv_drm_plane_atomic_disable,
                       ^~~~~~~~~~~~~~~~~~~~~~~~~~~

460.67 Incompatible with Kernel 5.13 at the moment の patch を当てる必要がある．nvidia-legacy-390xx-kernel-dkms については patch に失敗するので手動で調整．

Related articles

• 2024/04/08 13:19 / Linux 6.8.4
• 2022/04/18 15:22 / Linux 5.17
• 2021/09/08 12:13 / Linux 5.14
• 2021/04/28 18:58 / Linux 5.12
• 2021/01/13 21:27 / brtfs 上に swap ファイルを置く
• 2020/09/11 20:24 / Linux 5.9-rc4
• 2020/07/12 16:42 / Linux 5.8-rc4
• 2020/05/01 21:21 / Linux 5.7-rc1
• 2020/04/03 22:18 / Linux 5.6.x fs/cachefiles/rdwr.c bug
• 2020/02/22 19:33 / Linux 5.6-rc2
• 2020/01/11 20:50 / Linux 5.5-rc5
• 2019/11/25 14:45 / nvidia-kernel-dkms 418.74-1 with Linux 5.4
• 2019/10/02 00:03 / Linux 5.3.1 -> 5.4-rc1
• 2019/09/20 14:45 / nvidia-kernel-dkms 418.74-1 with Linux 5.3
• 2019/07/22 19:13 / Linux 5.2.2 -> 5.3-rc1
• 2019/06/28 20:38 / GeForce GT 430 with nvidia-legacy-390xx-kernel-dkms 390.116-1~bpo9+1
• 2019/06/12 16:10 / Linux 5.1.8 -> 5.2-rc4
• 2019/05/07 19:43 / Linux 5.0.9 -> 5.1.0
• 2019/03/07 22:16 / Linux 4.20.13 -> 5.0.0
• 2018/11/06 11:30 / Linux 4.19.0 -> 4.20-rc1
• 2018/08/29 11:06 / Linux 4.18.5 -> 4.19-rc1
• 2018/06/20 17:06 / Linux 4.17.2 -> 4.18-rc1
• 2018/04/19 15:25 / Linux 4.16.2 -> 4.17-rc1
• 2018/02/12 17:23 / Linux 4.15.3 -> 4.16-rc1
• 2018/01/29 11:08 / Linux 4.14.15 -> 4.15
• 2017/11/28 12:42 / Linux 4.14.2 -> 4.15-rc1
• 2017/11/15 15:56 / Linux ORC unwinder と objtool (CONFIG_STACK_VALIDATION needs tools/objtool/objtool along headers)
• 2017/11/15 15:41 / Linux 4.13.12 -> 4.14.0
• 2017/09/18 07:04 / Linux 4.13.1 -> 4.14-rc1
• 2017/09/05 04:14 / Linux 4.12.10 -> 4.13
• 2017/07/16 23:56 / Linux 4.12.0 -> 4.13-rc1
• 2017/05/15 14:04 / Linux 4.11.0 -> 4.12-rc1
• 2017/05/03 00:24 / Linux 4.10.13 -> 4.11.0
• 2017/03/06 09:51 / Linux 4.10.1 -> 4.11-rc1
• 2017/02/20 10:31 / Linux 4.9.X -> 4.10
• 2016/12/30 21:28 / Linux 4.9 -> 4.10-rc1
• 2016/12/14 23:00 / Linux 4.8 -> 4.9

2020/9/15 17:56 / 256-bit AES encrypted PDF file に書いたとおりなのだけども，バルク処理したい時のメモ．

% for i in *hoge*.pdf ; do pdftk "$i" input_pw XXXX output "$i:r-decrypt.pdf" ; done

で一旦確認してから，

% for i in *-decrypt.pdf ; do mv -v "$i" "${i%-decrypt.pdf}.pdf" ; done

とか．

Related articles

• 2020/09/15 17:56 / 256-bit AES encrypted PDF file

以前一度作成して，その修正(具体的には keybind を追加)したくて，なかなか思い出せなかったので備忘まで．

端的には generic.el の define-generic-mode というマクロを使う．ここで，呼び出される関数を定義可能なので，そこで keybind (keymap) を書く．keymap の object (構造) は make-sparse-keymap で作成する．そこに define-key で key を追加していく．こうして作った keymap を利用するには use-local-map を使う(というのを mode が呼び出される際に評価されるように書いておく)．

参考:

• https://qiita.com/tm_tn/items/3b40b5ab5e72750ffd7f

今まで気づかなかったのだが，pLaTeX では全角疑問符(？)の後にスペースが入るらしい．LaTeX で書くような文章であまり全角疑問符を使わなかったから気づかなかったなのかも．

ただし「？」の後が全角の「）」だとスペースが入らない．「？」の後にスペースを入れないようにするには \mbox{？} とする．

日本語の文章での括弧は全角を使うべきということになっている(*1)のだけど，あんまり全角括弧は使いたくなくて，その割に疑問符(感嘆符も)については全角の方が大きくてインパクトがあるので全角を使いたい，という妙なこだわりで無駄に嵌る．

*1: 英文フォントの半角括弧はディセンダの箇所(yやgのベースラインから下の箇所)まであるので，括弧が下にはみ出るように見える)

\begin{itemize}
\item \mbox{？}A
\item ？A
\item ？\,A
\item ？~A
\item ？ A
\item \mbox{？}あ
\item ？あ
\item ？\,あ
\item ？~あ
\item ？ あ
\item ?A
\item (？)A
\item (?)A
\item （？）A
\item （?）A
\end{itemize}

MediaWiki で docx ファイルを移動(rename)しようとすると以下のように怒られる．

The page could not be moved, for the following reason:
The new file extension does not match its type.

もとの docx は手元では MIME type: application/zip としてアップロードされており，たぶん拡張子が .zip ではないということで怒られているような気がする．MS Word のファイル(docx)が zip であると判定されるのは，docx が実は zip であるというだけ(拡張子を zip に変更すると zip で展開できる)．

一旦削除して再アップロードしてしまったので，解決可能か全く不明だが，LocalSettings.php に以下を書いておくことにした．

$wgMimeDetectorCommand = "file -bi";

file コマンドは docx を application/vnd.openxmlformats-officedocument.wordprocessingml.document と判定する．ただし https://www.mediawiki.org/wiki/Manual:$wgMimeDetectorCommand に以下のようにあって，これで直るかどうかは不明．

It is important to note that MediaWiki itself performs a set of MIME detection tests itself, and only if those are unsuccessful is the MIME detector invoked.

追記 (2021/5/16)

結局上記では直らなかった．移動の際にこのチェックを行っているのは includes/MovePage.php の以下の箇所で，この箇所コメントアウトしたら無事ファイル(File:)の移動ができるようになった．

if ( !File::checkExtensionCompatibility( $file, $this->newTitle->getDBkey() ) ) {
    $status->fatal( 'imagetypemismatch' );
}

Related articles

• 2019/09/01 10:11 / MediaWiki on Debian 10
• 2017/02/09 11:03 / MediaWiki で SVG w/inkscape 0.92.0-4~bpo8+1 (jessie backports)
• 2017/02/08 14:07 / MediaWiki 1.28.0 on Debian/GNU Linux jessie
• 2016/07/22 10:09 / MediaWiki on Debian/GNU Linux jessie
• 2015/12/01 12:45 / MediaWiki で SVG

uudeview でメールのファイルから添付ファイル(当然 uuencode されたものではなく，MIME)を取り出したかったのだけど，日本語のファイル名で文字化けが酷いので，ruby でなんとかする．以下であっさり添付ファイルをファイルに落とせる．

cat 200000.eml | ruby -e "require 'mail'; Mail.read_from_string(STDIN.read).attachments.each { |i| File.open(i.filename, 'w').write(i.decoded) }"

Ruby の Mail は非常に便利．

以前は bbdb-merge-records がなにがしかの key に割り当てられていたはずなのだけど，describe-mode した感じどの key にも割り当てられていない状態になっていて，いちいち M-x bbdb-merge-records は面倒なので割り当てる．

(define-key bbdb-mode-map "r" 'bbdb-merge-records)

Default では M に割り当てられていたけれど http://git.savannah.gnu.org/gitweb/?p=emacs/elpa.git;a=commitdiff;h=ee9feb6183052ae2d5a528ab5748cdc1a5ceb9b1 で M が bbdb-mail-address に変更になっていた様子(2010頃)．r に割り当てられていた気もするのだけど，もしかすると自身で設定していたのかも．

Related articles

• 2020/01/06 15:26 / wl-beta 2.15.9+0.20190919-1 with bbdb3 3.2-7

Markdown の itemize (unordered list, ul) や enumerate (ordered list, ol) で使うスペースの数でいつも悩む．Emacs の markdown-mode の default は 4文字に揃うようにスペースが入る．ただこれだと markdownlint (MDL) に怒られる(MD030)．MDL の場合の default は - の後にスペース1つ．

一般的には4文字アラインメントが推奨されているはずで，ただ各 item がシンプルで短くたとえば1段落である場合はスペース1つにするべき，という話もある．

MDL に従ってスペース1つに直しつつあったが，すべて4文字アラインメントにすることにした(code block との親和性もあるし，markdown-mode が使えれさえすれば良くてスペースの多さはあまり気にならないので)．MDL の MD030 を無視するには .mdlrc に rules "~MD030" を書いていく．

あと AsciiDoc を使う選択肢もあるかもしれないが，Emacs major mode が未だ貧弱なので後回し．

Related articles

• 2022/10/30 15:05 / pandoc で生成される HTML における改行の扱い
• 2021/07/23 20:04 / 日本語 Markdown の改行が Pandoc でスペースに変換される問題(`east_asian_line_breaks` 拡張)
• 2018/05/02 10:11 / pandoc 1.19.2.4~dfsg-1+b3 -> 2.2-1

Linux 5.12 がでたので 5.11.11 から .config がどう変更されるのか見てみた．以下 - は削除されたもの，+ は追加されたもの．x86_64．New features 等は https://www.phoronix.com/scan.php?page=article&item=linux-512-features 参照．

• Intel Xe VRR (variable rate refresh)
• Clang LTO (link-time optimizations) (Clang 11 以上必要)
• Dynamic preemption

などなど．

• -CONFIG_LD_VERSION=231010000
+CONFIG_LD_VERSION=23101
+CONFIG_LD_IS_BFD=y

  kbuild: check the minimum linker version in Kconfig

• -CONFIG_SFI=y

  sfi: Remove framework for deprecated firmware

• -CONFIG_OPROFILE=m
-CONFIG_OPROFILE_NMI_TIMER=y
-CONFIG_HAVE_OPROFILE=y
-CONFIG_RING_BUFFER_ALLOW_SWAP=y

  drivers: Remove CONFIG_OPROFILE support

• +CONFIG_ARCH_SUPPORTS_LTO_CLANG=y
+CONFIG_ARCH_SUPPORTS_LTO_CLANG_THIN=y
+CONFIG_LTO_NONE=y

  kbuild: add support for Clang LTO

  Link Time Optimization (LTO), Clang 11 is required.

• +CONFIG_HAVE_IRQ_EXIT_ON_IRQ_STACK=y

  x86: Select CONFIG_HAVE_IRQ_EXIT_ON_IRQ_STACK

• +CONFIG_HAVE_SOFTIRQ_ON_OWN_STACK=y

  softirq: Move __ARCH_HAS_DO_SOFTIRQ to Kconfig

• +CONFIG_HAVE_PREEMPT_DYNAMIC=y

  preempt: Introduce CONFIG_PREEMPT_DYNAMIC

• +CONFIG_ARCH_HAS_ELFCORE_COMPAT=y

  [amd64] clean PRSTATUS_SIZE/SET_PR_FPVALID up properly

• -CONFIG_FRAME_VECTOR=y

  media: videobuf2: Move frame_vector into media subsystem

• +CONFIG_SOCK_RX_QUEUE_MAPPING=y

  net/tls: Select SOCK_RX_QUEUE_MAPPING from TLS_DEVICE

• +CONFIG_SND_INTEL_SOUNDWIRE_ACPI=m

  ALSA: hda: move Intel SoundWire ACPI scan to dedicated module

• +CONFIG_VIRTIO_PCI_LIB=m

  virtio-pci: introduce modern device module

• -CONFIG_DCDBAS=m
-CONFIG_DELL_RBU=m

  platform/x86: Move all dell drivers to their own subdirectory

• +CONFIG_IOMMU_IO_PGTABLE=y

  iommu/amd: Prepare for generic IO page table framework

• +CONFIG_NFS_V4_2_SSC_HELPER=y

  NFSv4_2: SSC helper should use its own config.

• -CONFIG_CRYPTO_GLUE_HELPER_X86=m

  crypto: x86 - remove glue helper module

• -CONFIG_CRYPTO_RMD128=m
-CONFIG_CRYPTO_RMD256=m
-CONFIG_CRYPTO_RMD320=m
-CONFIG_CRYPTO_TGR192=m
-CONFIG_CRYPTO_SALSA20=m

  crypto: rmd128 - remove RIPE-MD 128 hash algorithm
  crypto: rmd256 - remove RIPE-MD 256 hash algorithm
  crypto: rmd320 - remove RIPE-MD 320 hash algorithm
  crypto: tgr192 - remove Tiger 128/160/192 hash algorithms
  crypto: salsa20 - remove Salsa20 stream cipher algorithm

• +CONFIG_HAVE_ARCH_KFENCE=y

  x86, kfence: enable KFENCE for x86

• +CONFIG_HAVE_OBJTOOL_MCOUNT=y

  x86, build: use objtool mcount

• +CONFIG_FTRACE_MCOUNT_USE_CC=y

  tracing: move function tracer options to Kconfig

Related articles

• 2024/04/08 13:19 / Linux 6.8.4
• 2022/04/18 15:22 / Linux 5.17
• 2021/09/08 12:13 / Linux 5.14
• 2021/07/19 11:11 / Linux 5.13
• 2021/01/13 21:27 / brtfs 上に swap ファイルを置く
• 2020/09/11 20:24 / Linux 5.9-rc4
• 2020/07/12 16:42 / Linux 5.8-rc4
• 2020/05/01 21:21 / Linux 5.7-rc1
• 2020/04/03 22:18 / Linux 5.6.x fs/cachefiles/rdwr.c bug
• 2020/02/22 19:33 / Linux 5.6-rc2
• 2020/01/11 20:50 / Linux 5.5-rc5
• 2019/11/25 14:45 / nvidia-kernel-dkms 418.74-1 with Linux 5.4
• 2019/10/02 00:03 / Linux 5.3.1 -> 5.4-rc1
• 2019/09/20 14:45 / nvidia-kernel-dkms 418.74-1 with Linux 5.3
• 2019/07/22 19:13 / Linux 5.2.2 -> 5.3-rc1
• 2019/06/28 20:38 / GeForce GT 430 with nvidia-legacy-390xx-kernel-dkms 390.116-1~bpo9+1
• 2019/06/12 16:10 / Linux 5.1.8 -> 5.2-rc4
• 2019/05/07 19:43 / Linux 5.0.9 -> 5.1.0
• 2019/03/07 22:16 / Linux 4.20.13 -> 5.0.0
• 2018/11/06 11:30 / Linux 4.19.0 -> 4.20-rc1
• 2018/08/29 11:06 / Linux 4.18.5 -> 4.19-rc1
• 2018/06/20 17:06 / Linux 4.17.2 -> 4.18-rc1
• 2018/04/19 15:25 / Linux 4.16.2 -> 4.17-rc1
• 2018/02/12 17:23 / Linux 4.15.3 -> 4.16-rc1
• 2018/01/29 11:08 / Linux 4.14.15 -> 4.15
• 2017/11/28 12:42 / Linux 4.14.2 -> 4.15-rc1
• 2017/11/15 15:56 / Linux ORC unwinder と objtool (CONFIG_STACK_VALIDATION needs tools/objtool/objtool along headers)
• 2017/11/15 15:41 / Linux 4.13.12 -> 4.14.0
• 2017/09/18 07:04 / Linux 4.13.1 -> 4.14-rc1
• 2017/09/05 04:14 / Linux 4.12.10 -> 4.13
• 2017/07/16 23:56 / Linux 4.12.0 -> 4.13-rc1
• 2017/05/15 14:04 / Linux 4.11.0 -> 4.12-rc1
• 2017/05/03 00:24 / Linux 4.10.13 -> 4.11.0
• 2017/03/06 09:51 / Linux 4.10.1 -> 4.11-rc1
• 2017/02/20 10:31 / Linux 4.9.X -> 4.10
• 2016/12/30 21:28 / Linux 4.9 -> 4.10-rc1
• 2016/12/14 23:00 / Linux 4.8 -> 4.9

mathworks_network_license_manager_glnxa64.zip を展開して得られる MATLAB ライセンスサーバのバイナリが謎の no such file or directory で起動できない．以下の通り．

 % ls -la lmgrd
-r-xr-xr-x 1 myn users 1166680 Nov 15 09:16 ./lmgrd
 % ./lmgrd 
zsh: no such file or directory: ./lmgrd

これ，以下の通りバイナリの interpreter が /lib64/ld-lsb-x86-64.so.3 になっているのが原因．Debian GNU/Linux にはこのファイルがない．

 % file lmgrd
lmgrd: ELF 64-bit LSB executable, x86-64, version 1 (SYSV), dynamically linked, interpreter /lib64/ld-lsb-x86-64.so.3, for GNU/Linux 2.6.18, stripped

/lib64/ld-linux-x86-64.so.2 への symlink として /lib64/ld-lsb-x86-64.so.3 を作成するか，以下のようにすると起動できる．

 % /lib64/ld-linux-x86-64.so.2 ./lmgrd
(略)

参考:

• https://jp.mathworks.com/matlabcentral/answers/100757-why-am-i-unable-to-start-a-new-network-license-manager-on-linux

いつも忘れるのでメモ．

find . -type f とかで file をリストして，そのそれぞれに chmod 644 をしたい，とかそういう話．Windows とかから Linux に rsync したすべて 777 の file/directory に対して，

• chmod a-x,go-w . -R (全て 644 になる)
  • あるいは chmod 644 . -R
• directory の mode を手動で 755 に調整

してもいいし，chmod 644 `find . -type f` で全てのファイルに対して chmod 644 してもいいのだけど，ファイル名やディレクトリ名にスペースが含まれると大変ややこしい．

2通りやり方があって，1つは find の -exec option を使う方法．{} は引数に置換され，\; で終了を表す．{} と \; の間にはスペースが必要．

• % find . -type f -exec chmod 644 -v {} \;
• % find . -type d -exec chmod 755 -v {} \;

もう1つは xargs を使う方法．find の -print0 オプションは null 文字(^@)を区切りにしてリストするので，それを xargs -0 で 1つずつ処理していく．

• % find . -type f -print0 | xargs -0 chmod 644
• % find . -type d -print0 | xargs -0 chmod 755

あるいは shell の機能でなんとかするか．$i を " でくくるのがポイント．

• % find . -type f | while read i ; do chmod 644 "$i" ; done
• % find . -type d | while read i ; do chmod 755 "$i" ; done

Related articles

• 2021/08/17 19:05 / list git untracked files

btrfs 上の file を swap file として利用しようとすると，以下のように kernel に怒られる．

[1646778.804931] BTRFS warning (device nvme0n1): swapfile must not be copy-on-write

これを回避するには以下のようにして copy-on-write (CoW) の機能を off にしたファイルを作成して swapon する(要 Linux 5.0以降)．

% sudo touch swap
% sudo lsattr swap
-------------------- swap
% sudo chattr +C swap
% sudo lsattr swap
---------------C---- swap
% sudo fallocate -l 2g swap
% sudo chmod 600 swap
% sudo mkswap swap
Setting up swapspace version 1, size = 2 GiB (2147479552 bytes)
no label, UUID=(snip)
% sudo swapon swap

touch してから fallocate する必要があるので注意．See man chattr.

A file with the ‘C’ attribute set will not be subject to copy-on-write updates. This flag is only supported on file systems which perform copy-on-write. (Note: For btrfs, the ‘C’ flag should be set on new or empty files. If it is set on a file which already has data blocks, it is undefined when the blocks assigned to the file will be fully stable. If the ‘C’ flag is set on a directory, it will have no effect on the directory, but new files created in that directory will have the No_COW attribute set.)

Related articles

• 2024/04/08 13:19 / Linux 6.8.4
• 2022/04/18 15:22 / Linux 5.17
• 2021/09/08 12:13 / Linux 5.14
• 2021/07/19 11:11 / Linux 5.13
• 2021/04/28 18:58 / Linux 5.12
• 2020/09/11 20:24 / Linux 5.9-rc4
• 2020/07/12 16:42 / Linux 5.8-rc4
• 2020/05/01 21:21 / Linux 5.7-rc1
• 2020/04/03 22:18 / Linux 5.6.x fs/cachefiles/rdwr.c bug
• 2020/02/22 19:33 / Linux 5.6-rc2
• 2020/01/11 20:50 / Linux 5.5-rc5
• 2019/11/25 14:45 / nvidia-kernel-dkms 418.74-1 with Linux 5.4
• 2019/10/02 00:03 / Linux 5.3.1 -> 5.4-rc1
• 2019/09/20 14:45 / nvidia-kernel-dkms 418.74-1 with Linux 5.3
• 2019/07/22 19:13 / Linux 5.2.2 -> 5.3-rc1
• 2019/06/28 20:38 / GeForce GT 430 with nvidia-legacy-390xx-kernel-dkms 390.116-1~bpo9+1
• 2019/06/12 16:10 / Linux 5.1.8 -> 5.2-rc4
• 2019/05/07 19:43 / Linux 5.0.9 -> 5.1.0
• 2019/03/07 22:16 / Linux 4.20.13 -> 5.0.0
• 2018/11/06 11:30 / Linux 4.19.0 -> 4.20-rc1
• 2018/08/29 11:06 / Linux 4.18.5 -> 4.19-rc1
• 2018/06/20 17:06 / Linux 4.17.2 -> 4.18-rc1
• 2018/04/19 15:25 / Linux 4.16.2 -> 4.17-rc1
• 2018/02/12 17:23 / Linux 4.15.3 -> 4.16-rc1
• 2018/01/29 11:08 / Linux 4.14.15 -> 4.15
• 2017/11/28 12:42 / Linux 4.14.2 -> 4.15-rc1
• 2017/11/15 15:56 / Linux ORC unwinder と objtool (CONFIG_STACK_VALIDATION needs tools/objtool/objtool along headers)
• 2017/11/15 15:41 / Linux 4.13.12 -> 4.14.0
• 2017/09/18 07:04 / Linux 4.13.1 -> 4.14-rc1
• 2017/09/05 04:14 / Linux 4.12.10 -> 4.13
• 2017/07/16 23:56 / Linux 4.12.0 -> 4.13-rc1
• 2017/05/15 14:04 / Linux 4.11.0 -> 4.12-rc1
• 2017/05/03 00:24 / Linux 4.10.13 -> 4.11.0
• 2017/03/06 09:51 / Linux 4.10.1 -> 4.11-rc1
• 2017/02/20 10:31 / Linux 4.9.X -> 4.10
• 2016/12/30 21:28 / Linux 4.9 -> 4.10-rc1
• 2016/12/14 23:00 / Linux 4.8 -> 4.9

gnome-shell の Alt-tab は window を純粋にスイッチ(switch-windows)するわけではなく，複数 window がある application はグループ化されてしう．グループ化された window グループ内で window を switch されるためには Alt-`，あるいは Alt-tab で window switcher を出した状態で矢印キーを使う必要がある．ということで Alt-tab で group ベースの window switch をしたくなくて，そのための設定．

具体的には switch-applications に割り当てられている <Alt>Tab を switch-windows に移動する．以下．dconf や dconf-editor (GUI)でも同じようなことができる．

現在の設定の確認:

% gsettings get org.gnome.desktop.wm.keybindings switch-applications
['<Super>Tab', '<Alt>Tab']
% gsettings get org.gnome.desktop.wm.keybindings switch-windows
@as []

設定の変更:

% gsettings set org.gnome.desktop.wm.keybindings switch-applications "['<Super>Tab']"
% gsettings set org.gnome.desktop.wm.keybindings switch-windows "['<Alt>Tab']"

変更後の設定の確認:

% gsettings get org.gnome.desktop.wm.keybindings switch-applications
['<Super>Tab']
% gsettings get org.gnome.desktop.wm.keybindings switch-windows
['<Alt>Tab']

なお，グループ化された window グループ内で window を switch されるための Alt-` は以下のような default 設定になっていて，

% gsettings get org.gnome.desktop.wm.keybindings switch-group
['<Super>Above_Tab', '<Alt>Above_Tab']

ここで Above_Tab は ` のことで，Tab の上にあるキーであることが想定されている．標準的な英語キーボードがそのようなレイアウト(HKKBの場合は英語配列でも右上端に ` がある．)．

追記 (2021/12/4)

関連する org.gnome.desktop.wm.keybindings の key をまとめると以下．

• switch-applications: Application (group 化された window) の switch
• switch-windows: Window switch (全ての window を順に switch)
• switch-group: Application (group 化された window) 内の window switch

GUI では Settings → Keyboard → Keyboard Shortcuts → View and Customize Shortcuts → Navigation →

• Switch applications: switch-applications
• Switch windows: switch-windows
• Switch windows of an application: switch-group

他に

• Switch windows directly: cycle-windows (default: <Alt>Escape)
• Switch windows of an app directly: cycle-group (default: <Alt>F6)

がある(これらは window を list 表示しない)．

参考:

• https://superuser.com/questions/394376/how-to-prevent-gnome-shells-alttab-from-grouping-windows-from-similar-apps

Related articles

• 2024/03/03 21:44 / Gnome 環境で日本語入力モードにすると gnome-shell が死ぬ
• 2021/12/04 11:13 / Gnome で Input Source を Window 毎に変える
• 2017/12/27 23:20 / Switch to next input source (Gnome)
• 2017/06/10 23:51 / google-chrome Emacs key binding
• 2016/01/18 10:22 / google-chrome の表示言語設定
• 2015/08/20 09:48 / screen.xterm-256color
• 2015/02/27 17:28 / gnome-shell が 3D acceleration 無し環境では動かない件
• 2015/02/08 19:42 / gnome-terminal (Error constructing proxy for...)
• 2015/02/07 23:05 / gnome-shell のパネルに日付を表示する
• 2014/08/14 23:58 / google-chrome-stable on Debian GNU/Linux sid
• 2014/04/14 19:34 / gnome-shell 3.8.4-8 + ibus 1.5.5-1
• 2013/09/24 20:46 / Mozc Dictionary Tool
• 2013/06/18 22:58 / gnome-terminal 3.8.3-1 背景が透けない

もろもろの設定等のログを残すために WordPress を git で管理しているのだが，.git ディレクトリが存在する場合は以下のように表示されて自動更新が無効化される．

• en: This site appears to be under version control. Automatic updates are disabled.
• ja: サイトはバージョン管理されているようです。自動更新は無効化されています。

関連するファイル・関数は以下．

• wp-admin/update-core.php: function core_auto_updates_settings
• wp-admin/includes/class-wp-automatic-updater.php: function is_vcs_checkout

automatic_updates_is_vcs_checkout というフィルタがあるので，これを使えば制御できる．自動更新を(バージョン管理下でも)有効にする場合は以下を wp-content/mu-plugins/automatic_updates.php とかに置いておく．

<?php
add_filter( 'automatic_updates_is_vcs_checkout', '__return_false', 1 );

参考:

• https://wordpress.org/support/article/configuring-automatic-background-updates/#configuration-via-filters
• https://wordpress.org/support/article/must-use-plugins/

snmpd の default の logging に関する option が -Lsd で，syslog の LOG_DAEMON に送るような設定になっている．これが結構 verbose (LOG_NOTICE が送られる)なので，-LSwd に変更して LOG_WARNING の level に変更したい，という話．

以前は /etc/default/snmpd で設定できていたのだが，/etc/init.d/snmpd が /etc/default/snmpd を source しているように見せかけて，実は systemctl が呼び出される仕組みが導入されており，/etc/default/snmpd を変更したところで設定が反映されない．/etc/default/snmpd にも以下のようにそんなことが書いてある．

# This file controls the behaviour of /etc/init.d/snmpd
# but not of the corresponding systemd service file.
# If needed, create an override file in
# /etc/systemd/system/snmpd.service.d/local.conf
# see man 5 systemd.unit and man 5 systemd.service

で，/etc/systemd/system/snmpd.service.d/local.conf を作成するというのはいわゆる drop-in ファイルを作るというもので，sudo systemctl edit snmpd.service で作成される /etc/systemd/system/snmpd.service.d/override.conf と同様(local.conf でも問題ない; man systemd.unit も local.conf で説明されている)．

drop-in については man systemd.unit が詳しい．

Note that for drop-in files, if one wants to remove entries from a setting that is parsed as a list (and is not a dependency), such as AssertPathExists= (or e.g. ExecStart= in service units), one needs to first clear the list before re-adding all entries except the one that is to be removed. Dependencies (After=, etc.) cannot be reset to an empty list, so dependencies can only be added in drop-ins. If you want to remove dependencies, you have to override the entire unit.

あと，drop-in ファイルを用意したあとは sudo systemctl daemon-reload が必要(sudo systemctl edit で編集した場合は不要; see man systemctl)．

MHonArc+Namazu での Namazu の UTF-8 対応の続き．MLシステムが刷新されて fml から GNU Mailman に変更になったため対応．

fml はメールのヘッダに X-Mail-Count というフィールドがあって，ここに何件目の投稿かの番号が振られていたのだが，GNU Mailman に変更されてこのフィールドを参照できなくなった．GNU Mailman 側で対応してもらう手もあるが(https://shugo.net/jit/20100213.html等)，これは期待できないので，幸い Subject の形式が [ML-Name:Count] Mail Subject だったので，ここから抽出する．mhamain.pl への追加パッチ以下．抽出に失敗したときのことはやるきがないので知らない．あと perl っぽい書き方もよく分かっていないので ruby っぽい書き方になってる．

--- a/perl/mhamain.pl
+++ b/perl/mhamain.pl
@@ -932,7 +932,13 @@ sub read_mail_header {
     ##------------------##
     if (defined($SEQNUMFIELD)) {
         $seq = $fields->{$SEQNUMFIELD}[0];
-        $seq =~ s/(\d+)/$1/;
+        if ($seq =~ /^(\d+)$/) {
+            $seq=$1;
+        } elsif ($seq =~ /^\[\S+?:(\d+)\].*$/) {
+            $seq=$1;
+        } else {
+           $seq='';
+       }
         print STDOUT "($seq)";
     }
     ##------------------##

ついでに．．．MHonArc は URL をリンクに変換してくれるのだが，URL 末尾に全角スペースがあると，それも URL の一部だと解釈される．ということで URL 末尾に %E3%80%80 がついたベージに飛ばされる．ぴえんだ．これを修正するパッチは以下．こちらもやるきなし．変に表示が詰まるのを避けるため，末尾に全角スペースがあった場合は</a>の後にスペースを入れることにしている．

--- a/perl/mhtxtplain.pl
+++ b/perl/mhtxtplain.pl
@@ -574,8 +574,15 @@ sub filter {
        ($HUrlExp)
    }{
        if (!defined($nolink) && !defined($link)) {
+                my $a = $1;
+                my $b = '';
+                $a =~ s/　+$/ /;
+                if ($a =~ /^(.*) +$/) {
+                    $a = $1;
+                    $b = ' ';
+                }
        join('', '<a ', $target, ' rel="nofollow" href="',
-            $1, '">', $1, '</a>');
+            $a, '">', $a, '</a>', $b);
        } else {
        my $url_match = $1;
        my $scheme;

追記 (2021/7/21)

上のパッチだと文末の全角スペースのみしか考慮していない．全角スペースのあとに文字がある場合にも対応するには以下．

--- a/perl/mhtxtplain.pl
+++ b/perl/mhtxtplain.pl
@@ -576,10 +576,10 @@ sub filter {
        if (!defined($nolink) && !defined($link)) {
                 my $a = $1;
                 my $b = '';
-                $a =~ s/　+$/ /;
-                if ($a =~ /^(.*) +$/) {
+                $a =~ s/　+/ /;
+                if ($a =~ /^([^ ]*)(.*)$/) {
                     $a = $1;
-                    $b = ' ';
+                    $b = $2;
                 }
        join('', '<a ', $target, ' rel="nofollow" href="',
             $a, '">', $a, '</a>', $b);

もとの /usr/share/mhonarc/mhtxtplain.pl からの patch は以下．

--- a/perl/mhtxtplain.pl
+++ b/perl/mhtxtplain.pl
@@ -574,8 +574,15 @@
        ($HUrlExp)
    }{
        if (!defined($nolink) && !defined($link)) {
+                my $a = $1;
+                my $b = '';
+                $a =~ s/　+/ /;
+                if ($a =~ /^([^ ]*)(.*)$/) {
+                    $a = $1;
+                    $b = $2;
+                }
        join('', '<a ', $target, ' rel="nofollow" href="',
-            $1, '">', $1, '</a>');
+            $a, '">', $a, '</a>', $b);
        } else {
        my $url_match = $1;
        my $scheme;

Related articles

• 2023/03/16 13:48 / Amazon からの注文確定のメールを MHonArc が Nested start tags で拒否る
• 2019/12/11 21:32 / MHonArc+Namazu での Namazu の UTF-8 対応

いつも忘れるのでメモ．以下で input.xlsx を input.csv に変換できる．環境は Debian GNU/Linux の libreoffice package．

% libreoffice --headless --convert-to csv:"Text - txt - csv (StarCalc)":44,34,76 --outdir . input.xlsx

44,34,76 の意味は

• 44: Field Separator: , (default: 44)
• 34: Text Delimiter Field Separator: " (default: 34)
• 76: Character Set: Unicode (UTF-8) (default: 0 (System))

% libreoffice --headless --convert-to csv:"Text - txt - csv (StarCalc)" --outdir . input.xlsx

のように Default でも input.csv は生成されるが日本語が全て ? になってしまう．ということで Character Set の指定が必要で，3つの Token を与える．詳細は https://wiki.openoffice.org/wiki/Documentation/DevGuide/Spreadsheets/Filter_Options のとおり．

追記 (2021/8/7)

csv (UTF-8)から xlsx への変換も同様に可能で，例えば以下．

% libreoffice --headless --convert-to xlsx --infilter="CSV:44,34,76" --outdir . input.csv

なお，MS Excel で CSV を直接開くには，もとの CSV の文字コードが Shift_JIS でなければならないはずで，UTF-8 の CSV を MS Excel に読み込むには「データ→テキストまたはCSVから」でインポートする必要がある．

Related articles

• 2022/10/05 11:27 / LibreOffice および Inkscape からコマンドラインで PDF 生成
• 2022/07/11 13:15 / MS Office の暗号化ファイルをコマンドラインで復号する

PDFがメールで送られてきていて，パスワードも知らされていたのだが Evince で開けない(伝えられたパスワードが微妙に間違っているのではないかと思い script で結構な数のパスワードを試してしまった．．．)．

調べたところ 256-bit AES (Acrobat X or later) で暗号化されていて，未対応で開けない様子だった．

手元の環境でいろいろ調べたところ Debian buster だと尽く未対応の様子．Debian sid でも pdftk が未対応(その代わり qpdf という program がある)．google-chrome がもっとも汎用性が高いのかも知れない．

• poppler-utils 0.71.0-5 (buster) ×
• poppler-utils 20.09.0-2 (sid) ○
• evince 3.30.2-3+deb10u1 (buster) ×
• evince 3.38.0-1 (sid) ○
• pdftk 2.02-5 (buster) ×
• pdftk 2.02-5+b1 (sid) ×
• qpdf 10.0.1-2 (sid) ○
• google-chrome 85.0.4183.102 ○

以下，qpdf および pdftk で decrypt するコマンドメモ．

% qpdf --decrypt --password=XXXX encrypted_file.pdf output_file.pdf
% pdftk encrypted_file.pdf input_pw XXXX output output_file.pdf

Related articles

• 2021/07/05 12:59 / pdftk で PDF ファイルの password を削除する

Linux 5.9-rc1 がでたので(既に rc4 になってるけど)，5.8.8 から .configがどう変更されるのか見てみた．以下 - は削除されたもの，+ は追加されたもの．x86_64．New features 等は https://www.phoronix.com/scan.php?page=article&item=linux-59-features 参照．

追加

• +CONFIG_RD_ZSTD=y
+CONFIG_DECOMPRESS_ZSTD=y
CONFIG_ZSTD_DECOMPRESS: m->y

  usr: Add support for zstd compressed initramfs

  使わないので n にして，CONFIG_ZSTD_DECOMPRESS も m のままに．

• +CONFIG_HAVE_KERNEL_ZSTD=y

  init: Add support for zstd compressed kernel

• +CONFIG_DEBUG_FS_ALLOW_ALL=y

  debugfs: Add access restriction option

• +CONFIG_DMA_OPS=y

  dma-mapping: make support for dma ops optional

• +CONFIG_GENERIC_ENTRY=y

  entry: Provide generic syscall entry functionality

• +CONFIG_KVM_XFER_TO_GUEST_WORK=y

  entry: Provide infrastructure for work before transitioning to guest mode

• +CONFIG_HAVE_POSIX_CPU_TIMERS_TASK_WORK=y

  posix-cpu-timers: Provide mechanisms to defer timer handling to task_work

• +CONFIG_LEDS_TRIGGER_AUDIO=m
+CONFIG_SND_HDA_GENERIC_LEDS=y

  ALSA: hda: generic: Add a helper for mic-mute LED with LED classdev

• +CONFIG_MDIO_DEVRES=y

  net: phy: add a Kconfig option for mdio_devres

• +CONFIG_POSIX_CPU_TIMERS_TASK_WORK=y

  posix-cpu-timers: Provide mechanisms to defer timer handling to task_work

• +CONFIG_TRACE_IRQFLAGS_NMI_SUPPORT=y

  locking/lockdep: Fix TRACE_IRQFLAGS vs. NMIs

• +CONFIG_WLAN_VENDOR_MICROCHIP=y

  wilc1000: move wilc driver out of staging

  n にする．

• +CONFIG_X86_HV_CALLBACK_VECTOR=y

  KVM: x86: Switch KVM guest to using interrupts for page ready APF delivery

  KVM_GUEST で select される．

削除

• -CONFIG_CC_HAS_STACKPROTECTOR_NONE=y

  kbuild: remove cc-option test of -fno-stack-protector

• -CONFIG_HAVE_COPY_THREAD_TLS=y

  arch: remove HAVE_COPY_THREAD_TLS

• -CONFIG_HAVE_MEMORY_PRESENT=y

  mm/sparse: cleanup the code surrounding memory_present()

• -CONFIG_KASAN_STACK=1

  kasan: improve and simplify Kconfig.kasan

  KASAN が n だと現れなくなった．

Related articles

• 2024/04/08 13:19 / Linux 6.8.4
• 2022/04/18 15:22 / Linux 5.17
• 2021/09/08 12:13 / Linux 5.14
• 2021/07/19 11:11 / Linux 5.13
• 2021/04/28 18:58 / Linux 5.12
• 2021/01/13 21:27 / brtfs 上に swap ファイルを置く
• 2020/07/12 16:42 / Linux 5.8-rc4
• 2020/05/01 21:21 / Linux 5.7-rc1
• 2020/04/03 22:18 / Linux 5.6.x fs/cachefiles/rdwr.c bug
• 2020/02/22 19:33 / Linux 5.6-rc2
• 2020/01/11 20:50 / Linux 5.5-rc5
• 2019/11/25 14:45 / nvidia-kernel-dkms 418.74-1 with Linux 5.4
• 2019/10/02 00:03 / Linux 5.3.1 -> 5.4-rc1
• 2019/09/20 14:45 / nvidia-kernel-dkms 418.74-1 with Linux 5.3
• 2019/07/22 19:13 / Linux 5.2.2 -> 5.3-rc1
• 2019/06/28 20:38 / GeForce GT 430 with nvidia-legacy-390xx-kernel-dkms 390.116-1~bpo9+1
• 2019/06/12 16:10 / Linux 5.1.8 -> 5.2-rc4
• 2019/05/07 19:43 / Linux 5.0.9 -> 5.1.0
• 2019/03/07 22:16 / Linux 4.20.13 -> 5.0.0
• 2018/11/06 11:30 / Linux 4.19.0 -> 4.20-rc1
• 2018/08/29 11:06 / Linux 4.18.5 -> 4.19-rc1
• 2018/06/20 17:06 / Linux 4.17.2 -> 4.18-rc1
• 2018/04/19 15:25 / Linux 4.16.2 -> 4.17-rc1
• 2018/02/12 17:23 / Linux 4.15.3 -> 4.16-rc1
• 2018/01/29 11:08 / Linux 4.14.15 -> 4.15
• 2017/11/28 12:42 / Linux 4.14.2 -> 4.15-rc1
• 2017/11/15 15:56 / Linux ORC unwinder と objtool (CONFIG_STACK_VALIDATION needs tools/objtool/objtool along headers)
• 2017/11/15 15:41 / Linux 4.13.12 -> 4.14.0
• 2017/09/18 07:04 / Linux 4.13.1 -> 4.14-rc1
• 2017/09/05 04:14 / Linux 4.12.10 -> 4.13
• 2017/07/16 23:56 / Linux 4.12.0 -> 4.13-rc1
• 2017/05/15 14:04 / Linux 4.11.0 -> 4.12-rc1
• 2017/05/03 00:24 / Linux 4.10.13 -> 4.11.0
• 2017/03/06 09:51 / Linux 4.10.1 -> 4.11-rc1
• 2017/02/20 10:31 / Linux 4.9.X -> 4.10
• 2016/12/30 21:28 / Linux 4.9 -> 4.10-rc1
• 2016/12/14 23:00 / Linux 4.8 -> 4.9

Kernel を Linux 5.7.X から Linux 5.8.8 に上げたら /dev/md126 や /dev/md127 が見えなくなった．Kernel の問題なのか，udev の問題なのか，あるいは mdadm の問題か，という感じで順番に探っていったのだけど，Kernel と mdadm の問題だった．

Linux 5.8.8 の block: fix locking in bdev_del_partition の修正で，BLKPG_DEL_PARTITION ioctl の仕様が微妙に変更になっていて，mdadm がこの ioctl を使ってブロックデバイスが partition か否かをチェックしていて，そこで挙動がおかしくなっていた．

mdadm の該当箇所 util.cは以下のとおりで，errno が ENXIO か ENOTTY の場合は partition ではないと判断している．Linux 5.7.19 では partition ではない場合 ENXIO (No such device or address)が返される．これが，Linux 5.8.8 では ENOMEM (Cannot allocate memory)が返される．うーん．

int test_partition(int fd)
{
    /* Check if fd is a whole-disk or a partition.
     * BLKPG will return EINVAL on a partition, and BLKPG_DEL_PARTITION
     * will return ENXIO on an invalid partition number.
     */
    struct blkpg_ioctl_arg a;
    struct blkpg_partition p;
    a.op = BLKPG_DEL_PARTITION;
    a.data = (void*)&p;
    a.datalen = sizeof(p);
    a.flags = 0;
    memset(a.data, 0, a.datalen);
    p.pno = 1<<30;
    if (ioctl(fd, BLKPG, &a) == 0)
        /* Very unlikely, but not a partition */
        return 0;
    if (errno == ENXIO || errno == ENOTTY)
        /* not a partition */
        return 0;

    return 1;
}

sudo mdadm --detail-platform は 5.7.19 と 5.8.8 で出力は同じ．一方 sudo mdadm --examine /dev/sda (sda は RAID メンバの1つ)の出力が両者で異なっていたので，そこから探っていって問題箇所を見つけた．

Linux 5.7.19 での sudo mdadm --examine /dev/sda は以下で，

/dev/sda:
          Magic : Intel Raid ISM Cfg Sig.
        Version : 1.3.00
    Orig Family : 231b061f
         Family : 231b061f
     Generation : 00e7c753
     Attributes : All supported
           UUID : (snip)
       Checksum : (snip)
    MPB Sectors : 2
          Disks : 4
   RAID Devices : 1

  Disk01 Serial : (snip)
          State : active
             Id : 00000001
    Usable Size : (snip)

[Volume0]:
           UUID : (snip)
     RAID Level : 5
        Members : 4
          Slots : [UUUU]
(snip)

Linux 5.8.8 の sudo mdadm --examine /dev/sda は以下．

/dev/sda:
   MBR Magic : aa55
Partition[0] :   (snip) sectors at            1 (type ee)

ということで，mdadm 側に以下のパッチをあてると解決する．

--- mdadm-4.1/util.c    2018-10-02 03:26:06.000000000 +0900
+++ mdadm-4.1/util.c    2020-09-11 18:59:17.924356095 +0900
@@ -524,7 +524,7 @@
    if (ioctl(fd, BLKPG, &a) == 0)
        /* Very unlikely, but not a partition */
        return 0;
-   if (errno == ENXIO || errno == ENOTTY)
+   if (errno == ENXIO || errno == ENOTTY || errno == ENOMEM)
        /* not a partition */
        return 0;
 

手元環境 Debian なので上記 patch をあてた mdadm のパッケージを作って，dpkg -i で突っ込んで，mdadm は initrd にも含まれることになるので initrd が更新されていなければ sudo update-initramfs -k all -u で作り直す．

追記 (2020/9/18)

ENOMEM が返される問題，Linux 5.8.10 で仕様がもとにもどされて(block: restore a specific error code in bdev_del_partition)，今は ENXIO を返すようになっている．

Related articles

• 2017/12/20 13:38 / 90-second timeout during boot on cryptroot with passdev
• 2016/11/25 10:44 / btrfs tuning
• 2016/08/03 14:34 / iowait monitoring by MRTG
• 2016/07/02 23:54 / RAID5 resync が起動時に始まってしまい，いつまでたっても起動しない
• 2015/03/27 13:50 / Intel Rapid Storage Technology and Linux mdadm
• 2013/06/08 16:54 / dm-crypt 関連メモ (cryptroot)
• 2013/06/03 17:51 / dm-crypt 関連メモ

以下のようなコマンドで通常は A4 サイズの空の PDF を作成出来るのであるが(pdftk とかで空のページを挿入するなどの時に便利)，まさに以下のようにコケる．

 % convert xc:none -page A4 empty.pdf
convert-im6.q16: attempt to perform an operation not allowed by the security policy `PDF' @ error/constitute.c/IsCoderAuthorized/408.

Debian GNU/Linux buster で imagemagick の version は 8:6.9.10.23+dfsg-2.1+deb10u1．

原因は /etc/ImageMagick-6/policy.xml に以下の様に記載されていること．

  <!-- disable ghostscript format types -->
  <policy domain="coder" rights="none" pattern="PS" />
  <policy domain="coder" rights="none" pattern="PS2" />
  <policy domain="coder" rights="none" pattern="PS3" />
  <policy domain="coder" rights="none" pattern="EPS" />
  <policy domain="coder" rights="none" pattern="PDF" />
  <policy domain="coder" rights="none" pattern="XPS" />

PDF の箇所を

<policy domain="coder" rights="read|write" pattern="PDF" />

に修正すれば解決する．/etc/ImageMagick-6/policy.xml を直接修正するか，それを ~/.magick/policy.xml にコピーして自分用のそれを修正するか．

Related articles

• 2023/02/12 17:22 / ImageMagick で PDF を PNG に変換するメモ

お手軽に ffmpeg を使って mp4 の一部を削除するメモ．

[Makefile]
FILES=input-0.mp4 input-1.mp4
output.mp4: $(FILES:.mp4=.ts)
    t=`echo $(FILES:.mp4=.ts) | sed 's, ,|,'` ;\
    ffmpeg -y -i "concat:$$t" -c copy -bsf:a aac_adtstoasc $@
input-0.mp4: input.mp4
    ffmpeg -y -t "59:32" -i $< -c copy $@
input-1.mp4: input.mp4
    ffmpeg -y -ss "59:38" -i $< -c copy $@
$(FILES:.mp4=.ts): %.ts: %.mp4
    ffmpeg -y -i $< -c copy -bsf:v h264_mp4toannexb -f mpegts $@

MP4 (Video: h264, Audio: aac) を想定．59分32秒のところまでの mp4 と 59分38秒から終わりまでの mp4 を作成して，それを(一旦TSを経由して)結合(つまりその間の6秒をカット)．コーデックはそのまま(copy)なので高速に (ほぼディスクアクセスのみで)処理できる反面，切り出し指定の精度はかなり悪いので，ざっくりとした削除しかできないけど．

TSを経由するのは https://trac.ffmpeg.org/wiki/Concatenate を参考にした．以下とのこと．

If you have MP4 files, these could be losslessly concatenated by first transcoding them to MPEG-2 transport streams.

Wanderlust (Debian 版 wl-beta 2.15.9+0.20200822-1)でサマリ表示で Error になり焦る．原因は Obsolete elmo-replace-in-string. Use replace-regexp-in-string. により elmo-replace-in-string が削除されたこと．elmo-replace-in-string を replace-regexp-in-string に単純に replace すれば直る．wl-summary-subject-filter-function を default の wl-summary-default-subject-filter 以外にカスタマイズしている人が影響を受ける．

また，http://www.fan.gr.jp/~ring/Meadow/wanderlust.html や https://uwabami.github.io/cc-env/Emacs.html にあるような Wanderlust 設定例を参考にして，以下で Subject に含まれる複数の Tab/Space を無視する設定をしている人も修正が必要．

(defadvice std11-unfold-string (after simply activate)
  (setq ad-return-value
        (elmo-replace-in-string ad-return-value "[ \t]+" " ")))

以前は

% sudo tl-paper set all a4
/usr/bin/tl-paper: setting paper size for dvipdfmx to a4.
/usr/bin/tl-paper: setting paper size for dvips to a4.
/usr/bin/tl-paper: setting paper size for pdftex to a4.
/usr/bin/tl-paper: setting paper size for xdvi to a4.

で defailt の paper size を letter から a4 に変更できたはずなのだが，なぜか効かない．上記でたとえば pdftex (pdflatex)なら /var/lib/texmf/tex/generic/config/pdftexconfig.tex が以下のように変更はされている．

--- pdftexconfig.tex.orig  2020-08-07 20:48:23.642640762 +0900
+++ pdftexconfig.tex       2020-08-07 23:00:43.181888255 +0900
@@ -6,8 +6,8 @@
 \pdfoutput           = 1
 
 % Paper size: dimensions given in absolute terms
-\pdfpageheight       = 11 true in
-\pdfpagewidth        = 8.5 true in
+\pdfpageheight       = 297 true mm
+\pdfpagewidth        = 210 true mm
 
 % Enable PDF 1.5 output and thus more compression
 \pdfminorversion     = 5

どうやら /var/lib/texmf/web2c/pdftex/pdflatex.fmt を作り直す必要があるらしい．以下のようにdpkg-reconfigure texlive-baseするか，そこからトリガされているtex-commonをdpkg-reconfigureしてやればいいらしい．

 % sudo dpkg-reconfigure texlive-base
mktexlsr: Updating /var/lib/texmf/ls-R-TEXLIVEDIST...
mktexlsr: Updating /var/lib/texmf/ls-R-TEXMFMAIN...
mktexlsr: Updating /var/lib/texmf/ls-R...
mktexlsr: Done.
tl-paper: setting paper size for dvips to a4: /var/lib/texmf/dvips/config/config-paper.ps
tl-paper: setting paper size for dvipdfmx to a4: /var/lib/texmf/dvipdfmx/dvipdfmx-paper.cfg
tl-paper: setting paper size for xdvi to a4: /var/lib/texmf/xdvi/XDvi-paper
tl-paper: setting paper size for pdftex to a4: /var/lib/texmf/tex/generic/config/pdftexconfig.tex
Processing triggers for tex-common (6.15) ...
Running updmap-sys. This may take some time... done.
Running mktexlsr /var/lib/texmf ... done.
Building format(s) --all.
        This may take some time... done.

Related articles

• 2016/05/21 17:00 / tex-common 6.05 on Debian GNU/Linux
• 2015/07/15 15:59 / /etc/papersize
• 2014/07/03 12:33 / dvipdfmx で図が消える
• 2014/05/11 17:00 / texlive 2012.20120611 (Debian GNU/Linux) でフォント埋め込み
• 2013/06/03 16:55 / dvipdfmx: Invalid glyph name index number
• 2013/05/30 15:05 / 最近の texlive

Wanderlustで最近良く中国からのメールで文字化けを起こす．原因は

Content-Type: text/plain; charset="gb2312"

(gb2312)のメールなのに実態は gb18030ということが原因ならしい．ちなみに送信元は Outlook.com．

Wanderlustで文字化け無しで見れるようにするには

(eval-after-load "mcs-20"
  '(add-to-list 'mime-charset-coding-system-alist
        '(gb2312 . gb18030)))

とすればいい．mcs-20.el は apelのファイルで，mime-charset-coding-system-alist の defcustom の以下の箇所はそもそも gb18030 にしたほうが良いのかもしれない．

       (gb2312    . cn-gb-2312)
       (cn-gb     . cn-gb-2312)

Related articles

• 2013/08/08 17:44 / ks_c_5601-1987 の MIME decode

マイナンバーカード持っているので折角なので手続き(予約？)．https://id.mykey.soumu.go.jp/mypage/MKCAS010/ によると以下のとおりで，急ぐ必要もないのだけれど忘れてしまうので(といっても最大5,000円だけど．．．)．

○マイナポイントの予約・申込の際には、以下の点にご注意ください。・申込みを行った後も、８月末までの間は、チャージやお買い物をしていただいても、マイナポイントは付与されません。・申込みが可能なサービスは、7月1日より順次増えていきます。一度申し込んだサービスを変更することはできませんので、サービスの詳細情報をマイナポイント事業のホームページで事前によく確認いただき、慎重にサービスを選択してください。

申請にはマイナンバーカードが必要で，それで手続きをするにはスマートフォンアプリかPC (w/Internet Explorer)が必要(あるいは，コンビニのマルチコピー機で手続きできるらしい)．なぜか私のスマートフォンはマイナポイントアプリに対応していなくて，PCで手続きしようにも既に削除済みのInternet Explorerが必要ということで，Internet Explorer 11のインストールから開始．

マイナポイントのIE縛りについては何故お役所ってオワコンIEが大好きなの？参照．

Internet Explorer 11から手続きを使用としても「マイキーID作成・登録準備ソフト」が必要．下は「マイキーID作成・登録準備ソフト」をインストールした後にそれを有効化しようとしているところ(英語環境)．

あとは必要情報を入力するのみ．「マイナポイントの対象となるキャッシュレス決済サービス」としてなにを選択するか，については，私は JCB 系のサービス(Quick Payとか)が良かったのだが，JCBカードはマイナポイント事業の対象になりますか？によると以下の通りで，5,000円に加えて2,000円も付加される WAON を選択(see https://www.waon.net/mynapoint/)．

JCBグループが発行するカードは、本事業への参画予定はありません。制度の対応準備までの期間等、総合的に判断いたしました。

WAONの場合は「WAONマイナポイント申込アプリ」というのがあって，これで手続きできるようなのだが，試したら途中で(私の端末では利用できない)「マイナポイントアプリ」を呼び出すようで，断念．結局 IE で手続き．手続きは簡単で WAON の番号(16桁)とセキュリティコード(00+コード番号6桁)を入力するのみ(WAON カードのウラ面に刻印されている)．

Related articles

• 2024/03/10 18:26 / 確定申告 w/e-Tax と源泉徴収税額の内書き
• 2018/03/10 23:59 / 政府認証基盤(GPKI)自己署名証明書インストール
• 2017/03/05 23:07 / 確定申告 w/e-Tax
• 2017/03/04 22:45 / マイナンバーカードと PaSoRi RC-S380

Linux 5.8-rc1 がでたので(既に rc4 になってるけど)，5.7.8 から .configがどう変更されるのか見てみた．以下 - は削除されたもの，+ は追加されたもの．x86_64．New features 等は https://www.phoronix.com/scan.php?page=article&item=linux-58-features 参照．

追加

• +CONFIG_ARCH_HAS_DEBUG_VM_PGTABLE=y

  mm/debug: add tests validating architecture page table helpers

  X86 で select される．CONFIG_DEBUG_VM_PGTABLE=y にすると有効になる．

• +CONFIG_ARCH_HAS_DEBUG_WX=y

  x86: mm: use ARCH_HAS_DEBUG_WX instead of arch defined
  mm: add DEBUG_WX support

  X86 で select される．v4.4 で導入された CONFIG_DEBUG_WX は arch/x86/Kconfig.debug から mm/Kconfig.debug に移動した．

• +CONFIG_ARCH_USE_SYM_ANNOTATIONS=y

  x86/asm: Provide a Kconfig symbol for disabling old assembly annotations

  X86 で select される．

• +CONFIG_AS_TPAUSE=y

  x86/delay: Introduce TPAUSE delay

  as が tpause 命令に対応していれば y になる．See https://www.phoronix.com/scan.php?page=news_item&px=Linux-5.8-Intel-TPAUSE.

• +CONFIG_CC_CAN_LINK_STATIC=y

  bpfilter: check if $(CC) can link static libc in Kconfig

  cc が static link できれば y になる．CONFIG_BPFILTER_UMH が依存(←使ってない)．

• +CONFIG_CC_HAS_WORKING_NOSANITIZE_ADDRESS=y

  kasan: Bump required compiler version

  CONFIG_KASAN (KASAN: runtime memory debugger)が依存．GCC 8 以上であれば y になる．

• +CONFIG_CC_VERSION_TEXT="gcc (Debian 8.3.0-6) 8.3.0"

  kbuild: ensure full rebuild when the compiler is updated

  default は Makefile でチェックされる
  `CC_VERSION_TEXT = $(shell $(CC) --version 2>/dev/null | head -n 1)`．
  コンパイラが更新された場合に full build を行うため，とのこと．

• +CONFIG_DEFAULT_INIT=""

  init: allow distribution configuration of default init

• +CONFIG_DRM_I915_FENCE_TIMEOUT=10000

  drm/i915: Replace the hardcoded I915_FENCE_TIMEOUT

  ハードコーディングされていたものを設定できるようになった(もとも10sまま)．

• +CONFIG_DYNAMIC_DEBUG_CORE=y

  dynamic_debug: add an option to enable dynamic debug for modules only

  Module の Compile で dynamic debug の On/Off ができるように導入された．CONFIG_DYNAMIC_DEBUG で select される．Module compile の際に DYNAMIC_DEBUG_MODULE を define しておくと dynamic debug が有効になる．

  This is useful for people who only want to enable dynamic debug for
  kernel modules without worrying about kernel image size and memory
  consumption is increasing too much.

  とのこと．

• +CONFIG_EFI_GENERIC_STUB_INITRD_CMDLINE_LOADER=y

  efi/libstub: Make initrd file loader configurable
  efi/libstub: Re-enable command line initrd loading for x86

  X86 で y になる．

• +CONFIG_HAVE_ARCH_KCSAN=y

  kcsan: Add Kernel Concurrency Sanitizer infrastructure

  Kernel Concurrency Sanitizer (KCSAN) 関連．X86 で y になるが，CONFIG_KCSAN=y にするには CONFIG_HAVE_KCSAN_COMPILER が必要で，これは CC_IS_CLANG に依存する．

• +CONFIG_HIBERNATION_SNAPSHOT_DEV=y

  PM: hibernate: Split off snapshot dev option

  y のままにしておく．

• +CONFIG_TASKS_RCU_GENERIC=y
+CONFIG_TASKS_RUDE_RCU=y

  rcu-tasks: Refactor RCU-tasks to allow variants to be added
  rcu-tasks: Add an RCU-tasks rude variant

  手元では FUNCTION_TRACER [=y] && TRACING_SUPPORT [=y] && FTRACE [=y] && HAVE_FUNCTION_TRACER [=y] で CONFIG_TASKS_RUDE_RCU=y になって，それに依存して CONFIG_TASKS_RCU_GENERIC=y に．

• +CONFIG_XFRM_AH=m
+CONFIG_XFRM_ESP=m

  esp, ah: consolidate the crypto algorithm selections

  Instead of duplicating the algorithm selections between INET_AH and
  INET6_AH and between INET_ESP and INET6_ESP, create new tristates
  XFRM_AH and XFRM_ESP that do the algorithm selections, and make these be
  selected by the corresponding INET* options.

  とのこと．

CONFIG_MEDIA_SUPPORT_FILTER 関連

• +CONFIG_DVB_CORE=m
+CONFIG_DVB_DYNAMIC_MINORS=y
+CONFIG_DVB_MAX_ADAPTERS=16
+CONFIG_DVB_NET=y
+CONFIG_MEDIA_ANALOG_TV_SUPPORT=y
+CONFIG_MEDIA_ATTACH=y
+CONFIG_MEDIA_DIGITAL_TV_SUPPORT=y
+CONFIG_MEDIA_PLATFORM_SUPPORT=y
+CONFIG_MEDIA_RADIO_SUPPORT=y
+CONFIG_MEDIA_SDR_SUPPORT=y
+CONFIG_MEDIA_TEST_SUPPORT=y
+CONFIG_MEDIA_TUNER=m
+CONFIG_MEDIA_TUNER_MC44S803=m
+CONFIG_MEDIA_TUNER_MT20XX=m
+CONFIG_MEDIA_TUNER_SIMPLE=m
+CONFIG_MEDIA_TUNER_TDA18271=m
+CONFIG_MEDIA_TUNER_TDA827X=m
+CONFIG_MEDIA_TUNER_TDA8290=m
+CONFIG_MEDIA_TUNER_TDA9887=m
+CONFIG_MEDIA_TUNER_TEA5761=m
+CONFIG_MEDIA_TUNER_TEA5767=m
+CONFIG_MEDIA_TUNER_XC2028=m
+CONFIG_MEDIA_TUNER_XC4000=m
+CONFIG_MEDIA_TUNER_XC5000=m
+CONFIG_RADIO_ADAPTERS=y

  media: Kconfig: make filtering devices optional

  自動的に選択されるようになった．

  The per-device option selection is a feature that some
  developers love, while others hate...
  
  So, let's make both happy by making it optional.

  とのこと．自動選択を無効にするには CONFIG_MEDIA_SUPPORT_FILTER=n とする．面倒なのでこのままにしてく．

削除

• -CONFIG_DOUBLEFAULT=y

  x86/32: Remove CONFIG_DOUBLEFAULT

• -CONFIG_HAVE_IRQ_EXIT_ON_IRQ_STACK=y

  x86/entry: Use idtentry for interrupts

  X86 (X86_64) で select されなくなった．

• -CONFIG_HAVE_MEMBLOCK_NODE_MAP=y

  mm: remove CONFIG_HAVE_MEMBLOCK_NODE_MAP option

• -CONFIG_MEMCG_SWAP_ENABLED=y

  mm: memcontrol: make swap tracking an integral part of memory control

• -CONFIG_NODES_SPAN_OTHER_NODES=y

  mm: remove early_pfn_in_nid() and CONFIG_NODES_SPAN_OTHER_NODES

• -CONFIG_VHOST_DPN=y

  vhost: revert “vhost: disable for OABI”

追記 (2020/8/21)

cachefiles の挙動が 5.8.x で怪しい．以下でコケる．5.6 でも cachefiles にはバグがあって，それは 5.6.14 で修正されたのだけど (Linux 5.6.x fs/cachefiles/rdwr.c bug参照)，そもそも cachefiles ユーザ(あるいは NFS ユーザ？)はそんなに多くないのかな．．．cachefiles 自体のコードは 5.7 から 5.8 でほぼ変更が加えられていない様子なのだけど．

Aug 21 19:14:42 qemu kernel: [  323.988885] CacheFiles: 
Aug 21 19:14:42 qemu kernel: [  323.988888] CacheFiles: Assertion failed
Aug 21 19:14:42 qemu kernel: [  323.988926] ------------[ cut here ]------------
Aug 21 19:14:42 qemu kernel: [  323.988927] kernel BUG at fs/cachefiles/rdwr.c:715!
Aug 21 19:14:42 qemu kernel: [  323.988934] invalid opcode: 0000 [#13] SMP PTI
Aug 21 19:14:42 qemu kernel: [  323.988937] CPU: 2 PID: 4214 Comm: sshd Tainted: P      D    O      5.8.2-20200821-diskless-01 #313
Aug 21 19:14:42 qemu kernel: [  323.988938] Hardware name: QEMU Standard PC (i440FX + PIIX, 1996), BIOS 1.14.0-1 04/01/2014
Aug 21 19:14:42 qemu kernel: [  323.988946] RIP: 0010:cachefiles_read_or_alloc_pages.cold.20+0x307/0x3b3 [cachefiles]
Aug 21 19:14:42 qemu kernel: [  323.988948] Code: 10 e8 69 db cc e0 48 8b 44 24 28 8b 10 e9 50 c2 ff ff 48 c7 c7 43 87 40 a0 e8 51 db cc e0 48 c7 c7 60 9d 40 a0 e8 45 db cc e0 <0f> 0b 49 8b 57 20 44 89 e9 48 c7 c7 e7 87 40 a0 65 48 8b 34 25 00
Aug 21 19:14:42 qemu kernel: [  323.988950] RSP: 0018:ffffc9000192f9c0 EFLAGS: 00010246
Aug 21 19:14:42 qemu kernel: [  323.988952] RAX: 000000000000001c RBX: ffff8881fbc8ac00 RCX: 0000000000000027
Aug 21 19:14:42 qemu kernel: [  323.988953] RDX: 0000000000000000 RSI: ffff88822be979c0 RDI: ffff88822be979c8
Aug 21 19:14:42 qemu kernel: [  323.988954] RBP: ffff8881dec0a068 R08: 0000000000000534 R09: 000000000000002b
Aug 21 19:14:42 qemu kernel: [  323.988955] R10: 0000000000000000 R11: ffffc9000192f875 R12: ffff8881c84dfa58
Aug 21 19:14:42 qemu kernel: [  323.988956] R13: ffffc9000192fcd0 R14: ffff888227a36900 R15: ffff8881dec0a000
Aug 21 19:14:42 qemu kernel: [  323.988958] FS:  00007f725f467e40(0000) GS:ffff88822be80000(0000) knlGS:0000000000000000
Aug 21 19:14:42 qemu kernel: [  323.988961] CS:  0010 DS: 0000 ES: 0000 CR0: 0000000080050033
Aug 21 19:14:42 qemu kernel: [  323.988963] CR2: 0000564ddd7d6168 CR3: 0000000187cfc000 CR4: 00000000000006e0
Aug 21 19:14:42 qemu kernel: [  323.988964] Call Trace:
Aug 21 19:14:42 qemu kernel: [  323.988971]  ? out_of_line_wait_on_bit+0x91/0xb0
Aug 21 19:14:42 qemu kernel: [  323.988976]  ? fscache_run_op.isra.12+0x55/0xb0
Aug 21 19:14:42 qemu kernel: [  323.988978]  __fscache_read_or_alloc_pages+0x28e/0x300
Aug 21 19:14:42 qemu kernel: [  323.988982]  __nfs_readpages_from_fscache+0x60/0x160
Aug 21 19:14:42 qemu kernel: [  323.988985]  nfs_readpages+0xb5/0x1a0
Aug 21 19:14:42 qemu kernel: [  323.988990]  read_pages+0x1c1/0x1f0
Aug 21 19:14:42 qemu kernel: [  323.988993]  page_cache_readahead_unbounded+0x1ad/0x200
Aug 21 19:14:42 qemu kernel: [  323.988997]  generic_file_buffered_read+0x5c3/0x960
Aug 21 19:14:42 qemu kernel: [  323.989001]  ? nfs4_do_check_delegation+0x18/0x40
Aug 21 19:14:42 qemu kernel: [  323.989005]  ? nfs_check_cache_invalid+0x33/0x90
Aug 21 19:14:42 qemu kernel: [  323.989007]  nfs_file_read+0x6b/0x90
Aug 21 19:14:42 qemu kernel: [  323.989011]  new_sync_read+0x114/0x1a0
Aug 21 19:14:42 qemu kernel: [  323.989013]  vfs_read+0x151/0x180
Aug 21 19:14:42 qemu kernel: [  323.989015]  ksys_read+0x59/0xd0
Aug 21 19:14:42 qemu kernel: [  323.989018]  do_syscall_64+0x3e/0xb0
Aug 21 19:14:42 qemu kernel: [  323.989020]  entry_SYSCALL_64_after_hwframe+0x44/0xa9
Aug 21 19:14:42 qemu kernel: [  323.989023] RIP: 0033:0x7f725f80a461
Aug 21 19:14:42 qemu kernel: [  323.989025] Code: fe ff ff 50 48 8d 3d fe d0 09 00 e8 e9 03 02 00 66 0f 1f 84 00 00 00 00 00 48 8d 05 99 62 0d 00 8b 00 85 c0 75 13 31 c0 0f 05 <48> 3d 00 f0 ff ff 77 57 c3 66 0f 1f 44 00 00 41 54 49 89 d4 55 48
Aug 21 19:14:42 qemu kernel: [  323.989026] RSP: 002b:00007ffd776e1588 EFLAGS: 00000246 ORIG_RAX: 0000000000000000
Aug 21 19:14:42 qemu kernel: [  323.989028] RAX: ffffffffffffffda RBX: 0000564ddd7bdf90 RCX: 00007f725f80a461
Aug 21 19:14:42 qemu kernel: [  323.989029] RDX: 0000000000002000 RSI: 0000564ddd7d4160 RDI: 0000000000000004
Aug 21 19:14:42 qemu kernel: [  323.989030] RBP: 0000000000000d68 R08: 0000000000000003 R09: 00007f725f8dbd30
Aug 21 19:14:42 qemu kernel: [  323.989031] R10: 0000564ddd79e010 R11: 0000000000000246 R12: 00007f725f8d7760
Aug 21 19:14:42 qemu kernel: [  323.989032] R13: 00007f725f8d82a0 R14: 0000000000000000 R15: 0000000000000000
Aug 21 19:14:42 qemu kernel: [  323.989034] Modules linked in: fuse ext4 crc16 mbcache jbd2 dm_crypt ecb aes_generic libaes crypto_simd cryptd glue_helper xts algif_skcipher af_alg dm_mod xt_conntrack xt_MASQUERADE xfrm_user xfrm_algo nft_counter xt_addrtype nft_compat nft_chain_nat nf_nat nf_conntrack nf_defrag_ipv6 nf_defrag_ipv4 br_netfilter cpufreq_userspace cpufreq_powersave cpufreq_ondemand cpufreq_conservative rpcsec_gss_krb5 btrfs blake2b_generic zstd_decompress zstd_compress bochs_drm drm_vram_helper drm_ttm_helper ttm drm_kms_helper syscopyarea intel_agp sysfillrect intel_gtt snd_pcm sg sysimgblt fb_sys_fops snd_timer joydev evdev snd serio_raw button soundcore pcspkr cachefiles lm78 i5k_amb nf_tables hwmon_vid nfnetlink msr drm agpgart nfsd binfmt_misc ip_tables x_tables autofs4 loop squashfs overlay raid456 async_raid6_recov async_memcpy async_pq async_xor async_tx xor raid6_pq libcrc32c crc32c_generic raid1 raid0 multipath linear md_mod sd_mod t10_pi crc_t10dif crct10dif_generic sr_mod cdrom crct10dif_common
Aug 21 19:14:42 qemu kernel: [  323.989066]  ata_generic ata_piix libata psmouse scsi_mod rtc_cmos
Aug 21 19:14:42 qemu kernel: [  323.989072] ---[ end trace f27e8415c423cf4c ]---
Aug 21 19:14:42 qemu kernel: [  323.989076] RIP: 0010:cachefiles_read_or_alloc_pages.cold.20+0x307/0x3b3 [cachefiles]
Aug 21 19:14:42 qemu kernel: [  323.989078] Code: 10 e8 69 db cc e0 48 8b 44 24 28 8b 10 e9 50 c2 ff ff 48 c7 c7 43 87 40 a0 e8 51 db cc e0 48 c7 c7 60 9d 40 a0 e8 45 db cc e0 <0f> 0b 49 8b 57 20 44 89 e9 48 c7 c7 e7 87 40 a0 65 48 8b 34 25 00
Aug 21 19:14:42 qemu kernel: [  323.989079] RSP: 0018:ffffc900005cf9c0 EFLAGS: 00010246
Aug 21 19:14:42 qemu kernel: [  323.989081] RAX: 000000000000001c RBX: ffff8881fbc8ac00 RCX: 0000000000000027
Aug 21 19:14:42 qemu kernel: [  323.989082] RDX: 0000000000000000 RSI: ffff88822bf179c0 RDI: ffff88822bf179c8
Aug 21 19:14:42 qemu kernel: [  323.989083] RBP: ffff8881dec0a068 R08: 000000000000027c R09: 000000000000002b
Aug 21 19:14:42 qemu kernel: [  323.989084] R10: 0000000000000000 R11: ffffc900005cf875 R12: ffff8881c84dfa58
Aug 21 19:14:42 qemu kernel: [  323.989085] R13: ffffc900005cfcd0 R14: ffff88822a584f00 R15: ffff8881dec0a000
Aug 21 19:14:42 qemu kernel: [  323.989086] FS:  00007f725f467e40(0000) GS:ffff88822be80000(0000) knlGS:0000000000000000
Aug 21 19:14:42 qemu kernel: [  323.989087] CS:  0010 DS: 0000 ES: 0000 CR0: 0000000080050033
Aug 21 19:14:42 qemu kernel: [  323.989088] CR2: 0000564ddd7d6168 CR3: 0000000187cfc000 CR4: 00000000000006e0

https://bugzilla.kernel.org/show_bug.cgi?id=208883 にも報告されていて，ここでは https://lkml.org/lkml/2020/8/3/960 の fscache-iterを merge すれば解決するという案が示されているが，https://lkml.org/lkml/2020/8/10/454でこの pull request は一旦取り下げられている．

追記 (2020/9/2)

cachefiles の挙動が 5.8.x で怪しい問題，https://lkml.org/lkml/2020/8/27/714 の patch をあてたら解決する．少なくとも 5.8.5 ではこの patch が必要．

追記 (2021/1/30)

cachefiles の挙動が怪しい問題，https://lkml.org/lkml/2020/8/27/714 の patch がようやく cachefiles: Drop superfluous readpages aops NULL checkのように取り込まれた様子．5.11-rc5 および 5.10.11 (commit)で修正されている．

追記 (2020/8/21)

以下の compile には https://gitlab.com/-/snippets/1986228/ のパッチが必要．

• nvidia-kernel-dkms 440.100-1~bpo10+1
• nvidia-legacy-390xx-kernel-dkms 390.138-1~deb10u1

また，nvidia-legacy-390xx-kernel-dkms については kernel 側に https://www.spinics.net/lists/linux-fsdevel/msg173844.html のパッチが必要(なぜか radix_tree_preloads が EXPORT_PER_CPU_SYMBOL_GPL されていてリンクできない，とかだったはず)．

Related articles

• 2024/04/08 13:19 / Linux 6.8.4
• 2022/04/18 15:22 / Linux 5.17
• 2021/09/08 12:13 / Linux 5.14
• 2021/07/19 11:11 / Linux 5.13
• 2021/04/28 18:58 / Linux 5.12
• 2021/01/13 21:27 / brtfs 上に swap ファイルを置く
• 2020/09/11 20:24 / Linux 5.9-rc4
• 2020/05/01 21:21 / Linux 5.7-rc1
• 2020/04/03 22:18 / Linux 5.6.x fs/cachefiles/rdwr.c bug
• 2020/02/22 19:33 / Linux 5.6-rc2
• 2020/01/11 20:50 / Linux 5.5-rc5
• 2019/11/25 14:45 / nvidia-kernel-dkms 418.74-1 with Linux 5.4
• 2019/10/02 00:03 / Linux 5.3.1 -> 5.4-rc1
• 2019/09/20 14:45 / nvidia-kernel-dkms 418.74-1 with Linux 5.3
• 2019/07/22 19:13 / Linux 5.2.2 -> 5.3-rc1
• 2019/06/28 20:38 / GeForce GT 430 with nvidia-legacy-390xx-kernel-dkms 390.116-1~bpo9+1
• 2019/06/12 16:10 / Linux 5.1.8 -> 5.2-rc4
• 2019/05/07 19:43 / Linux 5.0.9 -> 5.1.0
• 2019/03/07 22:16 / Linux 4.20.13 -> 5.0.0
• 2018/11/06 11:30 / Linux 4.19.0 -> 4.20-rc1
• 2018/08/29 11:06 / Linux 4.18.5 -> 4.19-rc1
• 2018/06/20 17:06 / Linux 4.17.2 -> 4.18-rc1
• 2018/04/19 15:25 / Linux 4.16.2 -> 4.17-rc1
• 2018/02/12 17:23 / Linux 4.15.3 -> 4.16-rc1
• 2018/01/29 11:08 / Linux 4.14.15 -> 4.15
• 2017/11/28 12:42 / Linux 4.14.2 -> 4.15-rc1
• 2017/11/15 15:56 / Linux ORC unwinder と objtool (CONFIG_STACK_VALIDATION needs tools/objtool/objtool along headers)
• 2017/11/15 15:41 / Linux 4.13.12 -> 4.14.0
• 2017/09/18 07:04 / Linux 4.13.1 -> 4.14-rc1
• 2017/09/05 04:14 / Linux 4.12.10 -> 4.13
• 2017/07/16 23:56 / Linux 4.12.0 -> 4.13-rc1
• 2017/05/15 14:04 / Linux 4.11.0 -> 4.12-rc1
• 2017/05/03 00:24 / Linux 4.10.13 -> 4.11.0
• 2017/03/06 09:51 / Linux 4.10.1 -> 4.11-rc1
• 2017/02/20 10:31 / Linux 4.9.X -> 4.10
• 2016/12/30 21:28 / Linux 4.9 -> 4.10-rc1
• 2016/12/14 23:00 / Linux 4.8 -> 4.9

使っているNotePC (ASUS ZenBook S UX391UA, Windows 10 Pro)で Windows Update が Intel Corporation - Display - 26.20.100.7325 の Install を繰り返す．Update history では Successfully installed になっているのだが，実際にはベンダ提供ドライバ(23.20.16.4927)が使われ続ける．

一般的にはベンダ提供ドライバを使うことが推奨されるのだが，それを Windows Update が上書きしようとして，しかも成功しているかに見せかけて失敗して，繰り返しインストールを試みる，という症状．

ずっと放置していたのだが，何かの拍子に Windows Update によるインストールが正しく失敗するようになって，Windows Update の警告が表示されるようになってしまったので対処．

一般的には

• https://twitter.com/windowsdev/status/1270726587873243146
• https://www.windowslatest.com/2020/06/14/windows-10-trying-to-install-the-same-driver-in-loop/

などによると

• Windows Update Troubleshooterを試す
• Windows update cache を削除する
  • Services App (services.msc)で Windows Update Service を停止する(Stopする．ただしこれだと自動で起動することがあるので Property を開いて Startup type を Manual から Disabled に変更する)
  • C:\Windows\SoftwareDistribution\Download の中身をまるごと削除する
  • Services App (services.msc)で Windows Update Service を有効にする(もとにもどす)

が解決法ならしいが，手元では解決しない．ベンダ提供ドライバの再インストール等との組み合わせや，Intel からドライバを直接ダウンロードしてインストールを試みたがだめだった．

仕方がないので，個別の Windows Update を無効化する方法を調べた．Hide Windows Updates or driver updatesHide Windows Updates or driver updatesにある Show or hide updates という Troubleshooter を利用すると，個別の Windows Update を無効化できる．これで警告が出る問題，解決した．

なお，Intel® Driver & Support Assistant ではベンダ提供ドライバの状態で Your Intel® drivers and software are up to date と判定される．

なお，急いでいる時にトラブルになると嫌なので，gpedit.msc (Local Group Policy Editor; Windows 10 Pro 用)で以下のように辿ってたどり着く Configure Automatic Update の設定で，自動ダウンロードを抑制している．

• Local Computer Policy
• Computer Configuration
• Administrative Templates
• Windows Components
• Windows Update
• Configure Automatic Update

参考にしたページ:

• https://www.thewindowsclub.com/make-windows-10-notify-you-before-downloading-or-installing-windows-updates/ (英語記事)
• https://www.partitionwizard.jp/clone-disk/disable-automatic-update-win10.html (日本語記事)

Linux 5.7-rc1 がでたので(既に rc3 になってるけど)，5.6.3 から .configがどう変更されるのか見てみた．以下 - は削除されたもの，+ は追加されたもの．x86_64．New features 等は https://www.phoronix.com/scan.php?page=article&item=linux-57-features 参照．大きなところは Tiger Lake 関連かなと．

• -CONFIG_ARCH_DEFCONFIG="arch/x86/configs/x86_64_defconfig"

  kbuild: use KBUILD_DEFCONFIG as the fallback for DEFCONFIG_LIST

  削除された．

• +CONFIG_AS_AVX512=y
+CONFIG_AS_SHA1_NI=y
+CONFIG_AS_SHA256_NI=y

  x86: probe assembler capabilities via kconfig instead of makefile

  assembler (as) capability check を Makefile ではなく kconfig の段階で行うようになったため追加．自動で設定される(scripts/Kconfig.include の as-instr でチェック)．

Compiler: gcc (Debian 8.3.0-6) 8.3.0

• +CONFIG_LD_VERSION=231010000

  arm64: Kconfig: ptrauth: Add binutils version check to fix mismatch

  追加された．

General setup

• -CONFIG_ARCH_CLOCKSOURCE_DATA=y

  x86/vdso: Use generic VDSO clock mode storage
  lib/vdso: Cleanup clock mode storage leftovers

  CONFIG_GENERIC_VDSO_CLOCK_MODEを使うように変更されたが，その後全アーキテクチャで generic storage を使うようになったので削除された．

IRQ subsystem

• +CONFIG_GENERIC_IRQ_INJECTION=y

  genirq: Provide interrupt injection mechanism
  PCI/AER: Fix the broken interrupt injection

  手元では PCIEAER_INJECT [=m] && PCI [=y] && PCIEAER [=y] で y になっていた．

• +CONFIG_HARDIRQS_SW_RESEND=y

  x86: Select HARDIRQS_SW_RESEND on x86

  X86 で select されるようになった．

General architecture-dependent options

• -CONFIG_PLUGIN_HOSTCC="g++"

  gcc-plugins: drop support for GCC <= 4.7

  削除された．

Memory Management options

• +CONFIG_PAGE_REPORTING=y

  mm: introduce Reported pages

  手元では VIRTIO_BALLOON [=y] && VIRTIO_MENU [=y] && VIRTIO [=y] で y になっていた．

• -CONFIG_TRANSPARENT_HUGE_PAGECACHE=y

  mm: remove CONFIG_TRANSPARENT_HUGE_PAGECACHE

  削除された．

• +CONFIG_ZSWAP_COMPRESSOR_DEFAULT_LZO=y
+CONFIG_ZSWAP_COMPRESSOR_DEFAULT="lzo"
+CONFIG_ZSWAP_ZPOOL_DEFAULT_ZBUD=y
+CONFIG_ZSWAP_ZPOOL_DEFAULT="zbud"

  mm/zswap: allow setting default status, compressor and allocator in Kconfig

  あと CONFIG_ZSWAP_DEFAULT_ON も導入されているが，こちらは n にしておく．

Core Netfilter Configuration

• -CONFIG_NF_TABLES_SET=m

  netfilter: nf_tables: make sets built-in

  nf_tables_set.ko に分ける必要ないよね，ということ．

SCSI support type (disk, tape, CD-ROM)

• -CONFIG_BLK_DEV_SR_VENDOR=y

  scsi: sr: remove references to BLK_DEV_SR_VENDOR, leave it enabled

  削除された．Default で有効になる．

SCSI device support

• +CONFIG_SATA_HOST=y

  ata: make SATA_PMP option selectable only if any SATA host driver is enabled
  ata: start separating SATA specific code from libata-core.c

  追加された．libata-core.c から CONFIG_SATA_HOST=y 用のコードが libata-sata.c に分離された．

• +CONFIG_PATA_TIMINGS=y

  ata: separate PATA timings code from libata-core.c

  追加された．libata-core.c から CONFIG_PATA_TIMINGS=y 用のコードが libata-pata-timings.c に分離された．

• +CONFIG_ATA_FORCE=y

  ata: make “libata.force” kernel parameter optional

  “libata.force” kernel parameter が optional になった．n にすると kernel size が 3KB 程削減されるとのこと．このままにしておく．

Display Engine Configuration

• -CONFIG_DRM_I915_ALPHA_SUPPORT=y

  drm/i915: drop alpha_support for good in favour of force_probe

  削除された．経過期間が終わったとのことで．

• -CONFIG_DRM_I915_SPIN_REQUEST=5
+CONFIG_DRM_I915_MAX_REQUEST_BUSYWAIT=8000

  drm/i915/gt: Expose busywait duration to sysfs

  名前が変更になるとともに単位が us から ns に変更され，/sys/class/drm/card?/engine/*/ms_busywait_duration_ns からアクセス可能になった．

DMABUF options

• +CONFIG_VHOST_MENU=y

  vhost: refine vhost and vringh kconfig

  vhost と vringh 周りが整理され，追加になった．

• +CONFIG_VHOST_IOTLB=m

  vhost: factor out IOTLB

  追加された．CONFIG_VHOST で select される．

• +CONFIG_VHOST_NET=m

  何かの拍子で m になった．

  CONFIG_VHOST_VDPA と CONFIG_VHOST_SCSI も m にする．

Clock Source drivers

• +CONFIG_IOASID=y

  iommu/vt-d: Add build dependency on IOASID

  CONFIG_INTEL_IOMMU で select されるようになった．

Compile-time checks and compiler options

• -CONFIG_OPTIMIZE_INLINING=y

  compiler: remove CONFIG_OPTIMIZE_INLINING entirely

  削除された．強制的に y になるので無意味になったとのこと．

Generic Kernel Debugging Instruments

• +CONFIG_MAGIC_SYSRQ_SERIAL_SEQUENCE=""

  serial/sysrq: Add MAGIC_SYSRQ_SERIAL_SEQUENCE

  追加された．この機会に CONFIG_MAGIC_SYSRQ_SERIAL=n にする．

• -CONFIG_UBSAN_ALIGNMENT=y

  ubsan: split “bounds” checker from other options

  UBSAN (undefined behaviour sanity checker)関連が CONFIG_UBSAN に依存するようになり CONFIG_UBSAN=n なので n になった．

Related articles

• 2024/04/08 13:19 / Linux 6.8.4
• 2022/04/18 15:22 / Linux 5.17
• 2021/09/08 12:13 / Linux 5.14
• 2021/07/19 11:11 / Linux 5.13
• 2021/04/28 18:58 / Linux 5.12
• 2021/01/13 21:27 / brtfs 上に swap ファイルを置く
• 2020/09/11 20:24 / Linux 5.9-rc4
• 2020/07/12 16:42 / Linux 5.8-rc4
• 2020/04/03 22:18 / Linux 5.6.x fs/cachefiles/rdwr.c bug
• 2020/02/22 19:33 / Linux 5.6-rc2
• 2020/01/11 20:50 / Linux 5.5-rc5
• 2019/11/25 14:45 / nvidia-kernel-dkms 418.74-1 with Linux 5.4
• 2019/10/02 00:03 / Linux 5.3.1 -> 5.4-rc1
• 2019/09/20 14:45 / nvidia-kernel-dkms 418.74-1 with Linux 5.3
• 2019/07/22 19:13 / Linux 5.2.2 -> 5.3-rc1
• 2019/06/28 20:38 / GeForce GT 430 with nvidia-legacy-390xx-kernel-dkms 390.116-1~bpo9+1
• 2019/06/12 16:10 / Linux 5.1.8 -> 5.2-rc4
• 2019/05/07 19:43 / Linux 5.0.9 -> 5.1.0
• 2019/03/07 22:16 / Linux 4.20.13 -> 5.0.0
• 2018/11/06 11:30 / Linux 4.19.0 -> 4.20-rc1
• 2018/08/29 11:06 / Linux 4.18.5 -> 4.19-rc1
• 2018/06/20 17:06 / Linux 4.17.2 -> 4.18-rc1
• 2018/04/19 15:25 / Linux 4.16.2 -> 4.17-rc1
• 2018/02/12 17:23 / Linux 4.15.3 -> 4.16-rc1
• 2018/01/29 11:08 / Linux 4.14.15 -> 4.15
• 2017/11/28 12:42 / Linux 4.14.2 -> 4.15-rc1
• 2017/11/15 15:56 / Linux ORC unwinder と objtool (CONFIG_STACK_VALIDATION needs tools/objtool/objtool along headers)
• 2017/11/15 15:41 / Linux 4.13.12 -> 4.14.0
• 2017/09/18 07:04 / Linux 4.13.1 -> 4.14-rc1
• 2017/09/05 04:14 / Linux 4.12.10 -> 4.13
• 2017/07/16 23:56 / Linux 4.12.0 -> 4.13-rc1
• 2017/05/15 14:04 / Linux 4.11.0 -> 4.12-rc1
• 2017/05/03 00:24 / Linux 4.10.13 -> 4.11.0
• 2017/03/06 09:51 / Linux 4.10.1 -> 4.11-rc1
• 2017/02/20 10:31 / Linux 4.9.X -> 4.10
• 2016/12/30 21:28 / Linux 4.9 -> 4.10-rc1
• 2016/12/14 23:00 / Linux 4.8 -> 4.9

The commit, cachefiles: drop direct usage of ->bmap method., included in v5.5 has a bug. The return value before list_for_each_entry_safe, that is ret = space ? -ENODATA : -ENOBUFS, overwritten by the return value of bmap. This bug exists in Linux 5.6.2 at least.

The following is a patch to fix this bug. This patch also includes https://lkml.org/lkml/2020/3/20/399.

--- a/fs/cachefiles/rdwr.c
+++ b/fs/cachefiles/rdwr.c
@@ -431,7 +431,7 @@ int cachefiles_read_or_alloc_page(struct fscache_retrieval *op,
    block <<= shift;
 
    ret = bmap(inode, &block);
-   ASSERT(ret < 0);
+   ASSERT(!ret);
 
    _debug("%llx -> %llx",
           (unsigned long long) (page->index << shift),
@@ -739,8 +739,8 @@ int cachefiles_read_or_alloc_pages(struct fscache_retrieval *op,
        block = page->index;
        block <<= shift;
 
-       ret = bmap(inode, &block);
-       ASSERT(!ret);
+       ret2 = bmap(inode, &block);
+       ASSERT(!ret2);
 
        _debug("%llx -> %llx",
               (unsigned long long) (page->index << shift),

Update (2020/5/24)

This bug has been fixed in Linux 5.6.14 while fixed in v5.7-rc6 as for the master branch.

Related articles

• 2024/04/08 13:19 / Linux 6.8.4
• 2022/04/18 15:22 / Linux 5.17
• 2021/09/08 12:13 / Linux 5.14
• 2021/07/19 11:11 / Linux 5.13
• 2021/04/28 18:58 / Linux 5.12
• 2021/01/13 21:27 / brtfs 上に swap ファイルを置く
• 2020/09/11 20:24 / Linux 5.9-rc4
• 2020/07/12 16:42 / Linux 5.8-rc4
• 2020/05/01 21:21 / Linux 5.7-rc1
• 2020/02/22 19:33 / Linux 5.6-rc2
• 2020/01/11 20:50 / Linux 5.5-rc5
• 2019/11/25 14:45 / nvidia-kernel-dkms 418.74-1 with Linux 5.4
• 2019/10/02 00:03 / Linux 5.3.1 -> 5.4-rc1
• 2019/09/20 14:45 / nvidia-kernel-dkms 418.74-1 with Linux 5.3
• 2019/07/22 19:13 / Linux 5.2.2 -> 5.3-rc1
• 2019/06/28 20:38 / GeForce GT 430 with nvidia-legacy-390xx-kernel-dkms 390.116-1~bpo9+1
• 2019/06/12 16:10 / Linux 5.1.8 -> 5.2-rc4
• 2019/05/07 19:43 / Linux 5.0.9 -> 5.1.0
• 2019/03/07 22:16 / Linux 4.20.13 -> 5.0.0
• 2018/11/06 11:30 / Linux 4.19.0 -> 4.20-rc1
• 2018/08/29 11:06 / Linux 4.18.5 -> 4.19-rc1
• 2018/06/20 17:06 / Linux 4.17.2 -> 4.18-rc1
• 2018/04/19 15:25 / Linux 4.16.2 -> 4.17-rc1
• 2018/02/12 17:23 / Linux 4.15.3 -> 4.16-rc1
• 2018/01/29 11:08 / Linux 4.14.15 -> 4.15
• 2017/11/28 12:42 / Linux 4.14.2 -> 4.15-rc1
• 2017/11/15 15:56 / Linux ORC unwinder と objtool (CONFIG_STACK_VALIDATION needs tools/objtool/objtool along headers)
• 2017/11/15 15:41 / Linux 4.13.12 -> 4.14.0
• 2017/09/18 07:04 / Linux 4.13.1 -> 4.14-rc1
• 2017/09/05 04:14 / Linux 4.12.10 -> 4.13
• 2017/07/16 23:56 / Linux 4.12.0 -> 4.13-rc1
• 2017/05/15 14:04 / Linux 4.11.0 -> 4.12-rc1
• 2017/05/03 00:24 / Linux 4.10.13 -> 4.11.0
• 2017/03/06 09:51 / Linux 4.10.1 -> 4.11-rc1
• 2017/02/20 10:31 / Linux 4.9.X -> 4.10
• 2016/12/30 21:28 / Linux 4.9 -> 4.10-rc1
• 2016/12/14 23:00 / Linux 4.8 -> 4.9

数値を3桁区切り表示したいときの話．Rails にはそれっぽい関数があるらしいが Ruby のみで．やるきなしなし．

class Integer
    def to_c
        (to_s.reverse.scan(/\d{1,3}/)*",").reverse
    end
end

Python の場合は以下．

>>> "{:,}".format(12345678)

https://github.com/tensorflow/tensorboard/issues/3077 にあるように index.js を tensorboard が返す際に Content-Type: text/plain で応答するため，ブラウザ側で index.js を実行出来ず真っ白な状態になる．これ，python に付属の mimetypes.py 関連の問題で，以下のように mime type を application/javascript として推定して欲しいのに，Windows では text/plain になってしまう．

% python3 /usr/lib/python3.6/mimetypes.py index.js
type: application/javascript encoding: None

でこれ，mimetypes.py が import winreg as _winreg とかしていて，Windows の場合レジストリの情報から拡張子と mime type の対応を作成しているのが原因．index.js に対して text/plain が返るということはそういう風にレジストリに登録されている．

最も簡単に対処するには Win-r で regedit 起動して，HKEY_LOCAL_MACHINE\Software\Classes の .js の Content Type を application/javascript に変更してしまうこと．

Slackのかわりに Mattermostを利用しているのだが，Default 環境では日本語検索ができない．日本語全文検索可能なストレージエンジン Mroonga を導入して検索できるようにする．環境は Debian GNU/Linux の stable (buster; Debian 10)，RDBMS (relational database management system) は MySQL派生の MariaDB (Debian 9 以降の Default RDBMS)．

以下で Mroonga を install

sudo aptitude install mariadb-plugin-mroonga

MySQL (=MariaDB，以下同様)が既に導入済みで password 設定済みだと

ERROR 1045 (28000): Access denied for user 'root'@'localhost' (using password: NO)

のように MySQL への install に失敗するので以下実行．

mysql -u root -p<sql root password> < /usr/share/mysql/mroonga/install.sql

登録済みエンジン確認．

% mysql -u root -p<sql root password>
Welcome to the MariaDB monitor.  Commands end with ; or \g.
Your MariaDB connection id is 49565
Server version: 10.3.22-MariaDB-0+deb10u1 Debian 10

Copyright (c) 2000, 2018, Oracle, MariaDB Corporation Ab and others.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

MariaDB [(none)]> show engines;
+--------------------+---------+----------------------------------------------------------------------------------+--------------+------+------------+
| Engine             | Support | Comment                                                                          | Transactions | XA   | Savepoints |
+--------------------+---------+----------------------------------------------------------------------------------+--------------+------+------------+
| MRG_MyISAM         | YES     | Collection of identical MyISAM tables                                            | NO           | NO   | NO         |
| CSV                | YES     | Stores tables as CSV files                                                       | NO           | NO   | NO         |
| MEMORY             | YES     | Hash based, stored in memory, useful for temporary tables                        | NO           | NO   | NO         |
| MyISAM             | YES     | Non-transactional engine with good performance and small data footprint          | NO           | NO   | NO         |
| Aria               | YES     | Crash-safe tables with MyISAM heritage                                           | NO           | NO   | NO         |
| Mroonga            | YES     | CJK-ready fulltext search, column store                                          | NO           | NO   | NO         |
| InnoDB             | DEFAULT | Supports transactions, row-level locking, foreign keys and encryption for tables | YES          | YES  | YES        |
| PERFORMANCE_SCHEMA | YES     | Performance Schema                                                               | NO           | NO   | NO         |
| SEQUENCE           | YES     | Generated tables filled with sequential values                                   | YES          | NO   | YES        |
+--------------------+---------+----------------------------------------------------------------------------------+--------------+------+------------+
9 rows in set (0.000 sec)

テーブルのエンジン確認．Mattermost の DB name は mattermost を想定．

MariaDB [(none)]> select table_name, engine from information_schema.tables where table_schema = 'mattermost';
+----------------------+--------+
| table_name           | engine |
+----------------------+--------+
| ClusterDiscovery     | InnoDB |
| Compliances          | InnoDB |
| Systems              | InnoDB |
| Licenses             | InnoDB |
| Tokens               | InnoDB |
| ChannelMemberHistory | InnoDB |
| PluginKeyValueStore  | InnoDB |
| TermsOfService       | InnoDB |
| Reactions            | InnoDB |
| Roles                | InnoDB |
| Schemes              | InnoDB |
| Teams                | InnoDB |
| TeamMembers          | InnoDB |
| ChannelMembers       | InnoDB |
| Channels             | InnoDB |
| PublicChannels       | InnoDB |
| Posts                | InnoDB |
| Users                | InnoDB |
| Audits               | InnoDB |
| Sessions             | InnoDB |
| OAuthApps            | InnoDB |
| OAuthAccessData      | InnoDB |
| OAuthAuthData        | InnoDB |
| IncomingWebhooks     | InnoDB |
| OutgoingWebhooks     | InnoDB |
| Commands             | InnoDB |
| CommandWebhooks      | InnoDB |
| Preferences          | InnoDB |
| Emoji                | InnoDB |
| Status               | InnoDB |
| FileInfo             | InnoDB |
| Jobs                 | InnoDB |
| UserAccessTokens     | InnoDB |
| UserTermsOfService   | InnoDB |
| LinkMetadata         | InnoDB |
| GroupMembers         | InnoDB |
| UserGroups           | InnoDB |
| Bots                 | InnoDB |
| GroupTeams           | InnoDB |
| GroupChannels        | InnoDB |
+----------------------+--------+

Channels と Posts のエンジンを Mroonga に変更．その後上のコマンドでテーブルのエンジン確認．

MariaDB [mattermost]> alter table Channels ENGINE = Mroonga;
MariaDB [mattermost]> alter table Posts ENGINE = Mroonga;

念の為 Mattermost 再起動(systemctl で制御可能であることを想定)．

ちなみに Mattermost，既存 Web server を利用することができるが，パスとして / から利用するので，それ用のドメインを切って Virtual Domain にて運用．

% sudo systemctl stop mattermost.service
% sudo systemctl start mattermost.service

参考にしたページ:

• http://asuki-yt.hatenablog.jp/entry/2018/04/03/200000

Related articles

• 2025/02/09 00:58 / Mattermost Migration from MariaDB to PostgreSQL
• 2022/09/05 08:00 / Mattermost 7.2 に upgrade すると DM が表示できない

chroot 環境で systemd の upgrade に以下で失敗する．

Detected unsafe path transition / → /var during canonicalization of /var/log/journal.

/ の owner が root:root になっていない場合に発生する．

# chown root:root /

すれば解決する．https://bugs.debian.org/cgi-bin/bugreport.cgi?bug=950684 参照．

Linux 5.6-rc2 で 5.5.5 から .configがどう変更されるのか見てみた．以下 - は削除されたもの，+ は追加されたもの．x86_64．New features 等は https://www.phoronix.com/scan.php?page=article&item=linux-56-features 参照．大きなところは net: WireGuard secure network tunnel で VPN である WireGuard が取り込まれたことと AMD 関連かなと．

• -CONFIG_BUILDTIME_EXTABLE_SORT=y
+CONFIG_BUILDTIME_TABLE_SORT=y

  scripts/sorttable: Rename ‘sortextable’ to ‘sorttable’

  Rename された．

• +CONFIG_TIME_NS=y
+CONFIG_GENERIC_VDSO_TIME_NS=y

  ns: Introduce Time Namespace
  x86/vdso: Add time napespace page

• -CONFIG_X86_PTDUMP_CORE=y
+CONFIG_GENERIC_PTDUMP=y
+CONFIG_PTDUMP_CORE=y

  x86: mm: convert dump_pagetables to use walk_page_range
  mm: add generic ptdump

  A generic version of page table dumping.

• +CONFIG_BOOT_CONFIG=y
+CONFIG_BOOTTIME_TRACING=y

  bootconfig: Add Extra Boot Config support
  bootconfig: Remove unneeded CONFIG_LIBXBC
  bootconfig: Load boot config from the tail of initrd
  tracing/boot: Add boot-time tracing

  新機能．ともに n にできるが y のままにしておく．

• +CONFIG_ARCH_WANT_DEFAULT_BPF_JIT=y
+CONFIG_BPF_JIT_DEFAULT_ON=y

  bpf, x86, arm64: Enable jit by default when not built as always-on

  BPF_JIT_ALWAYS_ON=y でなくても Default で BPF (Berkeley Packet Filter) の JIT が有効になるようになった．Debian では今のところ BPF_JIT_ALWAYS_ON=n が Default の設定．

• +CONFIG_IA32_FEAT_CTL=y

  x86/intel: Initialize IA32_FEAT_CTL MSR at boot

  def_bool y
  depends on CPU_SUP_INTEL

• +CONFIG_X86_VMX_FEATURE_NAMES=y

  x86/cpu: Detect VMX features on Intel, Centaur and Zhaoxin CPUs

  def_bool y
  depends on IA32_FEAT_CTL && X86_FEATURE_NAMES

• -CONFIG_HAVE_RCU_TABLE_FREE=y
+CONFIG_MMU_GATHER_RCU_TABLE_FREE=y
+CONFIG_MMU_GATHER_TABLE_FREE=y

  asm-generic/tlb: rename HAVE_RCU_TABLE_FREE
  asm-generic/tlb: provide MMU_GATHER_TABLE_FREE

  CONFIG_HAVE_RCU_TABLE_FREE が MMU_GATHER_RCU_TABLE_FREE に Rename され，MMU_GATHER_TABLE_FREE が導入された．

• +CONFIG_ETHTOOL_NETLINK=y

  ethtool: introduce ethtool netlink interface

  y にしておく．

• -CONFIG_REGMAP_I2C=y
-CONFIG_REGMAP_SPI=y
+CONFIG_REGMAP_I2C=m

  rtc: i2c/spi: Avoid inclusion of REGMAP support when not needed

  RTC_I2C_AND_SPI で select されなくなり，RTC_I2C_AND_SPI に依存する個別の device driver で select されるようになった．REGMAP_I2Cについては以前は以下で y になっていた．

  Selected by [y]:
  RTC_I2C_AND_SPI [=y] && RTC_CLASS [=y] && I2C [=y]
  
  Selected by [m]:
  SENSORS_LM75 [=m] && HWMON [=y] && I2C [=y]
  SENSORS_LM95245 [=m] && HWMON [=y] && I2C [=y]
  TYPEC_TPS6598X [=m] && USB_SUPPORT [=y] && TYPEC [=m] && I2C [=y]

  これ，5.5.6 でも <https://git.kernel.org/cgit/linux/kernel/git/stable/linux-stable.git/commit/?id=fe0ed403e082358eea51ad2a2a56f92896f4a1cf> として取り込まれている．

• -CONFIG_DRM_AMD_DC_DCN1_0=y
-CONFIG_DRM_AMD_DC_DCN2_0=y
-CONFIG_DRM_AMD_DC_DSC_SUPPORT=y
+CONFIG_DRM_AMD_DC_DCN=y

  drm/amd/display: Drop CONFIG_DRM_AMD_DC_DCN2_0 and DSC_SUPPORTED
  drm/amd/display: rename DCN1_0 kconfig to DCN

  CONFIG_DRM_AMD_DC_DCN2_0 と CONFIG_DRM_AMD_DC_DSC_SUPPORT が削除され(Default で有効)，CONFIG_DRM_AMD_DC_DCN1_0 が CONFIG_DRM_AMD_DC_DCN に Rename された．

  GPU は Intel か nVidia ばかりで CONFIG_DRM_AMDGPU=m 自体不要かもしれないが，そのままで．

• -CONFIG_SND_HDA_PREALLOC_SIZE=64
+CONFIG_SND_HDA_PREALLOC_SIZE=0

  ALSA: hda: No preallocation on x86 platforms

  CONFIG_SND_DMA_SGBUF=y (CONFIG_X86=y なら y になる)であれば preallocation 不要とのことでここでの設定不可(0)になった．

• +CONFIG_NFS_DISABLE_UDP_SUPPORT=y

  NFS: allow deprecation of NFS UDP protocol

  NFS over UDP を disable する設定が追加された．Default は y．ちなみに手元では常に proto=tcp で mount している(ずっと以前にGbEと100BASE-TXが混ざった環境でUDPだと挙動が怪しかったので，そのころからTCPにしている)．ついにこの時が来たか，という感じ．

  Choose Y here to disable the use of NFS over UDP. NFS over UDP
  on modern networks (1Gb+) can lead to data corruption caused by
  fragmentation during high loads.

• +CONFIG_SECURITY_SELINUX_SIDTAB_HASH_BITS=9
+CONFIG_SECURITY_SELINUX_SID2STR_CACHE_SIZE=256

  selinux: sidtab reverse lookup hash table
  selinux: cache the SID -> context string translation

  ちょっとそもそも SELinux の機能を使っていないので CONFIG_SECURITY_SELINUX=n にする．

• -CONFIG_CRYPTO_LIB_POLY1305_RSIZE=4
+CONFIG_CRYPTO_LIB_POLY1305_RSIZE=11

  crypto: x86/poly1305 - wire up faster implementations for kernel

  include/crypto/poly1305.h にある struct poly1305_key opaque_r の配列長．若干早くなったらしい．

  今のところ使っていないけど，CONFIG_CRYPTO_CHACHA20POLY1305等有効にしておく．5.6 では VPN である WireGuard が kernel に取り込まれていて，これを使う場合は select される(とりあえず使わない)．

追記 (2020/2/29)

いつものように以下の DKMS のコンパイルに失敗する．

• nvidia-kernel-dkms 430.64-4~bpo10+1
• nvidia-legacy-390xx-kernel-dkms 390.116-1

nvidia-kernel-dkms については https://gitlab.com/snippets/1937313 のパッチを当てればコンパイルできる．以下の kernel の修正による．

• remove ioremap_nocache and devm_ioremap_nocache で ioremap_nocache が削除された(ioremap と同じなので)．
• y2038: hide timeval/timespec/itimerval/itimerspec types で struct timeval や struct timespec が利用できなくなった．ioctl.rst の Timestamps 付近．
• y2038: remove unused time32 interfaces で getrawmonotonic が削除され，かわりに ktime_get_raw_ts64 の利用が推奨される．
• proc: decouple proc from VFS with “struct proc_ops” で proc_create_data 関数の I/F に変更があった．const struct file_operations が const struct proc_ops に変更され，メンバ名も変更された．

nvidia-legacy-390xx-kernel-dkms についても同様だが，こちらは以下の影響も受ける．

• mm, tree-wide: rename put_user_page() to unpin_user_page() で put_user_page が unpin_user_page に rename された．

nvidia-legacy-390xx-kernel-dkms 390.116-1 向け patch (Linux 5.5 向け patch があたっていることを想定)を https://pastebin.com/g4VD5U7F に置いた．

Related articles

• 2024/04/08 13:19 / Linux 6.8.4
• 2022/04/18 15:22 / Linux 5.17
• 2021/09/08 12:13 / Linux 5.14
• 2021/07/19 11:11 / Linux 5.13
• 2021/04/28 18:58 / Linux 5.12
• 2021/01/13 21:27 / brtfs 上に swap ファイルを置く
• 2020/09/11 20:24 / Linux 5.9-rc4
• 2020/07/12 16:42 / Linux 5.8-rc4
• 2020/05/01 21:21 / Linux 5.7-rc1
• 2020/04/03 22:18 / Linux 5.6.x fs/cachefiles/rdwr.c bug
• 2020/01/11 20:50 / Linux 5.5-rc5
• 2019/11/25 14:45 / nvidia-kernel-dkms 418.74-1 with Linux 5.4
• 2019/10/02 00:03 / Linux 5.3.1 -> 5.4-rc1
• 2019/09/20 14:45 / nvidia-kernel-dkms 418.74-1 with Linux 5.3
• 2019/07/22 19:13 / Linux 5.2.2 -> 5.3-rc1
• 2019/06/28 20:38 / GeForce GT 430 with nvidia-legacy-390xx-kernel-dkms 390.116-1~bpo9+1
• 2019/06/12 16:10 / Linux 5.1.8 -> 5.2-rc4
• 2019/05/07 19:43 / Linux 5.0.9 -> 5.1.0
• 2019/03/07 22:16 / Linux 4.20.13 -> 5.0.0
• 2018/11/06 11:30 / Linux 4.19.0 -> 4.20-rc1
• 2018/08/29 11:06 / Linux 4.18.5 -> 4.19-rc1
• 2018/06/20 17:06 / Linux 4.17.2 -> 4.18-rc1
• 2018/04/19 15:25 / Linux 4.16.2 -> 4.17-rc1
• 2018/02/12 17:23 / Linux 4.15.3 -> 4.16-rc1
• 2018/01/29 11:08 / Linux 4.14.15 -> 4.15
• 2017/11/28 12:42 / Linux 4.14.2 -> 4.15-rc1
• 2017/11/15 15:56 / Linux ORC unwinder と objtool (CONFIG_STACK_VALIDATION needs tools/objtool/objtool along headers)
• 2017/11/15 15:41 / Linux 4.13.12 -> 4.14.0
• 2017/09/18 07:04 / Linux 4.13.1 -> 4.14-rc1
• 2017/09/05 04:14 / Linux 4.12.10 -> 4.13
• 2017/07/16 23:56 / Linux 4.12.0 -> 4.13-rc1
• 2017/05/15 14:04 / Linux 4.11.0 -> 4.12-rc1
• 2017/05/03 00:24 / Linux 4.10.13 -> 4.11.0
• 2017/03/06 09:51 / Linux 4.10.1 -> 4.11-rc1
• 2017/02/20 10:31 / Linux 4.9.X -> 4.10
• 2016/12/30 21:28 / Linux 4.9 -> 4.10-rc1
• 2016/12/14 23:00 / Linux 4.8 -> 4.9

Linux 5.5-rc5 で 5.4.X から .configがどう変更されるのか見てみた．以下 - は削除されたもの，+ は追加されたもの．x86_64．New features 等は https://www.phoronix.com/scan.php?page=article&item=linux-55-features 参照．

CRYPTO関連

• +CONFIG_CRYPTO_LIB_CHACHA_GENERIC=m

  crypto: chacha - move existing library code into lib/crypto

  一部が lib/crypto/libchacha.c に分離された．手元では CRYPTO_CHACHA20 で select される．これは CRYPTO_ADIANTUM で select されていて，必要かどうか不明だがこのまま．

  On CPUs without AES instructions, Adiantum is much faster than AES-XTS.

  とのこと．

• +CONFIG_CRYPTO_LIB_POLY1305_GENERIC=m

  crypto: poly1305 - move core routines into a separate library

  一部が lib/crypto/poly1305.c に分離された．手元では CRYPTO_NHPOLY1305, CRYPTO_ADIANTUM, CRYPTO_POLY1305 で select される．

• +CONFIG_CRYPTO_LIB_POLY1305_RSIZE=4

  crypto: poly1305 - expose init/update/final library interface
  crypto: x86/poly1305 - expose existing driver as poly1305 library

  X86_64 で 4 に設定される．

• -CONFIG_CRYPTO_BLKCIPHER=y
-CONFIG_CRYPTO_BLKCIPHER2=y
+CONFIG_CRYPTO_SKCIPHER=y
+CONFIG_CRYPTO_SKCIPHER2=y

  crypto: skcipher - rename the crypto_blkcipher module and kconfig option

  rename された．

  CRYPTO関連，ついでに以下にしておく．

  CONFIG_CRYPTO_ARCH_HAVE_LIB_CHACHA=m
  CONFIG_CRYPTO_ARCH_HAVE_LIB_POLY1305=m
  CONFIG_CRYPTO_CHACHA20POLY1305=m
  CONFIG_CRYPTO_CHACHA20_X86_64=m
  CONFIG_CRYPTO_LIB_CHACHA20POLY1305=m
  CONFIG_CRYPTO_LIB_CHACHA=m
  CONFIG_CRYPTO_LIB_POLY1305=m
  CONFIG_CRYPTO_NHPOLY1305_AVX2=m
  CONFIG_CRYPTO_NHPOLY1305_SSE2=m
  CONFIG_CRYPTO_POLY1305_X86_64=m
  CONFIG_CRYPTO_CHACHA20_X86_64=m
  CONFIG_CRYPTO_ARCH_HAVE_LIB_CHACHA=m

Direct Rendering Manager, DRM 関連

• +CONFIG_DRM_I915_HEARTBEAT_INTERVAL=2500

  drm/i915/gt: Replace hangcheck by heartbeats

• +CONFIG_DRM_I915_PREEMPT_TIMEOUT=640

  drm/i915/execlists: Force preemption
  drm/i915: Default to a more lenient forced preemption timeout

• +CONFIG_DRM_I915_STOP_TIMEOUT=100

  drm/i915/gt: Try to more gracefully quiesce the system before resets

• +CONFIG_DRM_I915_TIMESLICE_DURATION=1

  drm/i915/gt: Make timeslice duration configurable

• +CONFIG_DRM_TTM_DMA_PAGE_POOL=y

  drm/ttm, drm/vmwgfx: Use a configuration option for the TTM dma page pool

• +CONFIG_DRM_TTM_HELPER=m

  drm/vram: fix Kconfig

  DRM_BOCHS で select される．

Btrfs 関連

• +CONFIG_CRYPTO_XXHASH=m

  BTRFS_FS で select される．

• +CONFIG_CRYPTO_BLAKE2B=m

  crypto: blake2b - add blake2b generic implementation
  btrfs: add Kconfig dependency for BLAKE2B

  BTRFS_FS で select される．

  上記ともに checksumming algorithm として利用可能なリストが CRC32 のみだったところ以下のように4種類から選択可能なように変更されたことによる．

  enum btrfs_csum_type {
         BTRFS_CSUM_TYPE_CRC32   = 0,
         BTRFS_CSUM_TYPE_XXHASH  = 1,
         BTRFS_CSUM_TYPE_SHA256  = 2,
         BTRFS_CSUM_TYPE_BLAKE2  = 3,
  };

  btrfs: add sha256 to checksumming algorithm
  btrfs: add xxhash64 to checksumming algorithms
  btrfs: add blake2b to checksumming algorithms

追加

• +CONFIG_BLK_CGROUP_RWSTAT=y

  blk-cgroup: separate out blkg_rwstat under CONFIG_BLK_CGROUP_RWSTAT

  block/blk-cgroup.c の一部が block/blk-cgroup-rwstat.c に分離された．BLK_DEV_THROTTLING および BFQ_GROUP_IOSCHED から select される．

• +CONFIG_CC_HAS_INT128=y

  int128: move __uint128_t compiler test to Kconfig

  ARCH_SUPPORTS_INT128 を select するか判断するために利用される．

• +CONFIG_DYNAMIC_FTRACE_WITH_DIRECT_CALLS=y
+CONFIG_HAVE_DYNAMIC_FTRACE_WITH_DIRECT_CALLS=y

  ftrace/x86: Add register_ftrace_direct() for custom trampolines
  ftrace: Add register_ftrace_direct()

  ともに X86 で select される．

• +CONFIG_FW_CACHE=y

  firmware_class: make firmware caching configurable

  Because firmware caching generates uevent messages that are sent over
  a netlink socket, it can prevent suspend on many platforms.  It's
  also not always useful, so make it a configurable option.

  とのこと．CONFIG_PM_SLEEPの箇所がCONFIG_FW_CACHEに変更されている．CONFIG_PM_SLEEP=y でこれまで通りで問題ないので，y にしておく．

• +CONFIG_HAVE_ARCH_KASAN_VMALLOC=y

  x86/kasan: support KASAN_VMALLOC
  kasan: support backing vmalloc space with real shadow memory

  X86_64 で select される．KASAN (KernelAddressSANitizer)．CONFIG_KASAN は n のままにしておく．

• +CONFIG_IOMMU_DMA=y

  iommu/amd: Convert AMD iommu driver to the dma-iommu api

  AMD_IOMMU で select される．

• +CONFIG_IRQ_MSI_IOMMU=y

  上記 CONFIG_IOMMU_DMA で select されるようになった．

• +CONFIG_IO_WQ=y

  io-wq: small threadpool implementation for io_uring
  io_uring: replace workqueue usage with io-wq

  IO_URING (Linux 5.1 で導入された非同期I/O I/F)で select される．

• +CONFIG_MAPPING_DIRTY_HELPERS=y

  mm: Add write-protect and clean utilities for address space ranges
  drm/vmwgfx: Implement an infrastructure for write-coherent resources

  DRM_VMWGFX で select される．

  以前は VMWare の使用も想定していたのだが，最近は使わないので，以下とともにまるごと n にした．

  • CONFIG_DRM_VMWGFX
  • CONFIG_VMWARE_PVSCSI
  • CONFIG_VMWARE_VMCI
  • CONFIG_VMXNET3

• +CONFIG_MEMREGION=y

  lib: Uplevel the pmem “region” ida to a global allocator

  LIBNVDIMM で select される．

• +CONFIG_SND_INTEL_DSP_CONFIG=m
CONFIG_SND_INTEL_NHLT: m->y

  ALSA: hda: add Intel DSP configuration / probe code

  Intel 系 SND DSP，手元では SND_HDA_INTEL で select される．CONFIG_SND_INTEL_NHLT は tristate から bool に変更された．

• +CONFIG_SYMBOLIC_ERRNAME=y

  printf: add support for printing symbolic error names

  If you say Y here, the kernel's printf implementation will
  be able to print symbolic error names such as ENOSPC instead
  of the number 28. It makes the kernel image slightly larger
  (about 3KB), but can make the kernel logs easier to read.

  とのこと．y にしておく．

• +CONFIG_X86_IOPL_IOPERM=y

  x86/ioperm: Fix use of deprecated config option
  x86/ioperm: Extend IOPL config to control ioperm() as well
  x86/iopl: Remove legacy IOPL option
  x86/iopl: Restrict iopl() permission scope

  CONFIG_X86_IOPL_EMULATIONとして導入されたが，iopl と ioperm で一緒に提供するようになった．default の y にしておく．

削除

• -CONFIG_64BIT_TIME=y

  y2038: remove CONFIG_64BIT_TIME

  全アーキテクチャで define されたとのことで remove された．

• -CONFIG_ARCH_HAS_REFCOUNT=y

  locking/refcount: Consolidate implementations of refcount_t

• -CONFIG_CALGARY_IOMMU_ENABLED_BY_DEFAULT=y
-CONFIG_CALGARY_IOMMU=y

  x86: Remove the calgary IOMMU driver

  「calgary IOMMU was only used on high-end IBM systems」とのことで削除された．

• -CONFIG_KEYS_COMPAT=y

  KEYS: remove CONFIG_KEYS_COMPAT

Renamed

• -CONFIG_X86_INTEL_UMIP=y
+CONFIG_X86_UMIP=y

  x86/Kconfig: Rename UMIP config parameter

  AMD 2nd generation EPYC processors support the UMIP (User-Mode
  Instruction Prevention) feature. So, rename X86_INTEL_UMIP to generic
  X86_UMIP and modify the text to cover both Intel and AMD.

追記 (2020/1/12)

drm: delete drmP.h + drm_os_linux.hによって drmP.h が削除されたので，

/var/lib/dkms/nvidia-current/430.64/build/nvidia-drm/nvidia-drm-utils.h:30:10: fatal error: drm/drmP.h: No such file or directory
 #include <drm/drmP.h>
          ^~~~~~~~~~~~

ように以下の DKMS のコンパイルに失敗する．

• nvidia-kernel-dkms 430.64-4~bpo10+1
• nvidia-legacy-390xx-kernel-dkms 390.116-1

https://devtalk.nvidia.com/default/topic/1068332/linux/nvidia-driver-does-not-build-on-linux-v5-5-release-candidate-kernel/ にあるパッチでともに対応可能．kernel/nvidia-drm/nvidia-drm-connector.c の break の箇所が #if で条件付けされていないのが気になるけど．

nvidia-kernel-dkms 430.64-4~bpo10+1 向け patch を https://pastebin.com/dgBadP0K に置いた．

あとパッチによるとdrm/connector: Allow max possible encoders to attach to a connectorによって DRM_CONNECTOR_MAX_ENCODER (3) の #define が削除されたものへの対応も必要らしい(drm_connector_for_each_possible_encoder マクロを利用する)．

Related articles

• 2024/04/08 13:19 / Linux 6.8.4
• 2022/04/18 15:22 / Linux 5.17
• 2021/09/08 12:13 / Linux 5.14
• 2021/07/19 11:11 / Linux 5.13
• 2021/04/28 18:58 / Linux 5.12
• 2021/01/13 21:27 / brtfs 上に swap ファイルを置く
• 2020/09/11 20:24 / Linux 5.9-rc4
• 2020/07/12 16:42 / Linux 5.8-rc4
• 2020/05/01 21:21 / Linux 5.7-rc1
• 2020/04/03 22:18 / Linux 5.6.x fs/cachefiles/rdwr.c bug
• 2020/02/22 19:33 / Linux 5.6-rc2
• 2019/11/25 14:45 / nvidia-kernel-dkms 418.74-1 with Linux 5.4
• 2019/10/02 00:03 / Linux 5.3.1 -> 5.4-rc1
• 2019/09/20 14:45 / nvidia-kernel-dkms 418.74-1 with Linux 5.3
• 2019/07/22 19:13 / Linux 5.2.2 -> 5.3-rc1
• 2019/06/28 20:38 / GeForce GT 430 with nvidia-legacy-390xx-kernel-dkms 390.116-1~bpo9+1
• 2019/06/12 16:10 / Linux 5.1.8 -> 5.2-rc4
• 2019/05/07 19:43 / Linux 5.0.9 -> 5.1.0
• 2019/03/07 22:16 / Linux 4.20.13 -> 5.0.0
• 2018/11/06 11:30 / Linux 4.19.0 -> 4.20-rc1
• 2018/08/29 11:06 / Linux 4.18.5 -> 4.19-rc1
• 2018/06/20 17:06 / Linux 4.17.2 -> 4.18-rc1
• 2018/04/19 15:25 / Linux 4.16.2 -> 4.17-rc1
• 2018/02/12 17:23 / Linux 4.15.3 -> 4.16-rc1
• 2018/01/29 11:08 / Linux 4.14.15 -> 4.15
• 2017/11/28 12:42 / Linux 4.14.2 -> 4.15-rc1
• 2017/11/15 15:56 / Linux ORC unwinder と objtool (CONFIG_STACK_VALIDATION needs tools/objtool/objtool along headers)
• 2017/11/15 15:41 / Linux 4.13.12 -> 4.14.0
• 2017/09/18 07:04 / Linux 4.13.1 -> 4.14-rc1
• 2017/09/05 04:14 / Linux 4.12.10 -> 4.13
• 2017/07/16 23:56 / Linux 4.12.0 -> 4.13-rc1
• 2017/05/15 14:04 / Linux 4.11.0 -> 4.12-rc1
• 2017/05/03 00:24 / Linux 4.10.13 -> 4.11.0
• 2017/03/06 09:51 / Linux 4.10.1 -> 4.11-rc1
• 2017/02/20 10:31 / Linux 4.9.X -> 4.10
• 2016/12/30 21:28 / Linux 4.9 -> 4.10-rc1
• 2016/12/14 23:00 / Linux 4.8 -> 4.9

Emacs の MUA である Wanderlust で，bbdb を使ってメールアドレス等を収集しているのであるが，bbdb3 が 3.2-6 から 3.2-7 にあがったタイミングで以下のエラーで表示メール関連の bbdb entry が表示されなくなった．M-x bbdb 自体は機能している．

save-current-buffer: Wrong type argument: stringp, nil

そもそも bbdb3 自体が Wanderlust で設定困難で，https://github.com/wanderlust/wanderlust/issues/64#issuecomment-388231182 にあるとおり，以下のような bbdb/wl-header (see /usr/share/emacs/site-lisp/bbdb3/bbdb-wl.el)を自前で用意していたのだが，これが原因らしい．

--- orig.el     2020-01-06 15:24:44.308354408 +0900
+++ new.el      2020-01-06 15:25:24.643900212 +0900
@@ -1,7 +1,7 @@
 (defun bbdb/wl-header (header)
-  (with-current-buffer wl-summary-buffer-name
+  (with-current-buffer wl-message-buffer-cur-summary-buffer
     (elmo-message-entity-field
      (elmo-message-entity wl-summary-buffer-elmo-folder
                           (wl-summary-message-number))
      (intern (downcase header))
      'string)))

3.2-7 では

• https://github.com/emacsmirror/bbdb/commit/2bbe645ae71d84ad518e03dec698d4154af2f9f0
• https://salsa.debian.org/debian/bbdb3/commit/2bbe645ae71d84ad518e03dec698d4154af2f9f0

のとおり bbdb-mua-auto-update が wl-message-redisplay-hookではなく wl-summary-redisplay-hookにadd-hookされるようになったので，上記自前 bbdb/wl-header は不要になった様子．

Related articles

• 2021/05/01 15:27 / bbdb3 bbdb-merge-records に key を割り当てる

いつもハマるのでメモ．有線接続している NotePC を AP にする話．

有線は Realtek USB GbE Family Controller のアダプタで接続されていて，これを WiFi で共有する．WiFi のアダプタは Intel(R) Dual Band Wireless-AC 8265．

Intel(R) Dual Band Wireless-AC 8265 では Hosted Network をサポートしていなくて (See Why Hosted and Ad-Hoc Networks Are Not Working on Windows® 10)

% netsh wlan show drivers

で調べても

Hosted network supported : No

と表示される．つまり

% netsh wlan set hostednetwork mode=allow ssid=NetworkName key=YourPassword
% netsh wlan start hostednetwork

とかで有効にできない(↑上の情報がWeb上にあふれている)．さて．．．

以下設定方法(for Windows 10 で最近の Intel WiFi Adapter の場合)．

Settings → Network and Internet → Mobile hotspot

から Share my Internet connection with other devices を On にする(同じページのSSIDおよびパスワードの設定があるので，ここは適宜)．

これが出来ない場合は Device Manager でおもむろに有線およびWiFi，Microsoft Wi-Fi Direct Virtual Adapter 等関連アダプタを削除して，Scan for hardware changes でデバイスを検索してデバイスを再認識する (大抵これでできるようになる)．

ただこの状態だと，Client (子)側で WiFi 経由で IP Address が取得できない．そこで

Control Panel\Network and Internet\Network Connections

でアダプタ一覧を表示し，有線のアダプタの Property で Sharing Tab から

Allow other network users to connect through this computers internet connection

をチェックして，共有先として Microsoft Wi-Fi Direct Virtual Adapter のネットワーク名(Local Area Connection* 2 等)を指定する．これでつながるはず．

ひさしぶりに MHonArc (2.6.19-2) と Namazu (2.0.21-22) をつかってメール検索システム構築(対象は fml で送られてきたメール)．いろいろ嵌ったのでメモ．

MHonArc が生成する HTML を X-Mail-Count の値(整数)にしたい

「mhonarcの出力ファイル名の数字を特定のフィールドから決める場当たり的改造」で紹介されているパッチをあてる．mhonarc 実行時に mhonarc -seqnumfield x-mail-count というオプションをつける．以下念の為の 2.6.19 向け版パッチ．

diff --git a/perl/mhamain.pl b/perl/mhamain.pl
index 7af1fcc..eefca45 100644
--- a/perl/mhamain.pl
+++ b/perl/mhamain.pl
@@ -771,7 +771,7 @@ sub write_mail {
 sub read_mail_header {
     my $handle = shift;
     my($date, $tmp, $i, $field, $value);
-    my($from, $sub, $msgid, $ctype);
+    my($from, $sub, $msgid, $ctype, $seq);
     local($_);
 
     my $index  = undef;
@@ -927,6 +927,14 @@ sub read_mail_header {
     }
     @refs = remove_dups(\@refs);        # Remove duplicate msg-ids
 
+    ##------------------##
+    ## Get seq number   ##
+    ##------------------##
+    if (defined($SEQNUMFIELD)) {
+        $seq = $fields->{$SEQNUMFIELD}[0];
+        $seq =~ s/(\d+)/$1/;
+        print STDOUT "($seq)";
+    }
     ##------------------##
     ## Get Content-Type ##
     ##------------------##
@@ -941,6 +949,10 @@ sub read_mail_header {
     my $t = $index;
     $index .= $X . sprintf('%d',(defined($msgnum)?$msgnum:($LastMsgNum+1)));
 
+    if (defined($SEQNUMFIELD)) {
+        $IndexNum{$index} = $seq;
+    }
+
     ## Set mhonarc fields.  Note how values are NOT arrays.
     $fields->{'x-mha-index'} = $index;
     $fields->{'x-mha-message-id'} = $msgid;
@@ -970,7 +982,11 @@ sub read_mail_header {
    $IndexNum{$index} = $msgnum;
    ++$NumOfMsgs; # Counteract decrement by delmsg
     } else {
-   $IndexNum{$index} = getNewMsgNum();
+   if(defined $SEQNUMFIELD) {
+       &getNewMsgNum();
+   }else{
+       $IndexNum{$index} = getNewMsgNum();
+   }
     }
 
     $Refs{$index} = [ @refs ]  if (@refs);
diff --git a/perl/mhopt.pl b/perl/mhopt.pl
index 939109b..587ccab 100644
--- a/perl/mhopt.pl
+++ b/perl/mhopt.pl
@@ -221,7 +221,8 @@ sub get_resources {
    'readdb',   # Just read db
 
    'v',        # Version information
-   'help'      # A brief usage message
+   'help',     # A brief usage message
+   'seqnumfield=s',    # Sequence number field name
     );
 
     ## Check for help/version options (nothing to do)
@@ -576,6 +577,8 @@ sub get_resources {
 
     $IdxPageNum  = $opt{'pagenum'}   if defined($opt{'pagenum'});
 
+    $SEQNUMFIELD = $opt{'seqnumfield'}   if defined($opt{'seqnumfield'});
+
     $AttachmentDir = $opt{'attachmentdir'}  if defined($opt{'attachmentdir'});
     $AttachmentUrl = $opt{'attachmenturl'}  if defined($opt{'attachmenturl'});
 

MHonArc が抽出する添付ファイルのファイル名を MD5SUM 由来のものにしたい

Default だとランダムな文字列(しかも実行する度に異なる)ファイル名になる．

• ランダムっぽいファイル名だが固定したい
• MD5SUM由来だと同じ添付ファイルは同じファイル名になり効率的

ということもあって MD5SUM 由来のものにする．以下パッチ．やるきなしなのでオプション切り替え不能なパッチ．ファイルが存在する場合は上書きしないことにしてある．

diff --git a/perl/mhmimetypes.pl b/perl/mhmimetypes.pl
index deb806b..c723ead 100644
--- a/perl/mhmimetypes.pl
+++ b/perl/mhmimetypes.pl
@@ -28,6 +28,7 @@
 package mhonarc;
 
 use File::Basename;
+use Digest::MD5 qw(md5_hex);
 
 $UnknownExt     = 'bin';
 
@@ -336,26 +337,27 @@ sub write_attachment {
    $fname =~ tr/\0-\40\t\n\r?:\57\134*"'<>|\177-\377/_/;
     }
 
-    ## Write to random file first
-    my($fh, $tmpfile) = file_temp($ext.'XXXXXXXXXX', $pathname, '.'.$ext);
-    binmode($fh);
-    print $fh $$sref;
-    close($fh);
-
-    ## Set pathname for file
+    my $target;
     if ($fname) {
-   # need to rename to desired filename
-   $pathname .= $DIRSEP . $fname;
-   if (!rename($tmpfile, $pathname)) {
-       die qq/ERROR: Unable to rename "$tmpfile" to "$pathname": $!\n/;
-   }
+        $target = $pathname . $DIRSEP . $fname;
     } else {
-   # just use random filename
-   $pathname = $tmpfile;
-   $fname    = basename($tmpfile);
+        my $md5 = md5_hex($$sref);
+        $fname = $md5.".".$ext;
+        $target = $pathname . $DIRSEP . $fname;
+    }
+    if(! -e $target) {
+        ## Write to random file first
+        my($fh, $tmpfile) = file_temp($ext.'XXXXXXXXXX', $pathname, '.'.$ext);
+        $pathname = $target;
+        binmode($fh);
+        print $fh $$sref;
+        close($fh);
+        if (!rename($tmpfile, $pathname)) {
+            die qq/ERROR: Unable to rename "$tmpfile" to "$pathname": $!\n/;
+        }
+        file_chmod($pathname);
     }
     $url .= '/' if ($url); $url .= urlize_file_path($fname);
-    file_chmod($pathname);
 
     if ($rel_outdir) {
    $pathname  = $path;

なお m2h_external::filter の usename argument (添付ファイル名をそのまま用いる，ただし日本語は_に変換される)は活かしておく．誰も使わないだろうけど．usename を使う場合はrcfileに以下を書いておく(See https://www.mhonarc.org/MHonArc/doc/resources/mimeargs.html)．

<MIMEArgs>
m2h_external::filter; usename
</MIMEArgs>

Namazu で PDF が検索対象にならない (pdftotext オプション問題)

PDF ファイルは pdftotext で一旦テキストに変換されてインデックスされるが，日本語環境(LANG=ja_JP mknmz . -O indexとか)だと Unable to convert pdf file (maybe copying protection) と怒られてインデックスされない．これ，Namazu の内部処理文字コードの EUC-JP に変換しようとして pdftotext のオプションの箇所でコケている(copy protection が原因ではない)．

手元のpdftotextは version 0.71.0 (poppler)なのだが，mknmz はなぜか pdftotext -eucjp で EUC-JP 出力をしようとする(古いやり方)．これをpdftotext -enc EUC-JPに変更する．以下パッチやるきなしなし．どこでバージョンのカウントを間違えたのだろうか？．．．

diff --git a/perl/pdf.pl b/perl/pdf.pl
index 5d63763..2d12946 100644
--- a/perl/pdf.pl
+++ b/perl/pdf.pl
@@ -61,12 +61,13 @@ sub status() {
         if (util::islang("ja")) {
             if ($pdfconvver >= 1.00) {
                 @pdfconvopts = ('-q', '-raw', '-enc', 'EUC-JP');
             } else {
                 @pdfconvopts = ('-q', '-raw', '-eucjp');
             }
+        @pdfconvopts = ('-q', '-raw', '-enc', 'EUC-JP');
         } else {
             @pdfconvopts = ('-q', '-raw');
         }
         if (defined $pdfinfopath) {
             my @cmd = ("$pdfinfopath");
             my $result = "";

Namazu でエクセルファイルが検索対象にならない

というか xlhtml って今手に入るの？ 問題．xlhtml でHTMLに変換してそれをインデックスすることになっている．

python-excelerator付属のpy_xls2htmlで代用する．PATHの通っているところにxlhtmlとしてシンボリックリンクを作る(これだけでOK)．

MHonArc で日本語をそれなりに．．．

Default だと UTF-8 ではなく数値文字参照(&#xXXXX;とか)を大量に含む HTML になって極めて感じ悪い．http://www.mhonarc.jp/のMHonArc の日本語化 (for v2.6.x)を行う．具体的には以下を rcfile に書いておく．

<Include>
/usr/share/doc/mhonarc/examples/utf-8-encode.mrc
</Include>

<DefCharset>
iso-2022-jp
</DefCharset>

<DecodeHeads>

MHonArc のインデックスファイルと Namazu の連携で文字化け

<IdxPgBegin> に Namazu の form を置いておくと便利かと思ったら，Namazu に適切にクエリが渡らない．これは MHonArc が UTF-8 で Namazu が EUC-JP だから．今どき EUC-JP て．．．

対策は以下のように別 script (ラッパー)でクエリを一旦受け取り，それを EUC-JP に変換して namazu を呼び出すというもの．

• http://www.ne.jp/asahi/music/marinkyo/namazu/utf8.html.ja
• http://www.ksknet.net/linux/namazuutf8.html

perl で書かれているものは手元では動かず，http://www.ne.jp/asahi/music/marinkyo/namazu/utf8.html.ja の下の方にある Ruby 版を利用することにした (真ん中あたりに書いてある iconv 版は，今どきの ruby には iconv が付属しないので注意．．．String#encode を使うことになる)．ほぼ同じだが以下私版．

#!/usr/bin/env ruby

require 'cgi'

cgi = CGI.new
query_str = ""

cgi.params.each{|key, values|
    values.each{|a_value|
        query_str += key + "=" + CGI.escape(a_value.encode("EUC-JP")) + ";"
    }
}
print "Location: https://myn.example.com/namazu/?"+query_str+"\n\n"

短くしてみた(2021/8/19)

#!/usr/bin/env ruby
# frozen_string_literal: true

require 'cgi'

s = CGI.new.params.inject([]) do |i, (key, values)|
  i + values.map { |j| "#{key}=#{CGI.escape(j.encode('EUC-JP'))}" }
end.join(';')
print "Location: https://myn.example.com/namazu/?#{s}\n\n"

MHonArc でインクリメンタルにファイルを追加できない

MHonArc では -add オプションにより，追加されたファイルのみ処理するモードがある．ただし以下でコケる．

% mhonarc -rcfile mhonarc.rc -outdir output -seqnumfield x-mail-count archive -add
This is MHonArc v2.6.19+, Perl 5.028001 linux
Reading database ...

Can't locate output/.mhonarc.db in @INC (@INC contains: lib /usr/share/mhonarc /etc/perl /usr/local/lib/x86_64-linux-gnu/perl/5.28.1 /usr/local/share/perl/5.28.1 /usr/lib/x86_64-linux-gnu/perl5/5.28 /usr/share/perl5 /usr/lib/x86_64-linux-gnu/perl/5.28 /usr/share/perl/5.28 /usr/local/lib/site_perl /usr/lib/x86_64-linux-gnu/perl-base) at /usr/share/mhonarc/mhopt.pl line 401.

もうやるきなしなので，以下で @INC に . を追加して MHonArc 実行．

% perl -I. `which mhonarc` -rcfile mhonarc.rc -outdir output -seqnumfield x-mail-count archive -add

Namazu で PDF の Subject が文字化け (pdfinfo オプション問題) (2020/10/20)

Namazu で PDF が検索対象にならない (pdftotext オプション問題)同様pdfinfoのオプションにも問題がある．手元の環境 pdfinfo version 0.71.0 だが，適切な option (EUC出力する．．．)をつけるためには 2.02 以上が要求される様子．以下やるきなしなしパッチ．

--- /usr/share/namazu/filter/pdf.pl.0   2020-10-20 12:37:23.047777984 +0900
+++ /usr/share/namazu/filter/pdf.pl 2020-10-20 12:32:43.196339697 +0900
@@ -82,20 +82,21 @@
             );
             if ($result =~ /^pdfinfo\s+version\s+([0-9]+\.[0-9]+)/) {
                 $pdfinfover = $1;
             }
             if (util::islang("ja")) {
                 if ($pdfinfover >= 2.02) {
                     @pdfinfoopts = ('-enc', 'EUC-JP');
                 } else {
                     @pdfinfoopts = ();
                 }
+                @pdfinfoopts = ('-enc', 'EUC-JP');
             } else {
                 @pdfinfoopts = ();
             }
         }
         return 'yes';
     }
     return 'no';
 }
 
 sub recursive() {

Related articles

• 2023/03/16 13:48 / Amazon からの注文確定のメールを MHonArc が Nested start tags で拒否る
• 2020/10/02 17:29 / GNU Mailman で送付されてきたメールに対する MHonArc+Namazu システム構築

以下の nvidia のドライバが Linux 5.4 でコンパイルできない話．

• nvidia-kernel-dkms 418.74-1
• nvidia-legacy-390xx-kernel-dkms 390.116-1

まず以下のエラー．

The Module.symvers file is missing, or does not contain any
symbols exported from the kernel. This could cause the NVIDIA
kernel modules to be built against a configuration that does
not accurately reflect the actual target kernel.
The Module.symvers file check can be disabled by setting the
environment variable IGNORE_MISSING_MODULE_SYMVERS to 1.

これは modpost: add support for symbol namespaces で Module.symvers に1つエントリ(namespace)が追加されたことによる．conftest.sh で Module.symvers の symbol をチェックするがその箇所はただの grep なので影響なし．IGNORE_MISSING_MODULE_SYMVERS=1 にしても問題ないが conftest.sh を修正する．

次，以下のエラー．

In file included from /var/lib/dkms/nvidia-current/418.74/build/nvidia/nv.c:14:
/var/lib/dkms/nvidia-current/418.74/build/common/inc/nv-linux.h:1852:6: error: "NV_BUILD_MODULE_INSTANCES" is not defined, evaluates to 0 [-Werror=undef]
 #if (NV_BUILD_MODULE_INSTANCES != 0)
      ^~~~~~~~~~~~~~~~~~~~~~~~~

これ，なに由来のエラーか不明．NV_BUILD_MODULE_INSTANCES = 0 で問題ないはずなので，Kbuild ファイルで define してしまう．

次，以下のエラー．

/var/lib/dkms/nvidia-current/418.74/build/nvidia-drm/nvidia-drm-drv.c:657:44: error: ‘DRIVER_PRIME’ undeclared here (not in a function); did you mean ‘DRIVER_PCI_DMA’?
     .driver_features        = DRIVER_GEM | DRIVER_PRIME | DRIVER_RENDER,
                                            ^~~~~~~~~~~~
                                            DRIVER_PCI_DMA

これは drm/prime: Actually remove DRIVER_PRIME everywhereでDRIVER_PRIMEが削除されたことによる．削除する．

次，以下のエラー．

/var/lib/dkms/nvidia-legacy-390xx/390.116/build/nvidia-drm/nvidia-drm-gem.c: In function ‘nv_drm_gem_prime_export’:
/var/lib/dkms/nvidia-legacy-390xx/390.116/build/nvidia-drm/nvidia-drm-gem.c:64:33: error: passing argument 1 of ‘drm_gem_prime_export’ from incomp
atible pointer type [-Werror=incompatible-pointer-types]
     return drm_gem_prime_export(dev, gem, flags);
                                 ^~~
In file included from ./include/drm/drmP.h:75,
                 from /var/lib/dkms/nvidia-legacy-390xx/390.116/build/nvidia-drm/nvidia-drm-priv.h:30,
                 from /var/lib/dkms/nvidia-legacy-390xx/390.116/build/nvidia-drm/nvidia-drm-gem.c:27:
./include/drm/drm_prime.h:94:17: note: expected ‘struct drm_gem_object *’ but argument is of type ‘struct drm_device *’
 struct dma_buf *drm_gem_prime_export(struct drm_gem_object *obj,
                 ^~~~~~~~~~~~~~~~~~~~
/var/lib/dkms/nvidia-legacy-390xx/390.116/build/nvidia-drm/nvidia-drm-gem.c:64:38: warning: passing argument 2 of ‘drm_gem_prime_export’ makes int
eger from pointer without a cast [-Wint-conversion]
     return drm_gem_prime_export(dev, gem, flags);
                                      ^~~
In file included from ./include/drm/drmP.h:75,
                 from /var/lib/dkms/nvidia-legacy-390xx/390.116/build/nvidia-drm/nvidia-drm-priv.h:30,
                 from /var/lib/dkms/nvidia-legacy-390xx/390.116/build/nvidia-drm/nvidia-drm-gem.c:27:
./include/drm/drm_prime.h:94:17: note: expected ‘int’ but argument is of type ‘struct drm_gem_object *’
 struct dma_buf *drm_gem_prime_export(struct drm_gem_object *obj,
                 ^~~~~~~~~~~~~~~~~~~~
/var/lib/dkms/nvidia-legacy-390xx/390.116/build/nvidia-drm/nvidia-drm-gem.c:64:12: error: too many arguments to function ‘drm_gem_prime_export’
     return drm_gem_prime_export(dev, gem, flags);
            ^~~~~~~~~~~~~~~~~~~~
In file included from ./include/drm/drmP.h:75,
                 from /var/lib/dkms/nvidia-legacy-390xx/390.116/build/nvidia-drm/nvidia-drm-priv.h:30,
                 from /var/lib/dkms/nvidia-legacy-390xx/390.116/build/nvidia-drm/nvidia-drm-gem.c:27:
./include/drm/drm_prime.h:94:17: note: declared here
 struct dma_buf *drm_gem_prime_export(struct drm_gem_object *obj,
                 ^~~~~~~~~~~~~~~~~~~~

これdrm/prime: Align gem_prime_export with obj_funcs.exportによりdrm_gem_prime_exportの引数が変更になった(3つの引数のうち1つ目が削除された)ことが原因．

以下まとめてパッチ．ただし5.3でコンパイルするためのパッチがあたっていることを想定．

nvidia-kernel-dkms 418.74-1

diff --git a/Kbuild b/Kbuild
index 6a65185..ff3417c 100644
--- a/Kbuild
+++ b/Kbuild
@@ -62,6 +62,7 @@ EXTRA_CFLAGS += -Wall -MD $(DEFINES) $(INCLUDES) -Wno-cast-qual -Wno-error -Wno-
 EXTRA_CFLAGS += -D__KERNEL__ -DMODULE -DNVRM -DNV_VERSION_STRING=\"418.74\" -Wno-unused-function -Wuninitialized -fno-strict-aliasing -mno-red-zone -mcmodel=kernel -DNV_UVM_ENABLE
 EXTRA_CFLAGS += $(call cc-option,-Werror=undef,)
 EXTRA_CFLAGS += -DNV_SPECTRE_V2=$(NV_SPECTRE_V2)
+EXTRA_CFLAGS += -DNV_BUILD_MODULE_INSTANCES=0
 
 #
 # Detect SGI UV systems and apply system-specific optimizations.
diff --git a/conftest.sh b/conftest.sh
index d17ba21..087fda5 100644
--- a/conftest.sh
+++ b/conftest.sh
@@ -3708,7 +3708,7 @@ case "$6" in
         TAB='  '
 
         if [ -f "$OUTPUT/Module.symvers" ] && \
-             grep -e "^[^${TAB}]*${TAB}[^${TAB}]*${TAB}vmlinux" \
+             grep -e "^[^${TAB}]*${TAB}[^${TAB}]*${TAB}[^${TAB}]*${TAB}vmlinux" \
                      "$OUTPUT/Module.symvers" >/dev/null 2>&1; then
             exit 0
         fi
diff --git a/nvidia-drm/nvidia-drm-drv.c b/nvidia-drm/nvidia-drm-drv.c
index 6ec01f4..18cf167 100644
--- a/nvidia-drm/nvidia-drm-drv.c
+++ b/nvidia-drm/nvidia-drm-drv.c
@@ -654,7 +654,7 @@ static const struct drm_ioctl_desc nv_drm_ioctls[] = {
 
 static struct drm_driver nv_drm_driver = {
 
-    .driver_features        = DRIVER_GEM | DRIVER_PRIME | DRIVER_RENDER,
+    .driver_features        = DRIVER_GEM | DRIVER_RENDER,
 
     .gem_free_object        = nv_drm_gem_free,

nvidia-legacy-390xx-kernel-dkms 390.116-1

diff --git a/Kbuild b/Kbuild
index 0665f50..992a48c 100644
--- a/Kbuild
+++ b/Kbuild
@@ -61,6 +61,7 @@ EXTRA_CFLAGS += -I$(src)
 EXTRA_CFLAGS += -Wall -MD $(DEFINES) $(INCLUDES) -Wsign-compare -Wno-cast-qual -Wno-error
 EXTRA_CFLAGS += -D__KERNEL__ -DMODULE -DNVRM -DNV_VERSION_STRING=\"390.116\" -Wno-unused-function -Wuninitialized -fno-strict-aliasing -mno-red-zone -mcmodel=kernel -DNV_UVM_ENABLE -Wno-sign-compare -Wno-format-extra-args
 EXTRA_CFLAGS += $(call cc-option,-Werror=undef,)
+EXTRA_CFLAGS += -DNV_BUILD_MODULE_INSTANCES=0
 
 #
 # Detect SGI UV systems and apply system-specific optimizations.
diff --git a/nvidia-drm/nvidia-drm-drv.c b/nvidia-drm/nvidia-drm-drv.c
index 90ce30b..d9f3961 100644
--- a/nvidia-drm/nvidia-drm-drv.c
+++ b/nvidia-drm/nvidia-drm-drv.c
@@ -634,7 +634,7 @@ static const struct drm_ioctl_desc nv_drm_ioctls[] = {
 
 static struct drm_driver nv_drm_driver = {
 
-    .driver_features        = DRIVER_GEM | DRIVER_PRIME | DRIVER_RENDER,
+    .driver_features        = DRIVER_GEM | DRIVER_RENDER,
 
     .gem_free_object        = nv_drm_gem_free,
 
diff --git a/nvidia-drm/nvidia-drm-gem.c b/nvidia-drm/nvidia-drm-gem.c
index 3d51196..addff14 100644
--- a/nvidia-drm/nvidia-drm-gem.c
+++ b/nvidia-drm/nvidia-drm-gem.c
@@ -46,10 +46,9 @@ void nv_drm_gem_free(struct drm_gem_object *gem)
 
     nv_gem->ops->free(nv_gem);
 }
-
-struct dma_buf *nv_drm_gem_prime_export(struct drm_device *dev,
-                                        struct drm_gem_object *gem, int flags)
+struct dma_buf *nv_drm_gem_prime_export(struct drm_gem_object *gem, int flags)
 {
+    struct drm_device *dev = gem->dev;
     struct nv_drm_device *nv_dev = to_nv_device(dev);
 
     struct nv_drm_gem_object *nv_gem = to_nv_gem_object(gem);
@@ -61,7 +60,7 @@ struct dma_buf *nv_drm_gem_prime_export(struct drm_device *dev,
         return ERR_PTR(-EINVAL);
     }
 
-    return drm_gem_prime_export(dev, gem, flags);
+    return drm_gem_prime_export(gem, flags);
 }
 
 struct sg_table *nv_drm_gem_prime_get_sg_table(struct drm_gem_object *gem)
diff --git a/nvidia-drm/nvidia-drm-gem.h b/nvidia-drm/nvidia-drm-gem.h
index c3cb875..c4da335 100644
--- a/nvidia-drm/nvidia-drm-gem.h
+++ b/nvidia-drm/nvidia-drm-gem.h
@@ -156,8 +156,7 @@ done:
 
 void nv_drm_gem_free(struct drm_gem_object *gem);
 
-struct dma_buf *nv_drm_gem_prime_export(struct drm_device *dev,
-                                        struct drm_gem_object *gem, int flags);
+struct dma_buf *nv_drm_gem_prime_export(struct drm_gem_object *gem, int flags);
 
 static inline struct nv_drm_gem_object *nv_drm_gem_object_lookup(
     struct drm_device *dev,

Related articles

• 2024/04/08 13:19 / Linux 6.8.4
• 2022/04/18 15:22 / Linux 5.17
• 2021/09/08 12:13 / Linux 5.14
• 2021/07/19 11:11 / Linux 5.13
• 2021/04/28 18:58 / Linux 5.12
• 2021/01/13 21:27 / brtfs 上に swap ファイルを置く
• 2020/09/11 20:24 / Linux 5.9-rc4
• 2020/07/12 16:42 / Linux 5.8-rc4
• 2020/05/01 21:21 / Linux 5.7-rc1
• 2020/04/03 22:18 / Linux 5.6.x fs/cachefiles/rdwr.c bug
• 2020/02/22 19:33 / Linux 5.6-rc2
• 2020/01/11 20:50 / Linux 5.5-rc5
• 2019/10/02 00:03 / Linux 5.3.1 -> 5.4-rc1
• 2019/09/20 14:45 / nvidia-kernel-dkms 418.74-1 with Linux 5.3
• 2019/07/22 19:13 / Linux 5.2.2 -> 5.3-rc1
• 2019/06/28 20:38 / GeForce GT 430 with nvidia-legacy-390xx-kernel-dkms 390.116-1~bpo9+1
• 2019/06/12 16:10 / Linux 5.1.8 -> 5.2-rc4
• 2019/05/07 19:43 / Linux 5.0.9 -> 5.1.0
• 2019/03/07 22:16 / Linux 4.20.13 -> 5.0.0
• 2018/11/06 11:30 / Linux 4.19.0 -> 4.20-rc1
• 2018/08/29 11:06 / Linux 4.18.5 -> 4.19-rc1
• 2018/06/20 17:06 / Linux 4.17.2 -> 4.18-rc1
• 2018/04/19 15:25 / Linux 4.16.2 -> 4.17-rc1
• 2018/02/12 17:23 / Linux 4.15.3 -> 4.16-rc1
• 2018/01/29 11:08 / Linux 4.14.15 -> 4.15
• 2017/11/28 12:42 / Linux 4.14.2 -> 4.15-rc1
• 2017/11/15 15:56 / Linux ORC unwinder と objtool (CONFIG_STACK_VALIDATION needs tools/objtool/objtool along headers)
• 2017/11/15 15:41 / Linux 4.13.12 -> 4.14.0
• 2017/09/18 07:04 / Linux 4.13.1 -> 4.14-rc1
• 2017/09/05 04:14 / Linux 4.12.10 -> 4.13
• 2017/07/16 23:56 / Linux 4.12.0 -> 4.13-rc1
• 2017/05/15 14:04 / Linux 4.11.0 -> 4.12-rc1
• 2017/05/03 00:24 / Linux 4.10.13 -> 4.11.0
• 2017/03/06 09:51 / Linux 4.10.1 -> 4.11-rc1
• 2017/02/20 10:31 / Linux 4.9.X -> 4.10
• 2016/12/30 21:28 / Linux 4.9 -> 4.10-rc1
• 2016/12/14 23:00 / Linux 4.8 -> 4.9

薄々気づいていたのだが，手元の Debian on WSL with VcXsrv で「半角/全角 漢字」キーのキーリピートがおかしい．日本語キーボードを無理やり英語キーボードとしてつかっているため，「半角/全角 漢字」キーは ` (Shiftで ~ )に割り当てられるのだが，一度押すだけで，位置文字 ` が入力された後に連続で ` が入力される．` を打ったあとに間髪入れずに他のキーを押すと問題ない．．．

これ，X の設定で解決できて，手元の環境ではxset -r 49で直る (もとのキーリピートにするにはxset r 49とする．しないけど)．49は「半角/全角 漢字」キーのkeycode．xev等で調べられる．

参考:

• https://ameblo.jp/java-and-hsp923/entry-11956249203.html
• https://ankyo.blog.ss-blog.jp/_pages/user/iphone/article?name=2011-05-17

Related articles

• 2019/09/01 23:05 / X server でキーマップ変更
• 2013/06/08 15:11 / X dead keys

ScanSnap S1500 をずっと使っていたのだが，先日 ScanSnap iX1500 を購入．

Windows 10 で ScanSnap S1500 (USB接続のみ)を使う場合，何故か PC Hibernate/Resume 後に ScanSnap Manager (ドライバに近いところのソフトで，S1500 で取り込みボタンを押すと，プロファイルに従ってスキャン開始し，適切なソフトに取り込んだデータを送ってくれる) が ScanSnap S1500 を認識してくれない状態になってしまう (Device Manager で見た感じ ScanSnap S1500 自体は Windows 10 に認識はされている)．仕方なく S1500 を使う時は再起動していた．．．

で，iX1500 だが，管理ソフトは Windows/Android 両方ある．

• Windows 版: ScanSnap Home
• Android 版: ScanSnap Cloud

ScanSnap Cloud は iX1500 から直接 Google Drive 等に送るような使い方が想定されている様子(一旦設定してしまうと iX1500 単体でクラウドにデータを送ることができるようになる)．ScanSnap Home は S1500 での ScanSnap Organizer のような位置づけで，スキャンした PDF を管理できるソフト (スキャン開始は PC からでも iX1500 のパネルからでも，どちらからでも可能)．ScanSnap Home でもクラウドにデータが送れるが，これは一旦 PC に保存して，それを Google Download Backup and Sync 等の同期機能で Google Drive に送る感じ．

Could との連携やライセンスのこともあって，ScanSnap Account を作らされるが，これ，私の Android (英語で使用)だと国が United States になってしまい，Windows 10 (こちらも英語で利用)は Japan (日本)になってしまう．かつ，それらのアカウントは別扱いになっている様子で，かなり悩んだ．．．(オンラインゲームで使うサーバ毎にアカウントが別みたいな．．．)

あと，英語インタフェースで使っているのだが，説明書もそうだが，日本語版がオリジナルのようで，英単語のチョイスが極めて悪く，使い勝手が非常に悪い(それの逆の理由でOSは英語で使っている)．

以下，ScanSnap Home メモ．

• ScanSnap Organizer のデータを ScanSnap Home で取り込めるが (ScanSnap Organizer 等旧ソフトは ScanSnap Home をインストールする際にまるごとアンインストールすることになる)，異様に時間がかかる．PDFファイル数3500ぐらいで12時間かかった．
• 名刺ファイリングOCRのデータも取り込めるらが，これ，Windows の言語が英語だとその選択肢が出てこない (名刺ファイリングOCRが日本向けのソフトだから？)．Windows の言語を日本語にすると「名刺ファイリングOCR」のデータを取り込む選択肢が現れる．
• 全体的に動作が遅い(ScanSnap Organizer も遅かった)．あまりファイル数が多くなった場合を考慮した作りになっていないような気がする．

ということで，基本はクラウドに送る感じで利用予定．

追記 (2019/10/28)

書き忘れたが，当然 ScanSnap S1500 に比べて iX1500 の方が読み取り速度が早く，かつ OCR については，以前は Organizer に取り込んで OCR を待つ感じだったが，クラウドに送るともうその時点で OCR がかかっている．

追記 (2019/11/12)

ScanSnap Home で名刺を取り込むと OS が英語モードだと日本語のOCRをしてくれない．．．

Twitter はユーザー名(＠以降の部分)変更が容易に可能ということを知る．Webではログインした状態で，以下のように辿ると変更可能．

• https://twitter.com/home
• もっと見る (More)
• 設定とプライバシー (Settings and privacy)
• アカウント (Account)
• ログインとセキュリティ (Login and security)
• ユーザー名 (Username)

表示名は以下のように Edit profile から変更．

• https://twitter.com/home
• プロフィール (Profile)
• プロフィールを編集 (Edit profile)
• 名前 (Name)

なお，ユーザー名を変更すると変更前のリンク https://twitter.com/username は無効になって，かつ @username のメンションもリンクされなくなる．

というのは，ちょっと中の人を担当していたアカウントのユーザー名変更をすることがあったのだが，いろいろ怖いので，ユーザー名を変更したあとに，古いユーザー名で再度ユーザー登録し，新ユーザー名への誘導 Tweet をしておいた(というのが無難な対応っぽい)．

ちなみにメールアドレス1つに付きTwitterアカウントは1つしか作成できないので，Gmail のサブアドレス(@gmail.com の @ の前に +example 等任意の文字列追加)を利用する(Postfix では拡張メールアドレスとか address extension と呼ばれるもの，もしくは RFC 5233)．

2017年11月から SoftBank の HTC U11 を利用しているのだが，主に酔っ払って落とすからなのだが，ガラスにかなりひびが入った状態になっていて，先日そのひび割れの箇所で指を若干切ったこともあって，修理を検討．指を切ったときはホテルだったので，ホテルで絆創膏をもらったぐらいには血が出た．．．

大昔に(へたった)バッテリー交換のことを考えると「あんしん保証パック」に入っておいたほうが良いとか友人に勧められていたこともあって，それを使って修理に出すことにした．My SoftBank から修理依頼．

https://www.softbank.jp/mobile/special/repair-smartphone/ から最適手続きのシミュレーションが可能で，選択肢は以下．

• 修理(外装交換)(代替機貸出あり) 90%割引で負担額1,620円 (消費税8%込み．10月以降は1,650円と出る)
• 配送交換(新品同等品と交換) 8,100円 (消費税8%込み．10月以降は8,250円と出る)
• 機種変更(実はまだ支払いが終わっていないのでこれはなし)

土曜日夜中に申し込んで月曜日に代替機着かつ修理の引取，という感じ．思っていたより早い．

代替機については時間指定ができない様子で，一方の引取りは時間指定可能だった．Web には代替機は引取りとは別便との記載があって，ちょっと代替機は引取りより早めに届くと良いなとおもって，引取りの時間指定は最終(19:00-21:00)にしていたのだが，代替機が佐川便で届いたのが 18:00 で，かつ引取りも佐川だったはずなので佐川の人に聞いたら，確かなにかあったようなと言っていたので，佐川車の中を確認してもらってその場で引き取ってもらった．

代替機は同機種(HTC U11)の色違いで，SIMカード差し替えてそのまま使えている．ただし以下．

• Edy 残高は FeliCa にあるので，一旦楽天IDに移動(おサイフケータイの機能)．修理済みU11が帰ってくるまでこのまま．
• LINE のチャット履歴は機種を変えると消えるので，Google Drive にバックアップ(LINEの機能) 代替機に Restore．
• Android の主たるアプリや設定は Google Drive にバックアップ可能なので，バックアップする(Androidの機能) 代替機に Restore (初期設定時にリストアを選択可能)．
• バックアップ Restore で一部インストールされないものは手動でインストール．その1つが K-9 Mail だった．K-9 Mail の設定は Google Drive に Export 可能で，それを代替機に Import．

ちょっと困ったのが『Google Authenticator』．これがないと AWS と Mailgun にログインできないことが本体引取り後．．．に気づいて，悩む．

AWS については AWS Multi-Factor Authentication (MFA) の削除が必要で，メールアドレスと電話番号が正しく登録されていれば自身で Web から削除可能．ただ，登録していた電話番号が古いもので，フォームから入力のうえ AWS のスタッフに助けてもらった．直ぐに米国から電話が掛かってきて，今からメール送るからそこに書かれているコードを読むように言われて，読んだら MFA を削除してくれて，ログイン試してみろと言われて，2FA なしでログインできるようになった(なんだか英語が相当聞きづらかったけど．．．)．その後フォローアップメールが届いて，最新情報にアップデートするように書かれていた．．．

Mailgun については Paper Key があれば自身でなんとかできるらしいがそれを保存しておらず，サポートにメールで連絡．1日後ぐらいに verify.example.com (example.com は所持しているドメインを想定)の CNAME に mailgun.org を追加するよう指示があり，設定した旨伝えたら二要素認証 (2FA; Two-factor Authentication)を解除してくれた．

AWS/Mailgunともログインできる状態だとMFA/2FAを解除可能で，機種変更の際新旧デバイス両方利用できるようであれば，解除して新しい Authenticator を登録することが可能．

以下タイミングまとめ．

• 土曜日夜中申込み
• 月曜日代替機着/修理引取け
• 水曜朝先方に配達完了(佐川 東福岡営業所) (住んでいるのが田舎なので結構かかる)
• 翌週の火曜先方発送(なぜか佐川 枚方営業所)
• 木曜修理品引取り，代替機は代替機を受け取ったときについていたゆうパケット用の封筒で郵便ポストから発送．

思っていたより早く修理された．代替機から修理済機への以降は同じ手順．費用は修理代金 30,240円(8%税込)で，会員割引が適用されて1,296円(8%税込み)．

ちなみに Android 9 (pie) にアップデートされて帰ってきた．

手元の Debian on WSL with VcXsrv の gnome-terminal で ctrl-s すると固まる(ctrl-q で復帰)．stty -a によると以下のような感じで stop に割り当てられている．

% stty -a
speed 38400 baud; rows 32; columns 140; line = 0;
intr = ^C; quit = ^\; erase = ^?; kill = ^U; eof = ^D; eol = <undef>; eol2 = <undef>; swtch = <undef>; start = ^Q; stop = ^S; susp = ^Z;
rprnt = ^R; werase = ^W; lnext = ^V; discard = ^O; min = 1; time = 0;
-parenb -parodd -cmspar cs8 -hupcl -cstopb cread -clocal -crtscts
-ignbrk -brkint -ignpar -parmrk -inpck -istrip -inlcr -igncr icrnl ixon -ixoff -iuclc -ixany -imaxbel iutf8
opost -olcuc -ocrnl onlcr -onocr -onlret -ofill -ofdel nl0 cr0 tab0 bs0 vt0 ff0
isig icanon iexten echo echoe echok -echonl -noflsh -xcase -tostop -echoprt echoctl echoke -flusho -extproc

いつからこうなったのか不明．ターミナル内で Emacs を起動(emacs -nw)する際に C-s によるインクリメンタルサーチが出来ず非常に困る．以下で stop を undef する(ついでに C-q の start も undef)．

% stty stop undef
% stty start undef

Windows から WSL の Debian を起動する際に現れる Windows のコンソールではこの問題は発生しない様子(stty -aでは stop/start が C-s/C-q に割り当てられているが)．

Linux 5.4-rc1 がでたので，.configがどう変更されるのか見てみた．以下 - は削除されたもの，+ は追加されたもの．x86_64．New features 等は https://www.phoronix.com/scan.php?page=article&item=linux-54-features&num=1 参照．

追加

• +CONFIG_CC_HAS_ASM_INLINE=y

  compiler-types.h: add asm_inline definition

• +CONFIG_ARCH_CPUIDLE_HALTPOLL=y

  cpuidle-haltpoll: disable host side polling when kvm virtualized

  KVM_GUESTで select される．

• +CONFIG_HALTPOLL_CPUIDLE=y

  add cpuidle-haltpoll driver

  mにしておく．

• +CONFIG_HAVE_ASM_MODVERSIONS=y
+CONFIG_ASM_MODVERSIONS=y

  kbuild: add CONFIG_ASM_MODVERSIONS

  x86 で select される．

• +CONFIG_NET_VENDOR_PENSANDO=y

  ionic: Add basic framework for IONIC Network device driver

  Pensando Systems の IONIC Network device driver．使わないのでnにする．

• +CONFIG_VIDEO_V4L2_I2C=y

  media: v4l2-core: move i2c helpers out of v4l2-common.c

  V4L2 の I2C 関連が v4l2-common.c から v4l2-i2c.c に分離された．yのままにしておく．

• +CONFIG_SND_INTEL_NHLT=m

  ALSA: hda: move parts of NHLT code to new module

  手元ではSND_HDA_INTEL [=m] && SOUND [=m] && !UML && SND [=m] && SND_PCI [=y] && ACPI [=y]でmになっていた．

• +CONFIG_CRYPTO_ESSIV=m

  dm crypt: switch to ESSIV crypto API template
  crypto: essiv - create wrapper template for ESSIV generation

  DM_CRYPTがCRYPTO_ESSIVをselect．Encrypted salt-sector initialization vector (ESSIV)．

• +CONFIG_CRYPTO_LIB_SHA256=y

  crypto: sha256_generic - Switch to the generic lib/crypto/sha256.c lib code

  CRYPTO_SHA256がCRYPTO_LIB_SHA256をselect．CRYPTO_SHA256が手元では y になっていて，これは CRYPTO_SHA256_SSSE3 [=y] && CRYPTO [=y] && X86 [=y] && 64BIT [=y]でselectされていた．

  • CRYPTO_SHA256_SSSE3=m
  • CRYPTO_SHA256=m
  • CONFIG_CRYPTO_LIB_SHA256=m

  CONFIG_KEXEC_FILE=y が CRYPTO_SHA256=y に依存するので，KEXEC 関連まるごと n にする．

• +CONFIG_CRYPTO_LIB_AES=y

  crypto: aes-generic - drop key expansion routine in favor of library version

  CRYPTO_AES=yでselectされていた．CRYPTO_AES=mにしてmに．

• +CONFIG_CRYPTO_LIB_DES=y

  crypto: des - split off DES library from generic DES cipher driver

  CRYPTO_DES=yでselectされていた．CRYPTO_DES=mにしてmに．

削除

• -CONFIG_IWLWIFI_PCIE_RTPM=y

  iwlwifi: remove the code under IWLWIFI_PCIE_RTPM

• -CONFIG_CRYPTO_AES_X86_64=m

  rypto: x86/aes - drop scalar assembler implementations

他

• CONFIG_UNUSED_SYMBOLS=y

  module: move CONFIG_UNUSED_SYMBOLS to the sub-menu of MODULES

  lib/Kconfig.debug から init/Kconfig に移動した．ついでに CONFIG_UNUSED_SYMBOLS=nする．CONFIG_TRIM_UNUSED_KSYMS=yにして更に最適化を進めることも考えられるが，外部モジュールが compile できなくなるといやなので，ひとまず CONFIG_TRIM_UNUSED_KSYMS=nのまま．

追記 (2019/11/25)

Linux 5.4 がでたので再確認．

• +CONFIG_X86_INTEL_TSX_MODE_OFF=y

  x86/cpu: Add a “tsx=” cmdline option with TSX disabled by default
  x86/tsx: Add config options to set tsx=on|off|auto

  TSX (Transactional Synchronization Extensions) および TSX Async Abort (TAA) vulnerability 関連．Default は TSX の機能自体を無効化するもの (未知の脆弱性があるかもしれないとのことで)．

  悪意のあるユーザが存在しないと仮定しても問題ないシステムなので，CONFIG_X86_INTEL_TSX_MODE_ON=y にする．

• -CONFIG_DIMLIB=y

  net: ethernet: broadcom: have drivers select DIMLIB as needed

  Generic Network Dynamic Interrupt Moderation 関連．手元では NET_VENDOR_BROADCOM で select されていたが，必要に応じて select されるようになった．

Related articles

• 2024/04/08 13:19 / Linux 6.8.4
• 2022/04/18 15:22 / Linux 5.17
• 2021/09/08 12:13 / Linux 5.14
• 2021/07/19 11:11 / Linux 5.13
• 2021/04/28 18:58 / Linux 5.12
• 2021/01/13 21:27 / brtfs 上に swap ファイルを置く
• 2020/09/11 20:24 / Linux 5.9-rc4
• 2020/07/12 16:42 / Linux 5.8-rc4
• 2020/05/01 21:21 / Linux 5.7-rc1
• 2020/04/03 22:18 / Linux 5.6.x fs/cachefiles/rdwr.c bug
• 2020/02/22 19:33 / Linux 5.6-rc2
• 2020/01/11 20:50 / Linux 5.5-rc5
• 2019/11/25 14:45 / nvidia-kernel-dkms 418.74-1 with Linux 5.4
• 2019/09/20 14:45 / nvidia-kernel-dkms 418.74-1 with Linux 5.3
• 2019/07/22 19:13 / Linux 5.2.2 -> 5.3-rc1
• 2019/06/28 20:38 / GeForce GT 430 with nvidia-legacy-390xx-kernel-dkms 390.116-1~bpo9+1
• 2019/06/12 16:10 / Linux 5.1.8 -> 5.2-rc4
• 2019/05/07 19:43 / Linux 5.0.9 -> 5.1.0
• 2019/03/07 22:16 / Linux 4.20.13 -> 5.0.0
• 2018/11/06 11:30 / Linux 4.19.0 -> 4.20-rc1
• 2018/08/29 11:06 / Linux 4.18.5 -> 4.19-rc1
• 2018/06/20 17:06 / Linux 4.17.2 -> 4.18-rc1
• 2018/04/19 15:25 / Linux 4.16.2 -> 4.17-rc1
• 2018/02/12 17:23 / Linux 4.15.3 -> 4.16-rc1
• 2018/01/29 11:08 / Linux 4.14.15 -> 4.15
• 2017/11/28 12:42 / Linux 4.14.2 -> 4.15-rc1
• 2017/11/15 15:56 / Linux ORC unwinder と objtool (CONFIG_STACK_VALIDATION needs tools/objtool/objtool along headers)
• 2017/11/15 15:41 / Linux 4.13.12 -> 4.14.0
• 2017/09/18 07:04 / Linux 4.13.1 -> 4.14-rc1
• 2017/09/05 04:14 / Linux 4.12.10 -> 4.13
• 2017/07/16 23:56 / Linux 4.12.0 -> 4.13-rc1
• 2017/05/15 14:04 / Linux 4.11.0 -> 4.12-rc1
• 2017/05/03 00:24 / Linux 4.10.13 -> 4.11.0
• 2017/03/06 09:51 / Linux 4.10.1 -> 4.11-rc1
• 2017/02/20 10:31 / Linux 4.9.X -> 4.10
• 2016/12/30 21:28 / Linux 4.9 -> 4.10-rc1
• 2016/12/14 23:00 / Linux 4.8 -> 4.9

随分前に開発が止まった qtranslate の代替として mqtranslate を利用したり，その開発も止まって qTranslate-X を利用したりしていたのだが，qTranslate-X も開発が止まっているらしい．

2019/9/1 9:53 / WordPress on Debian 10でも書いたとおりパッチが必要だったり，PHP 7.3.9-1~deb10u1 環境だと更に以下のワーニングも出る．WP-CLIを利用して気付いた．

PHP Warning:  "continue" targeting switch is equivalent to "break". Did you mean to use "continue 2"? in /somewhere/wp-content/plugins/qtranslate-x/qtranslate_frontend.php on line 497

case 文中の continue を break に置き換えれば済む話だが，qTranslate-X を引き継いで開発が進められている qTranslate-XT (eXTended) に移行することにした．ただし /wp-admin/ (WordPress の Web I/F) からだとプラグインが見つけられず，自前で/somewhere/wp-content/plugins/qtranslate-xt/に配置(zipを展開するかgit clone)する必要がある．

Related articles

• 2019/09/01 09:53 / WordPress on Debian 10
• 2014/04/20 23:08 / WordPress 3.9 with qTranslate 2.5.39 → mqTranslate 2.6
• 2014/04/17 14:45 / WordPress 3.9 with qTranslate 2.5.39

2013年頃から使っていた自転車のライト，CAT EYE HL-EL130 が壊れてしまった．ブラケットにカチッと固定する部分がプラスチックで，それがもうきっちり嵌らなくなったと言うかすぐに取れてしまう状態になっていて，走っているうちに落としてしまい点かなくなった．ちなみに CAT EYE 製造なのだがCBA (サイクルベースアサヒ)ブランドの同等品．

ということで，明るめ・充電式・そこまで高くない CAT EYE VOLT200 HL-EL151RC を購入．明るくなってよいのだが，点滅モードも明るいままなので，結構チカチカうざい．あと点滅が少し遅い気がする．ちなみにブラケットは共通なので前のものをそのまま利用(新しいライトに付属しているものは保存)．

Google Search Console から以下のようなメールが届いた．

Google has started validating your fix of Breadcrumbs issues on your site. Specifically, we are checking for ‘Missing field “itemListElement”’, which currently affects 143 pages.

WordPress で Breadcrumb NavXTというプラグインを利用しているサイトに関する Validation Report で，古い Breadcrumb NavXT の Default のテンプレートのままだったのが原因．その Default はたぶん以下．

<span typeof="v:Breadcrumb"><a rel="v:url" property="v:title" title="Go to %title%." href="%link%" class="%type%">%htitle%</a></span>

これ，本来は以下のようになっているべき(class.bcn_breadcrumb.phpのget_default_templateという関数で作られる様子)．

<span property="itemListElement" typeof="ListItem"><a property="item" typeof="WebPage" title="Go to %title%." href="%link%" class="%type%" ><span property="name">%htitle%</span></a><meta property="position" content="%position%"></span>

ただ，このテンプレートを一括設定できる箇所がない．Settings → Breadcrumb NavXT でジャストなものを見つけられず，Home へのリンク向け等特別な場合のテンプレートは設定可能な様子で，それらも古い Default になっていて，さらに全てプラグインの Default に設定することも不可の様子．

ということで，一旦 Breadcrumb NavXT を Deactivate して，Delete して，再度インストールしたらプラグインの Default に設定された．これでしばらく様子見．

これで直らなかったら mysql に保存されている Breadcrumb NavXT 関連の設定を削除するなどを考えていたが，アンインストールすれば設定も削除される様子．ちなみに WordPress の options のテーブルの option_name = bcn_options というレコードに保存されている(uninstall.phpで削除される)．

Related articles

• 2015/07/16 10:17 / WordPress w/ Google Search Console (Webmaster Tools)

以下の nvidia のドライバが Linux 5.3 でコンパイルできない話．

• nvidia-kernel-dkms 418.74-1
• nvidia-legacy-390xx-kernel-dkms 390.116-1

具体的には以下のエラー．

In file included from /var/lib/dkms/nvidia-current/418.74/build/nvidia/nv_uvm_interface.c:21:
/var/lib/dkms/nvidia-current/418.74/build/nvidia/nv_uvm_interface.c: In function ‘nvUvmInterfaceDeRegisterUvmOps’:
/var/lib/dkms/nvidia-current/418.74/build/common/inc/nv-linux.h:733:21: error: void value not ignored as it ought to be
         int __ret = on_each_cpu(func, info, 1);        \
                     ^~~~~~~~~~~
/var/lib/dkms/nvidia-current/418.74/build/nvidia/nv_uvm_interface.c:991:5: note: in expansion of macro ‘NV_ON_EACH_CPU’
     NV_ON_EACH_CPU(flush_top_half, NULL);
     ^~~~~~~~~~~~~~

これは smp: Remove smp_call_function() and on_each_cpu() return values で on_each_cpu が値を返さなくなったということなので，マクロでダミーの正常時の戻り値を作ってしまえばOK．以下パッチ．nvidia-legacy-390xx-kernel-dkms も同様．

--- a/common/inc/nv-linux.h
+++ b/common/inc/nv-linux.h
@@ -730,8 +730,8 @@ static inline void nv_vunmap(NvUPtr vaddr, NvU32 page_count)
 #elif (NV_ON_EACH_CPU_ARGUMENT_COUNT == 3)
 #define NV_ON_EACH_CPU(func, info)                     \
     ({                                                 \
-        int __ret = on_each_cpu(func, info, 1);        \
-        __ret;                                         \
+        on_each_cpu(func, info, 1);                    \
+        0;                                             \
      })
 #else
 #error "NV_ON_EACH_CPU_ARGUMENT_COUNT value unrecognized!"

Related articles

• 2024/04/08 13:19 / Linux 6.8.4
• 2022/04/18 15:22 / Linux 5.17
• 2021/09/08 12:13 / Linux 5.14
• 2021/07/19 11:11 / Linux 5.13
• 2021/04/28 18:58 / Linux 5.12
• 2021/01/13 21:27 / brtfs 上に swap ファイルを置く
• 2020/09/11 20:24 / Linux 5.9-rc4
• 2020/07/12 16:42 / Linux 5.8-rc4
• 2020/05/01 21:21 / Linux 5.7-rc1
• 2020/04/03 22:18 / Linux 5.6.x fs/cachefiles/rdwr.c bug
• 2020/02/22 19:33 / Linux 5.6-rc2
• 2020/01/11 20:50 / Linux 5.5-rc5
• 2019/11/25 14:45 / nvidia-kernel-dkms 418.74-1 with Linux 5.4
• 2019/10/02 00:03 / Linux 5.3.1 -> 5.4-rc1
• 2019/07/22 19:13 / Linux 5.2.2 -> 5.3-rc1
• 2019/06/28 20:38 / GeForce GT 430 with nvidia-legacy-390xx-kernel-dkms 390.116-1~bpo9+1
• 2019/06/12 16:10 / Linux 5.1.8 -> 5.2-rc4
• 2019/05/07 19:43 / Linux 5.0.9 -> 5.1.0
• 2019/03/07 22:16 / Linux 4.20.13 -> 5.0.0
• 2018/11/06 11:30 / Linux 4.19.0 -> 4.20-rc1
• 2018/08/29 11:06 / Linux 4.18.5 -> 4.19-rc1
• 2018/06/20 17:06 / Linux 4.17.2 -> 4.18-rc1
• 2018/04/19 15:25 / Linux 4.16.2 -> 4.17-rc1
• 2018/02/12 17:23 / Linux 4.15.3 -> 4.16-rc1
• 2018/01/29 11:08 / Linux 4.14.15 -> 4.15
• 2017/11/28 12:42 / Linux 4.14.2 -> 4.15-rc1
• 2017/11/15 15:56 / Linux ORC unwinder と objtool (CONFIG_STACK_VALIDATION needs tools/objtool/objtool along headers)
• 2017/11/15 15:41 / Linux 4.13.12 -> 4.14.0
• 2017/09/18 07:04 / Linux 4.13.1 -> 4.14-rc1
• 2017/09/05 04:14 / Linux 4.12.10 -> 4.13
• 2017/07/16 23:56 / Linux 4.12.0 -> 4.13-rc1
• 2017/05/15 14:04 / Linux 4.11.0 -> 4.12-rc1
• 2017/05/03 00:24 / Linux 4.10.13 -> 4.11.0
• 2017/03/06 09:51 / Linux 4.10.1 -> 4.11-rc1
• 2017/02/20 10:31 / Linux 4.9.X -> 4.10
• 2016/12/30 21:28 / Linux 4.9 -> 4.10-rc1
• 2016/12/14 23:00 / Linux 4.8 -> 4.9

ヤマト運輸(クロネコヤマト)のインターネットからの申込みによる当日再配達受付時間(期限)，なんとなく18:00だと思っていたが，17:40だった．http://www.kuronekoyamato.co.jp/ytc/info/info_180903.html によるともともとは18:40までだったところ，2018年9月に17:40になった模様．仕方なくドライバーに電話(この場合19:00まで)．

インターネットで再配達依頼しようとしたら「以降在宅」という選択肢があったので，18:00までに帰宅できるから帰ってからでいいやと思って，帰宅後インターネットから再配達依頼しようとしたら，そもそも「当日」が選べなくて凹んだ．．．

というか宅配ボックス使ってくれたら良かったのに(ということで時間指定していなかったのだが)，入らなかなったのか空きがなかったのだろうか．．．宅配ボックス頼みもアレ．

MegaRAID SAS の状況を monitoring する package である megaclisas-status を導入．http://hwraid.le-vert.net/wiki/DebianPackages のとおり /etc/apt/sources.list を修正して，https://hwraid.le-vert.net/debian/hwraid.le-vert.net.gpg.key を apt-key add して，megaclisas-status を入れるだけ．あとは sudo megaclisas-status で status が確認できる．

/etc/init.d/megaclisas-statusd 自体が daemon になっていて，

MAILTO=root   # Where to report problems
PERIOD=600    # Seconds between each check    (default 10 minutes)
REMIND=7200   # Seconds between each reminder (default 2 hours)

となっていて，10分毎にチェック，non-optimal RAID status になると2時間おきに root 宛に mail コマンドでリマインドメール送付，となっている．ただ，mail が mailutils 由来の mail だと，root@hostname にメールを送ろうとして，プライベートネットワークで postfix を Internet with smarthost の設定(外部のmail serverに全転送)で運用しているとメールが消える．ということで mailutils のかわりに bsd-mailx を install して，その mail コマンドを利用するようにする．

/etc/init.d/megaclisas-statusd が /usr/sbin/sendmail を叩いてくれたらいいのに．．．

Related articles

• 2019/09/01 10:53 / Debian 10 に上げたときのメモ

OpenVPN が以下のエラーを吐いて起動しない問題発生．

Sep  1 00:00:30 XXX ovpn-vpn_server[XXXX]: WARNING: POTENTIALLY DANGEROUS OPTION --verify-client-cert none|optional (or --client-cert-not-required) may accept clients which do not present a certificate
Sep  1 00:00:30 XXX ovpn-vpn_server[XXXX]: OpenVPN 2.4.7 x86_64-pc-linux-gnu [SSL (OpenSSL)] [LZO] [LZ4] [EPOLL] [PKCS11] [MH/PKTINFO] [AEAD] built on Feb 20 2019
Sep  1 00:00:30 XXX ovpn-vpn_server[XXXX]: library versions: OpenSSL 1.1.1c  28 May 2019, LZO 2.10
Sep  1 00:00:30 XXX ovpn-vpn_server[XXXX]: PLUGIN_INIT: POST openvpn-plugin-auth-pam.so '[openvpn-plugin-auth-pam.so] [openvpn]' intercepted=PLUGIN_AUTH_USER_PASS_VERIFY 
Sep  1 00:00:30 XXX ovpn-vpn_server[XXXX]: OpenSSL: error:1408518A:SSL routines:ssl3_ctx_ctrl:dh key too small
Sep  1 00:00:30 XXX ovpn-vpn_server[XXXX]: SSL_CTX_set_tmp_dh
Sep  1 00:00:30 XXX ovpn-vpn_server[XXXX]: Exiting due to fatal error

dh key too small ということで，DH 鍵交換(Diffie-Hellman key exchange)のビット数が少なく落ちてしまっている様子．1024ビットで使用していた．以下の通り2048ビットで生成したパラメタファイルを生成し，

% sudo openssl dhparam -out /etc/openvpn/dh2048.pem 2048

/etc/openvpn/hoge.conf 等設定ファイルで dh1024.pem を使っている場合は，以下の通り dh2048.pem に変更．

-dh dh1024.pem
+dh dh2048.pem

Related articles

• 2018/07/17 22:33 / OpenVPN 2.4.4-2~bpo9+1

キーボードの設定は様々なレイヤがあってややこしいのだが，今回は X server というか Windows 版 X server である VcXsrv ＋ WSL 環境での話．もっとハードウェアに近いところでの変更は当然 Windows 任せになるので(udev 使えない)，X 上でキーマップを変更する．具体的には日本語キーボードをむりやり英語配列として使う場合に効かなくなる以下のいわゆる dead keys をなんとかしたいということ．

• ¥ キー(バックスラッシュ\，Shift の場合はバー|)．日本語キーボードの]がこれの代替になるが，もとのキーも使いたい．
• \ キー(バックスラッシュ\，Shift の場合はバー_)．_ は日本語キーボードで Shift + - がこれの代替になるが，もとのキーも使いたい．

xev でまず keycode を調べる．よりハードウェアに近いレイヤに依存するので環境によっていろいろ変わる．手元(Windows を英語キーボードモードにした状態で VcXsrv を起動) では以下だった．

• ¥ キー: 133
• \ キー: 211

あとは以下実行するだけ．

% xmodmap -e "keycode 133 = backslash bar"
% xmodmap -e 'keycode 211 = backslash underscore'

Related articles

• 2019/11/04 15:59 / VcXsrv での「半角/全角 漢字」キーのキーリピートがおかしい
• 2013/06/08 15:11 / X dead keys

• 古い計算機で HDD アクセスが遅いものは異様に時間がかかる．サーバ系の必要最小限のパッケージのみしか使っていないのに 2時間ぐらいかかった (Xeon E5410 + ST3500630AS, hdparm -t /dev/sda で 75.84 MB/sec)．古くて遅いシステムは悪．
• 同じく同じタイミングで古いRAID5のファイルサーバを新しいRAID5のファイルサーバに移行したのだが，普段からざっくりと同期させていたのだが，古い方の計算機が遅すぎてかつファイル数が多すぎて最終の rsync に異様に時間がかかった(btrfsなのでファイルシステムをダンプして移植するというのも可能だが，それも失敗やら手戻りが怖いのでrsync)．
  • 旧: Xeon E3-1225 v3 (2コア4スレ)，Intel Rapid Storage Technology RAID5 いわゆるソフトウェアRAID，さらにLUKS暗号化有り．．．というかCPUがネック．
  • 新: i7-7820X (8コア16スレ)，MegaRAID SAS RAID5，こちらもLUKS暗号化有り．
• 今まで適当に dist-upgrade やらをしていたが https://www.debian.org/releases/stable/amd64/release-notes/ch-upgrading.ja.html#minimal-upgradeによるとapt-get upgradeで最小限アップグレードをして，その後apt full-upgradeでシステムアップグレードするのが良いらしい．

Related articles

• 2019/09/04 16:41 / MegaRAID SAS (megaclisas-status)

Debian 10 に上げた機会に MediaWiki も 1.30 から 1.33 に上げる．以下メモ．

• MediaWiki は git clone しているので，git fetch, git checkout -b REL1_33_local REL1_33 して REL1_33 に対して設定を加えていく．

• extensions/ 以下の各 extension も REL1_33 に上げる．

• composer.json がある vendor/，extensions/Elastica/，extensions/CirrusSearch/に関しては各 directory でcomposer update --no-devして依存解決しなければ動かなかった(他は今回の場合そのままで問題なかった)．

• maintanaice/ で php update.php 実行．

• LocalSetting.php を調整．require_once "$IP/extensions/XXX/XXX.php"; を wfLoadExtension( 'XXX' ); に修正する必要があるものがちらほら．

• https://www.mediawiki.org/wiki/Extension:CirrusSearch によると

  MediaWiki 1.33.x requires ElasticSearch 6.5.x.

  とのことだが 6.x で OK．6.8 で動作確認．

• ElasticSearch の Index 生成は https://phabricator.wikimedia.org/diffusion/ECIR/browse/master/README のとおり以下実行．以前にも書いたがElasticsearchが保持するデータは/var/lib/elasticsearch/にある．

  cd extensions/CirrusSearch/maintenance/updateSearchIndexConfig.php
  php updateSearchIndexConfig.php
  php forceSearchIndex.php --skipLinks --indexOnSkip
  php forceSearchIndex.php --skipParse

Related articles

• 2021/05/15 17:09 / MediaWiki で docx ファイルの移動(rename)
• 2017/02/09 11:03 / MediaWiki で SVG w/inkscape 0.92.0-4~bpo8+1 (jessie backports)
• 2017/02/08 14:07 / MediaWiki 1.28.0 on Debian/GNU Linux jessie
• 2016/07/22 10:09 / MediaWiki on Debian/GNU Linux jessie
• 2015/12/01 12:45 / MediaWiki で SVG

Debian を stretch (Debian 9) から buster (Debian 10)にあげたら apache が以下のようなWarningを吐くようになった．

[Sat Aug 31 20:XX:XX.XXXXXX 2019] [php7:warn] [pid 23XX] [client XXX.XX.XXX.XX:XXXXXX] PHP Warning:  Parameter 2 to qtranxf_postsFilter() expected to be a reference, value given in /var/www/wp-includes/class-wp-hook.php on line 286

これは qtranslate-x の問題で，https://wordpress.org/support/topic/problem-with-php-7-1-2/ によると以下のように &$query の & を取り除けば良いらしい．

diff --git a/wp-content/plugins/qtranslate-x/qtranslate_frontend.php b/wp-content/plugins/qtranslate-x/qtranslate_frontend.php
index 64df38f9..461ce94e 100644
--- a/wp-content/plugins/qtranslate-x/qtranslate_frontend.php
+++ b/wp-content/plugins/qtranslate-x/qtranslate_frontend.php
@@ -520,7 +520,7 @@ function qtranxf_translate_post($post,$lang) {
        }
 }

-function qtranxf_postsFilter($posts,&$query) {//WP_Query
+function qtranxf_postsFilter($posts,$query) {//WP_Query
        global $q_config;
        //qtranxf_dbg_log('qtranxf_postsFilter: $posts: ',$posts);
        //$post->post_content = qtranxf_useCurrentLanguageIfNotFoundShowAvailable($post->post_content);
@@ -543,7 +543,7 @@ function qtranxf_postsFilter($posts,&$query) {//WP_Query
 add_filter('the_posts', 'qtranxf_postsFilter', 5, 2);

 /** allow all filters within WP_Query - many other add_filters may not be needed now? */
-function qtranxf_pre_get_posts( &$query ) {//WP_Query
+function qtranxf_pre_get_posts( $query ) {//WP_Query
        //qtranxf_dbg_log('qtranxf_pre_get_posts: $query: ',$query);
        //'post_type'
        if(isset($query->query_vars['post_type'])){

Related articles

• 2019/10/01 17:29 / qTranslate-XT
• 2014/04/20 23:08 / WordPress 3.9 with qTranslate 2.5.39 → mqTranslate 2.6
• 2014/04/17 14:45 / WordPress 3.9 with qTranslate 2.5.39

先月オーランドに行ったメモ．

• 今回レンタカーなし．あまり色々回らないプランだったので．
• 連日午後若しくは夕方土砂降り．外に出れない．
• DoubleTree by Hilton Hotel Orlando at SeaWorld に滞在(仕事)
  • チェックイン時にチョコチップクッキーをくれる．．．
  • House keeping不要のタグを部屋の前に貼っておくと，USD 5 のホテル内で利用可能なクーポンをもらえる．クーポンはHilton Honors point 500 としてアカウントに追加することも可能 (チェックアウト時にクーポンをフロントで渡す)．
  • Marketという売店の奥にたぶんBusiness sectionの部屋があって，何故かそこで猫が飼われている．
  • Designated smoking areaはかなり隔離されたところにあるが，灰皿というか吸い殻入れ自体は屋外探せば数カ所で見つけられる．
  • 朝食Includedではないことを忘れていて朝食ホテルで取る．Buffet style 23 USDぐらい．高いけどGOOD．
• KSC (Kennedy space center)見学
  • そういえばスペースシャトルはもう継続しないことになっていて，アトランティスの展示ができていた．発射台の近くにはSpaceXの建物有り．
  • Florida dolphin tours のツアー(bus plus admission fee USD 119)で参加．前日にインターネットで予約．8:10 Rosen at pointe Orlandoでpick up. いろいろな場所でpick upしてから来るみたいでかなり遅れてた．帰りはKSC 17:30発．
  • KSCのレストラン，たぶんOrbit Cafe，注文が自動化されてた(相当前に来た時は自動化ではなかったような気がする)．Regular soda USD 2 ちょっと．でかいカップを渡され自分で選んで入れる．
• インターナショナルドライブ
  • この付近で連日レストラン等．これといって決めずに適当に．
  • 移動手段はバス．I RIDE Trolley．一回USD 2で，ぴったりの額現金で払う必要があって大変なので3 day passを調達．ホテルのExpedia Local Expertで買える．8:00頃からの運行なのでそれより前はLYNXを利用．ともにGoogle Mapsで経路が出る．
• イミグレ・空港関連
  • 入国，US citizenとESTAは自動手続きの列に並ぶが，結局簡単な質問をされて，そこがネックでかなり詰まっていた．シカゴで入国．
  • ちなみにESTA，有効期限は2年．前回のが有効なのを忘れていて再申請しようとしたら，同一パスポートの情報が既にシステムに存在するとか申請システムに言われたような気がする．
  • シカゴ空港，departures floorを出たところで喫煙可能．オーランドの空港も同じだが，こちらは出て建物端まで行く必要があった．
  • オーランド空港の喫煙所付近は同時にApp Pickupエリアにもなっていて，Uberでorder出すピックアップ場所を選ばされる．
  • 空港・ホテル間の移動はUber．複数ヶ所をまわるOrderも可能．
• 他
  • AbemaTVが海外モードになる．海外での視聴向けニュースは，同じ内容を延々繰り返す感じ．つまらないのでVPN経由で国内版視聴(Chrome で Inspect mode で挙動を確認していたのだが，技術者募集のメッセージがConsoleに出力されてた)．
  • PINを入力するスタイルのcredit card authorization machine で JCB カードを利用しようとすると，6 number pin (chip?) には対応していないとかで弾かれる．PIN は 4 number なんだけど．．．

Related articles

• 2023/11/21 19:12 / オーストラリア・シドニー メモ
• 2018/12/14 09:07 / ハワイ(ホノルル・ワイキキ)メモ
• 2018/03/12 15:56 / マレーシアメモ
• 2016/11/02 06:44 / タイ王国メモアゲイン
• 2016/10/05 03:41 / タイ王国バンコク スワンナプーム空港メモ
• 2015/12/25 23:34 / 香港メモ
• 2015/07/26 00:57 / シンガポールメモ

RStudio Desktop (Free)はDebian 9版までしか現状なくて，Debian 10 (buster)では以下の様に libssl.so.1.0.2 が存在せず起動できない．

% rstudio
rstudio: error while loading shared libraries: libssl.so.1.0.2: cannot open shared object file: No such file or directory

libssl.so.1.0.2 は package libssl1.0.2 (stretch でのみ存在)で提供されていて，これを入れると解決する．

% wget http://security.debian.org/debian-security/pool/updates/main/o/openssl1.0/libssl1.0.2_1.0.2s-1~deb9u1_amd64.deb
% sudo dpkg -i libssl1.0.2_1.0.2s-1~deb9u1_amd64.deb

Wanderlust で複数メッセージを * でマークして，m f でまとめて転送しようとすると，以下の様に怒られて1件目しか draft バッファに入ってくれない．

wl-summary-redisplay-internal: ‘recenter’ing a window that does not display current-buffer.

wl-summary-redisplay-internalの以下の箇所でコケているっぽい．

      (when wl-summary-recenter
        (recenter (/ (- (window-height) 2) 2))
        (if (not wl-summary-indent-length-limit)
        (wl-horizontal-recenter)))

あまり深追いせずに ~/.wl に以下を書いておく．

(setq wl-summary-recenter nil)

Info による変数の説明は以下の通り．

`wl-summary-recenter'
     初期設定は `t'。Non-nil ならば表示したときに表示中のメッセージのサ
     マリ行をウィンドウの中央付近に移動します。

今まで気にしたこと無いし，nil にしたところで挙動が変わらないような気もする．

WSL (Windows Subsystem for Linux)(Debian 9)導入のメモ．様々なことができるようになるつつあり便利なので，手元以外の他の計算機でも導入したので，そのメモ．まず WSL を有効にする．https://docs.microsoft.com/en-us/windows/wsl/install-win10 参照．以下を管理者権限の PowerShell で実行．再起動．

Enable-WindowsOptionalFeature -Online -FeatureName Microsoft-Windows-Subsystem-Linux

あとは，Store から Debian を検索して Install/Launch．以下の様な感じで Shell が立ち上がって終了．

Installing, this may take a few minutes...
Please create a default UNIX user account. The username does not need to match your Windows username.
For more information visit: https://aka.ms/wslusers
Enter new UNIX username: myn
Enter new UNIX password:
Retype new UNIX password:
passwd: password updated successfully
Installation successful!
myn@example:~$ id
uid=1000(myn) gid=1000(myn) groups=1000(myn),4(adm),24(cdrom),27(sudo),30(dip),46(plugdev)

まず gid (primary group)が username で感じ悪いと言うか落ち着かないので，100(users) に変更する．

myn@example:~$ sudo usermod -gusers myn

We trust you have received the usual lecture from the local System
Administrator. It usually boils down to these three things:

    #1) Respect the privacy of others.
    #2) Think before you type.
    #3) With great power comes great responsibility.

[sudo] password for myn:

上記，usermod -Gusers myn だと groups=100(users) のみになって，sudo group から抜けてしまい，sudoできなくなるので注意(一回間違えてやってしまい，一旦 Debian を削除して，再度 Install した)．

一旦窓を閉じて再度 Debian を起動し以下確認．ついでにいちいち sudo で password 入力するのが面倒なのでvisudoでNOPASSWDにする．

myn@example:~$ id
uid=1000(myn) gid=100(users) groups=100(users),4(adm),24(cdrom),27(sudo),30(dip),46(plugdev)
myn@example:~$ sudo sh -c 'EDITOR=vi visudo'
-%sudo   ALL=(ALL:ALL) ALL
+%sudo   ALL=(ALL:ALL) NOPASSWD: ALL

Default の umask が 000 で落ち着かないので，umask 022 する．．．

ひとまず package を upgrade して zsh と git を入れる．/usr/bin/zsh に切り替えて窓立ち上げ直し．

myn@example:~$ sudo apt update
myn@example:~$ sudo apt upgrade
myn@example:~$ sudo apt install zsh git
myn@example:~$ chsh
Password:
Changing the login shell for myn
Enter the new value, or press ENTER for the default
        Login Shell [/bin/bash]: /usr/bin/zsh

おもむろに sid に上げる．

myn@example:~$ echo deb http://deb.debian.org/debian unstable main | sudo tee /etc/apt/sources.list
myn@example:~$ sudo apt update
myn@example:~$ sudo apt dist-upgrade

使用している zsh が混乱した状態になるので，窓立ち上げ直し．ここから git で設定ファイル等を他から持ってくるのだが，ssh が必要になるので，key-pairs を copy してくる．

% rsync -avz remote:.ssh/ .ssh/
myn@remote's password:
% ssh-agent screen
% ssh-add

あとは自身管理で git に入れている，必要 package を install したり各種設定をする謹製 script を実行．時間を喰うので，その間に Windows 用 Xserver である VcXsrv (現時点では vcxsrv-64.1.20.1.4.installer.exe が最新) を install．

他メモ．

• C: は /mnt/c/ に mount されていて，Windows のプログラム (.exe や .bat) は /mnt/c/ 以下の path に置いてあれば実行可能(~/ 以下に置いた Windows 向け Program は実行不可(Windows からは WSL内のPATHが参照できない，とかだと思う))．
• sshfs 使用不可 (FUSE 対応が無い)
• Windows から WSL を参照するには \\wsl$\Debian\ でアクセス．Linux から % explorer.exe . とかすると，カレントディレクトリでエクスプローラーが開く．

Related articles

• 2019/07/04 23:04 / /usr/lib/mozc/mozc_tool: error while loading shared libraries: libQt5Core.so.5: cannot open shared object file: No such file or directory

Linux 5.3-rc1 がでたので，.configがどう変更されるのか見てみた．以下 - は削除されたもの，+ は追加されたもの．x86_64．New features 等は https://www.phoronix.com/scan.php?page=article&item=linux-53-features&num=1 参照．

追加

• +CONFIG_CC_CAN_LINK=y

  init/Kconfig: add CONFIG_CC_CAN_LINK

• +CONFIG_CPU_SUP_ZHAOXIN=y

  x86/cpu: Create Zhaoxin processors architecture support file

  Zhaoxinサポート．不要なのでnに．

• +CONFIG_HAVE_KVM_NO_POLL=y

  KVM: polling: add architecture backend to disable polling
  kvm: x86: add host poll control msrs

  KVMでselectされる．

• +CONFIG_FW_LOADER_PAGED_BUF=y

  firmware: Add support for loading compressed files

  FW_LOADER_USER_HELPERでselectされる．compressed firmware supportは CONFIG_FW_LOADER_COMPRESSで有効になるが，ひとまず無効のまま．

• +CONFIG_NET_VENDOR_GOOGLE=y

  gve: Add basic driver framework for Compute Engine Virtual NIC

  Compute Engine Virtual NIC のドライバ関連(gve)．nにしておく．

• +CONFIG_SERIAL_MCTRL_GPIO=y

  tty/serial/8250: use mctrl_gpio helpers

  GPIOLIBでselectされる．

• +CONFIG_POWER_SUPPLY_HWMON=y

  power: supply: Add HWMON compatibility layer

  必要かどうかわからないがyのままにしておく．

• +CONFIG_WATCHDOG_OPEN_TIMEOUT=0

  watchdog: introduce CONFIG_WATCHDOG_OPEN_TIMEOUT

  defaultは0．

• +CONFIG_DRM_VRAM_HELPER=m

  drm: Add |struct drm_gem_vram_object| and helpers

  手元では以下でmにselectされている．DRM_BOCHS [=m] && HAS_IOMEM [=y] && DRM [=m] && PCI [=y] && MMU [=y] KVM上で動かすことも想定されるので，このままで．

• +CONFIG_INTEL_RAPL_CORE=m

  intel_rapl: abstract RAPL common code

  INTEL_RAPL [=m] && POWERCAP [=y] && X86 [=y] && IOSF_MBI [=y]でmに．

• +CONFIG_PROC_PID_ARCH_STATUS=y

  proc: Add /proc//arch_status

  X86 [=y] && PROC_FS [=y]でyに．

• +CONFIG_DIMLIB=y

  linux/dim: Move implementation to .c files

  手元でNET_VENDOR_BROADCOMでselectされていた．

• +CONFIG_HAVE_GENERIC_VDSO=y
+CONFIG_GENERIC_GETTIMEOFDAY=y

  lib/vdso: Provide generic VDSO implementation

  VDSO implementation of gettimeofday()．X86でyに．

Rename

• -CONFIG_HAVE_GENERIC_GUP=y
+CONFIG_HAVE_FAST_GUP=y

  mm: rename CONFIG_HAVE_GENERIC_GUP to CONFIG_HAVE_FAST_GUP

• -CONFIG_ARCH_HAS_ZONE_DEVICE=y
+CONFIG_ARCH_HAS_PTE_DEVMAP=y

  mm: introduce ARCH_HAS_PTE_DEVMAP

  CONFIG_ARCH_HAS_PTE_DEVMAPにrenameされた．X86_64でselectされる．

削除された

• -CONFIG_ARCH_HAS_HMM_MIRROR=y

  mm: remove the HMM config option

• -CONFIG_ARM_GIC_MAX_NR=1

  irqchip/gic: Add dependency for ARM_GIC_MAX_NR

  ARM_GIC=n (ARM Generic Interrupt Controllers)なので値が定義されなくなった．

• -CONFIG_CIFS_ACL=y

  cifs: simplify code by removing CONFIG_CIFS_ACL ifdef

• -CONFIG_IO_DELAY_TYPE_0X80=0
-CONFIG_IO_DELAY_TYPE_0XED=1
-CONFIG_IO_DELAY_TYPE_UDELAY=2
-CONFIG_IO_DELAY_TYPE_NONE=3
-CONFIG_DEFAULT_IO_DELAY_TYPE=0

  x86/io_delay: Define IO_DELAY macros in C instead of Kconfig

RDM関連

• +CONFIG_DRM_AMD_DC_DSC_SUPPORT=y

  drm/amd/display: enable DSC support by default

  DSC (VESA Display Stream Compression) support．defaultがyになった．

• -CONFIG_DRM_AMD_DC_DCN1_01=y

  drm/amd/display: Drop DCN1_01 guards

• +CONFIG_DRM_AMD_DC_DCN2_0=y

  drm/amd/display: Hook DCN2 into amdgpu_dm and expose as config (v2)

• +CONFIG_DRM_I915_FORCE_PROBE="*"

  drm/i915: add force_probe module parameter to replace alpha_support

• +CONFIG_DRM_I915_USERFAULT_AUTOSUSPEND=250

  drm/i915: Keep user GGTT alive for a minimum of 250ms

• +CONFIG_DRM_I915_SPIN_REQUEST=5

  drm/i915: Expose the busyspin durations for i915_wait_request

crypto 関連

• -CONFIG_CRYPTO_WORKQUEUE=y

  crypto: cryptd - move kcrypto_wq into cryptd

• +CONFIG_CRYPTO_LIB_ARC4=m

  crypto: arc4 - refactor arc4 core code into separate library

Related articles

• 2024/04/08 13:19 / Linux 6.8.4
• 2022/04/18 15:22 / Linux 5.17
• 2021/09/08 12:13 / Linux 5.14
• 2021/07/19 11:11 / Linux 5.13
• 2021/04/28 18:58 / Linux 5.12
• 2021/01/13 21:27 / brtfs 上に swap ファイルを置く
• 2020/09/11 20:24 / Linux 5.9-rc4
• 2020/07/12 16:42 / Linux 5.8-rc4
• 2020/05/01 21:21 / Linux 5.7-rc1
• 2020/04/03 22:18 / Linux 5.6.x fs/cachefiles/rdwr.c bug
• 2020/02/22 19:33 / Linux 5.6-rc2
• 2020/01/11 20:50 / Linux 5.5-rc5
• 2019/11/25 14:45 / nvidia-kernel-dkms 418.74-1 with Linux 5.4
• 2019/10/02 00:03 / Linux 5.3.1 -> 5.4-rc1
• 2019/09/20 14:45 / nvidia-kernel-dkms 418.74-1 with Linux 5.3
• 2019/06/28 20:38 / GeForce GT 430 with nvidia-legacy-390xx-kernel-dkms 390.116-1~bpo9+1
• 2019/06/12 16:10 / Linux 5.1.8 -> 5.2-rc4
• 2019/05/07 19:43 / Linux 5.0.9 -> 5.1.0
• 2019/03/07 22:16 / Linux 4.20.13 -> 5.0.0
• 2018/11/06 11:30 / Linux 4.19.0 -> 4.20-rc1
• 2018/08/29 11:06 / Linux 4.18.5 -> 4.19-rc1
• 2018/06/20 17:06 / Linux 4.17.2 -> 4.18-rc1
• 2018/04/19 15:25 / Linux 4.16.2 -> 4.17-rc1
• 2018/02/12 17:23 / Linux 4.15.3 -> 4.16-rc1
• 2018/01/29 11:08 / Linux 4.14.15 -> 4.15
• 2017/11/28 12:42 / Linux 4.14.2 -> 4.15-rc1
• 2017/11/15 15:56 / Linux ORC unwinder と objtool (CONFIG_STACK_VALIDATION needs tools/objtool/objtool along headers)
• 2017/11/15 15:41 / Linux 4.13.12 -> 4.14.0
• 2017/09/18 07:04 / Linux 4.13.1 -> 4.14-rc1
• 2017/09/05 04:14 / Linux 4.12.10 -> 4.13
• 2017/07/16 23:56 / Linux 4.12.0 -> 4.13-rc1
• 2017/05/15 14:04 / Linux 4.11.0 -> 4.12-rc1
• 2017/05/03 00:24 / Linux 4.10.13 -> 4.11.0
• 2017/03/06 09:51 / Linux 4.10.1 -> 4.11-rc1
• 2017/02/20 10:31 / Linux 4.9.X -> 4.10
• 2016/12/30 21:28 / Linux 4.9 -> 4.10-rc1
• 2016/12/14 23:00 / Linux 4.8 -> 4.9

MacではUnicode正規化形式としてNFD (Normalization Form Canonical Decompression; 正規化形式D)が利用されていて，Macユーザから日本語ファイル名のファイルを含むzipファイルが送られてくる際，そのファイル名がNFDになっていて Windows/Linux ユーザからすると感じが悪い．具体的には濁点(U+3099)・半濁点(U+309A)が文字として分離されている状態．

Windows ではエクスプローラーでひとまず表示はされる．手元の Linux の場合もそれっぽくは表示されるが ÿ という謎の文字が後に付加される．．．

そもそもファイル名がUTF-8でzipに含まれるので，Windows (Shift_JISを想定)では激しくファイル名が文字化けする．一方 Linux の unzip は UTF-8 を想定するので正しいファイル名で復号される(Windows 由来の Shift_JIS ファイル名が含まれるzipをLinuxで解凍する際は自動文字コード変換をする unar 等を使う)．

いろいろやり方はあるが以下の Ruby script で濁点と半濁点だけなんとかする(あ゛などは想定外)．

print STDIN.read.split("").inject([]){|r,i|
    if [0x3099,0x309a].include?(j=i.ord)
        i=(r.pop.ord + j - 0x3098).chr('UTF-8')
    end
    r<< i
}*""

convmv (Perl script)というコマンドが利用可能な場合は以下でまるごと置換可能．

% convmv * -f UTF-8 -t UTF-8 --nfc --notest

なお，Mac 環境から rsync する際は --iconv=UTF8-MAC,UTF-8 optionを付けると良いらしい．NFD/NFC変換がiconvでできないか手元(Linux)で試してみたが，以下のとおりサポートされていなかった．

iconv: conversion to `UTF-8-MAC' is not supported

参考:

• https://ja.wikipedia.org/wiki/Unicode%E6%AD%A3%E8%A6%8F%E5%8C%96
• https://ja.wikipedia.org/wiki/%E6%BF%81%E7%82%B9
• https://ja.wikipedia.org/wiki/%E5%8D%8A%E6%BF%81%E7%82%B9
• https://qiita.com/knaka/items/48e1799b56d520af6a09

追記 (2019/9/10)

Ruby で外部ライブラリを利用するならruby-unfを利用する．以下にパイプで送るとか．require "unf" で String class に to_nfc や to_nfd といった instance method が追加される．

ruby -e 'require "unf"; print STDIN.read.to_nfc'

なお ÿ が表示されてしまうのは screen のバグならしい．ただ，NFCと同様に表示されると，それはそれでNFDが見つけられなくてちょっと困るが．．．そもそも Mac の screen ユーザにとってはこれ死活問題かもしれない．screen に対するパッチ等，以下参照．

• https://rcmdnk.com/blog/2013/03/22/screen-install/
• https://rcmdnk.com/blog/2014/05/04/computer-screen/

WSL で Debian GNU/Linux を使っている(Windows 10 May 2019 Update でかなり使えるようになったのでもう VMWare いらないかも．．．)のだが，sid に upgrade したらmozc_toolが以下でコケるようになった．

% /usr/lib/mozc/mozc_tool --mode=config_dialog
/usr/lib/mozc/mozc_tool: error while loading shared libraries: libQt5Core.so.5: cannot open shared object file: No such file or directory
% ldd /usr/lib/mozc/mozc_tool | grep 'not found' | uniq
        libQt5Core.so.5 => not found
% LD_PRELOAD=/usr/lib/x86_64-linux-gnu/libQt5Core.so.5.11.3 /usr/lib/mozc/mozc_tool --mode=config_dialog
ERROR: ld.so: object '/usr/lib/x86_64-linux-gnu/libQt5Core.so.5.11.3' from LD_PRELOAD cannot be preloaded (cannot open shared object file): ignored.
/usr/lib/mozc/mozc_tool: error while loading shared libraries: libQt5Core.so.5: cannot open shared object file: No such file or directory

package libqt5core5a に /usr/lib/x86_64-linux-gnu/libQt5Core.so.5.11.3 は含まれていて，確かに存在するのだが，うまく読み込んでもらえない．解決法は以下．

sudo strip --remove-section=.note.ABI-tag /usr/lib/x86_64-linux-gnu/libQt5Core.so.5.11.3 

ちなみに file で違いが確認できるらしい．for GNU/Linux 3.17.0 となっているのが問題ならしい．

% sudo apt reinstall libqt5core5a
% file /usr/lib/x86_64-linux-gnu/libQt5Core.so.5.11.3 > 0
% sudo strip --remove-section=.note.ABI-tag /usr/lib/x86_64-linux-gnu/libQt5Core.so.5.11.3
% file /usr/lib/x86_64-linux-gnu/libQt5Core.so.5.11.3 > 1
% wdiff 0 1
/usr/lib/x86_64-linux-gnu/libQt5Core.so.5.11.3: ELF 64-bit LSB shared object, x86-64, version 1 (GNU/Linux), dynamically linked, interpreter /lib64/ld-linux-x86-64.so.2, BuildID[sha1]=70947cf4ce539861badd2c95e0130074456c9bee, [-for GNU/Linux 3.17.0,-] stripped
% uname -r
4.4.0-18362-Microsoft

手元のWSL環境，Xserver には VcXsrv (multiple windows)を利用．日本語入力は基本的に Emacs のみで OK なので，それ用に emacs-mozc と設定用の mozc-utils-gui を install．いわゆる ibus の mozc を動かすのは断念．Windows の Google 日本語入力と WSL 上の Mozc の両方が動いている謎環境になっている．

参考:

• https://github.com/Microsoft/WSL/issues/3023

追記 (2019/9/10)

ibusは断念したのだが，fcitxは動作を確認．Toggle Input Method などのキーバインドの変更はfcitx-configtoolで行う．

追記 (2020/6/24)

WSL2 + VcXsrv + fcitx だと，特定の GUI ソフトとの相性が悪く，具体的には inkscape が Windows サイズを適切に定められずに高速で窓のリサイズを繰り返し，最終的には VcXsrv を道連れに落ちてしまう．Emacs 上で日本語を書いて貼り付けるのが現状では無難げ．

Related articles

• 2019/07/23 19:42 / Windows 10 WSL (Windows Subsystem for Linux)

Debian GNU/Linux stretch (backports) の NVIDIA のドライバ，古いデバイスと新しいデバイスの混在環境(計算機としては別) で以下を利用していたのだが，418.56 から GeForce GT 430 のサポートがなくなった様子．

ii  nvidia-kernel-dkms              418.56-2~bpo9+1  amd64        NVIDIA binary kernel module DKMS source
ii  nvidia-legacy-340xx-kernel-dkms 340.107-2~bpo9+1 amd64        NVIDIA binary kernel module DKMS source (340xx legacy version)

nvidia-current のドライバを modprobe すると以下のように怒られる．

NVRM: The NVIDIA GeForce GT 430 GPU installed in this system is
NVRM:  supported through the NVIDIA 390.xx Legacy drivers. Please
NVRM:  visit http://www.nvidia.com/object/unix.html for more
NVRM:  information.  The 418.74 NVIDIA driver will ignore
NVRM:  this GPU.  Continuing probe...

ということで nvidia-legacy-340xx-kernel-dkms を purge して nvidia-legacy-390xx-kernel-dkms 390.116-1~bpo9+1 を install．結構コードが 418.56 と似たような感じになっていて，5.1.15 向け patch は以下のような感じ．nvidia-kernel-dkms 410.104-1~bpo9+1 の Linux 5.1 向け patch とほぼ同じ (行数が若干ずれる程度)．

diff --git a/common/inc/nv-list-helpers.h b/common/inc/nv-list-helpers.h
index 0aed851..81c2d4e 100644
--- a/common/inc/nv-list-helpers.h
+++ b/common/inc/nv-list-helpers.h
@@ -91,10 +91,12 @@
         list_entry((pos)->member.next, typeof(*(pos)), member)
 #endif
 
+/*
 static inline int list_is_first(const struct list_head *list,
                                 const struct list_head *head)
 {
     return list->prev == head;
 }
+*/
 
 #endif // __NV_LIST_HELPERS_H__
diff --git a/nvidia-drm/nvidia-drm-connector.c b/nvidia-drm/nvidia-drm-connector.c
index 24631c0..e64b9fe 100644
--- a/nvidia-drm/nvidia-drm-connector.c
+++ b/nvidia-drm/nvidia-drm-connector.c
@@ -30,7 +30,7 @@
 #include "nvidia-drm-utils.h"
 #include "nvidia-drm-encoder.h"
 
-#include <drm/drm_crtc_helper.h>
+#include <drm/drm_probe_helper.h>
 
 #include <drm/drm_atomic.h>
 #include <drm/drm_atomic_helper.h>
diff --git a/nvidia-drm/nvidia-drm-drv.c b/nvidia-drm/nvidia-drm-drv.c
index 1c2db68..90ce30b 100644
--- a/nvidia-drm/nvidia-drm-drv.c
+++ b/nvidia-drm/nvidia-drm-drv.c
@@ -41,7 +41,7 @@
 
 #include <drm/drmP.h>
 
-#include <drm/drm_crtc_helper.h>
+#include <drm/drm_probe_helper.h>
 
 #if defined(NV_DRM_DRM_GEM_H_PRESENT)
 #include <drm/drm_gem.h>
diff --git a/nvidia-drm/nvidia-drm-encoder.c b/nvidia-drm/nvidia-drm-encoder.c
index f66bbd7..0e5e2a8 100644
--- a/nvidia-drm/nvidia-drm-encoder.c
+++ b/nvidia-drm/nvidia-drm-encoder.c
@@ -31,7 +31,7 @@
 #include "nvidia-drm-crtc.h"
 #include "nvidia-drm-helper.h"
 
-#include <drm/drm_crtc_helper.h>
+#include <drm/drm_probe_helper.h>
 
 #include <drm/drm_atomic.h>
 #include <drm/drm_atomic_helper.h>
diff --git a/nvidia-drm/nvidia-drm-gem-nvkms-memory.c b/nvidia-drm/nvidia-drm-gem-nvkms-memory.c
index 8636eff..01c6ce4 100644
--- a/nvidia-drm/nvidia-drm-gem-nvkms-memory.c
+++ b/nvidia-drm/nvidia-drm-gem-nvkms-memory.c
@@ -222,7 +222,7 @@ done:
 
 /* XXX Move these vma operations to os layer */
 
-static int __nv_drm_vma_fault(struct vm_area_struct *vma,
+static vm_fault_t __nv_drm_vma_fault(struct vm_area_struct *vma,
                               struct vm_fault *vmf)
 {
     unsigned long address = nv_page_fault_va(vmf);
@@ -268,7 +268,7 @@ static int __nv_drm_vma_fault(struct vm_area_struct *vma,
  */
 
 #if defined(NV_VM_OPS_FAULT_REMOVED_VMA_ARG)
-static int nv_drm_vma_fault(struct vm_fault *vmf)
+static vm_fault_t nv_drm_vma_fault(struct vm_fault *vmf)
 {
     return __nv_drm_vma_fault(vmf->vma, vmf);
 }
diff --git a/nvidia-uvm/uvm8.c b/nvidia-uvm/uvm8.c
index e00923d..7278415 100644
--- a/nvidia-uvm/uvm8.c
+++ b/nvidia-uvm/uvm8.c
@@ -166,13 +166,13 @@ static void uvm_destroy_vma_semaphore_pool(struct vm_area_struct *vma)
 // If a fault handler is not set, paths like handle_pte_fault in older kernels
 // assume the memory is anonymous. That would make debugging this failure harder
 // so we force it to fail instead.
-static int uvm_vm_fault_sigbus(struct vm_area_struct *vma, struct vm_fault *vmf)
+static vm_fault_t uvm_vm_fault_sigbus(struct vm_area_struct *vma, struct vm_fault *vmf)
 {
     UVM_DBG_PRINT_RL("Fault to address 0x%lx in disabled vma\n", nv_page_fault_va(vmf));
     return VM_FAULT_SIGBUS;
 }
 
-static int uvm_vm_fault_sigbus_wrapper(struct vm_fault *vmf)
+static vm_fault_t uvm_vm_fault_sigbus_wrapper(struct vm_fault *vmf)
 {
 #if defined(NV_VM_OPS_FAULT_REMOVED_VMA_ARG)
     return uvm_vm_fault_sigbus(vmf->vma, vmf);
@@ -390,7 +390,7 @@ static void uvm_vm_close_managed(struct vm_area_struct *vma)
         uvm_record_unlock_mmap_sem_write(&current->mm->mmap_sem);
 }
 
-static int uvm_vm_fault(struct vm_area_struct *vma, struct vm_fault *vmf)
+static vm_fault_t uvm_vm_fault(struct vm_area_struct *vma, struct vm_fault *vmf)
 {
     uvm_va_space_t *va_space = uvm_va_space_get(vma->vm_file);
     uvm_va_block_t *va_block;
@@ -507,7 +507,7 @@ convert_error:
     }
 }
 
-static int uvm_vm_fault_wrapper(struct vm_fault *vmf)
+static vm_fault_t uvm_vm_fault_wrapper(struct vm_fault *vmf)
 {
 #if defined(NV_VM_OPS_FAULT_REMOVED_VMA_ARG)
     return uvm_vm_fault(vmf->vma, vmf);

Related articles

• 2024/04/08 13:19 / Linux 6.8.4
• 2022/04/18 15:22 / Linux 5.17
• 2021/09/08 12:13 / Linux 5.14
• 2021/07/19 11:11 / Linux 5.13
• 2021/04/28 18:58 / Linux 5.12
• 2021/01/13 21:27 / brtfs 上に swap ファイルを置く
• 2020/09/11 20:24 / Linux 5.9-rc4
• 2020/07/12 16:42 / Linux 5.8-rc4
• 2020/05/01 21:21 / Linux 5.7-rc1
• 2020/04/03 22:18 / Linux 5.6.x fs/cachefiles/rdwr.c bug
• 2020/02/22 19:33 / Linux 5.6-rc2
• 2020/01/11 20:50 / Linux 5.5-rc5
• 2019/11/25 14:45 / nvidia-kernel-dkms 418.74-1 with Linux 5.4
• 2019/10/02 00:03 / Linux 5.3.1 -> 5.4-rc1
• 2019/09/20 14:45 / nvidia-kernel-dkms 418.74-1 with Linux 5.3
• 2019/07/22 19:13 / Linux 5.2.2 -> 5.3-rc1
• 2019/06/12 16:10 / Linux 5.1.8 -> 5.2-rc4
• 2019/05/07 19:43 / Linux 5.0.9 -> 5.1.0
• 2019/03/07 22:16 / Linux 4.20.13 -> 5.0.0
• 2018/11/06 11:30 / Linux 4.19.0 -> 4.20-rc1
• 2018/08/29 11:06 / Linux 4.18.5 -> 4.19-rc1
• 2018/06/20 17:06 / Linux 4.17.2 -> 4.18-rc1
• 2018/04/19 15:25 / Linux 4.16.2 -> 4.17-rc1
• 2018/02/12 17:23 / Linux 4.15.3 -> 4.16-rc1
• 2018/01/29 11:08 / Linux 4.14.15 -> 4.15
• 2017/11/28 12:42 / Linux 4.14.2 -> 4.15-rc1
• 2017/11/15 15:56 / Linux ORC unwinder と objtool (CONFIG_STACK_VALIDATION needs tools/objtool/objtool along headers)
• 2017/11/15 15:41 / Linux 4.13.12 -> 4.14.0
• 2017/09/18 07:04 / Linux 4.13.1 -> 4.14-rc1
• 2017/09/05 04:14 / Linux 4.12.10 -> 4.13
• 2017/07/16 23:56 / Linux 4.12.0 -> 4.13-rc1
• 2017/05/15 14:04 / Linux 4.11.0 -> 4.12-rc1
• 2017/05/03 00:24 / Linux 4.10.13 -> 4.11.0
• 2017/03/06 09:51 / Linux 4.10.1 -> 4.11-rc1
• 2017/02/20 10:31 / Linux 4.9.X -> 4.10
• 2016/12/30 21:28 / Linux 4.9 -> 4.10-rc1
• 2016/12/14 23:00 / Linux 4.8 -> 4.9

手元の Postfix で大きめのメールが弾かれるので設定．/etc/postfix/main.cf に message_size_limit = 30720000 などと書いて postfix を restart するだけ．

Default は http://www.postfix.org/postconf.5.html のとおり 10240000 (10MByte)．

ちなみに，Gmail/Outlook.com のサイズ制限は以下．

• Gmailから送付可能な添付ファイルの最大: 25MB
• Gmailで受信可能なメールの最大: 50MB
• Outlook.comから送付可能な添付ファイルの最大: 34MB

ほぼ markdown に移行したのだが，一部 RD を使う場面があって，Emacs の rd-mode を使っているのだが，M-RET (箇条書きItem (*)追加)が以下でコケる．

if: Symbol’s function definition is void: insert-string

手元の Emacs 24.5.1 で f1-f insert-string で確認したところ以下とのことでinsertを使わなければならないらしい．

This function is obsolete since 22.1;
use `insert' instead.

なお insert-string は以下で定義されている(integerであればstringに変換のうえinsertする)．

(defun insert-string (&rest args)
  "Mocklisp-compatibility insert function.
Like the function `insert' except that any argument that is a number
is converted into a string by expressing it in decimal."
  (declare (obsolete insert "22.1"))
  (dolist (el args)
    (insert (if (integerp el) (number-to-string el) el))))

github では https://github.com/uwabami/rdtool/commit/9879b190716b43ff5801782ddf2de65b0a5893ef で修正されているようだが Debian Package はまだのようで，ひとまず ~/.emacs に以下を書いておく．

(defun rd-intelligent-newline ()
  (interactive)
  (let (item)
    (setq item
          (save-excursion (rd-search-last-listitem) )
          )
    (end-of-line)
    (newline)
    (if item (insert item) )
    )
  )

Related articles

• 2014/04/29 00:31 / File system crash

Linux 5.2 の準備のため，.configがどう変更されるのか見てみた．以下 - は削除されたもの，+ は追加されたもの．x86_64．

追加

• +CONFIG_NET_VENDOR_XILINX=y

  net: ll_temac: Allow use on x86 platforms

  使わないので n に．

• +CONFIG_DRM_GEM_SHMEM_HELPER=y

  drm: Add library for shmem backed GEM objects

  Selected by [m]:
  - DRM_CIRRUS_QEMU [=m] && HAS_IOMEM [=y] && DRM [=m] && PCI [=y] && MMU [=y]

• +CONFIG_SND_USB_AUDIO_USE_MEDIA_CONTROLLER=y

  media: sound/usb: Use Media Controller API to share media resources

• +CONFIG_NVMEM_SYSFS=y

  nvmem: core: add NVMEM_SYSFS Kconfig

  yにしておく．

• +CONFIG_INIT_STACK_NONE=y

  security: Create “kernel hardening” config area

  NONE 以外の Option は CONFIG_GCC_PLUGINS=y に依存する．apt install gcc-6-plugin-dev すれば CONFIG_GCC_PLUGINS=y になる．CONFIG_GCC_PLUGIN_STRUCTLEAK_USER=y (weak)ぐらいにしておいても良いかも知れないが，もろもろ考慮して CONFIG_INIT_STACK_NONE=y のままにしておく．

• +CONFIG_CRYPTO_ECC=m

  crypto: ecc - make ecc into separate module

• +CONFIG_IRQ_POLL=y

  scsi: mpt3sas: Irq poll to avoid CPU hard lockups

  mpt3sas が IRQ poll を利用するようになった．

• +CONFIG_ARCH_STACKWALK=y

  stacktrace: Provide common infrastructure
  x86/stacktrace: Use common infrastructure

• +CONFIG_DEBUG_MISC=y

  init: introduce DEBUG_MISC option

  DEBUG_KERNEL の一部が DEBUG_MISC に置き換えられる．

• +CONFIG_ARCH_HAS_SET_DIRECT_MAP=y

  x86/mm/cpa: Add set_direct_map_*() functions

  x86 で y になる．

• +CONFIG_CONTIG_ALLOC=y

  mm: simplify MEMORY_ISOLATION && COMPACTION || CMA into CONTIG_ALLOC

• +CONFIG_ARCH_HAS_HMM_MIRROR=y

  mm/hmm: add ARCH_HAS_HMM_MIRROR ARCH_HAS_HMM_DEVICE Kconfig

• +CONFIG_NETFILTER_XT_TARGET_MASQUERADE=m

  netfilter: x_tables: merge ip and ipv6 masquerade modules

  手元では IP_NF_TARGET_MASQUERADE=m で select されていた．

ほか

• -CONFIG_ARCH_SUPPORTS_OPTIMIZED_INLINING=y

  compiler: allow all arches to enable CONFIG_OPTIMIZE_INLINING

  x86 のみで CONFIG_OPTIMIZE_INLINING を enable 可能だったが，他の architecture でも enable 可能になった．

  ついでに CONFIG_OPTIMIZE_INLINING=y にした．

削除

• -CONFIG_ANON_INODES=y

  Make anon_inodes unconditional

  無条件にanon_inodes.oが組み込まれるようになった．

• -CONFIG_GENERIC_HWEIGHT=y

  x86/kconfig: Disable CONFIG_GENERIC_HWEIGHT and remove __HAVE_ARCH_SW_HWEIGHT

• -CONFIG_RWSEM_XCHGADD_ALGORITHM=y

  locking/rwsem: Remove rwsem-spinlock.c & use rwsem-xadd.c for all archs

  無条件にrwsem-xadd.cが使われるようになった．

• -CONFIG_X86_DEV_DMA_OPS=y

  x86/pci: Clean up usage of X86_DEV_DMA_OPS

• -CONFIG_HAVE_RCU_TABLE_INVALIDATE=y

  asm-generic/tlb, arch: Invert CONFIG_HAVE_RCU_TABLE_INVALIDATE

  CONFIG_HAVE_RCU_TABLE_NO_INVALIDATE が導入されて n になった．

• -CONFIG_ARCH_DISCARD_MEMBLOCK=y

  parisc: Kconfig: remove ARCH_DISCARD_MEMBLOCK

• -CONFIG_INET_XFRM_MODE_TRANSPORT=m
-CONFIG_INET_XFRM_MODE_TUNNEL=m
-CONFIG_INET_XFRM_MODE_BEET=m
-CONFIG_INET6_XFRM_MODE_TRANSPORT=m
-CONFIG_INET6_XFRM_MODE_TUNNEL=m
-CONFIG_INET6_XFRM_MODE_BEET=m
-CONFIG_INET6_XFRM_MODE_ROUTEOPTIMIZATION=m

  xfrm: make xfrm modes builtin

• -CONFIG_NF_NAT_NEEDED=y

  netfilter: replace NF_NAT_NEEDED with IS_ENABLED(CONFIG_NF_NAT)

• -CONFIG_CHASH=m

  drm/amdgpu: remove chash

• -CONFIG_BACKLIGHT_LCD_SUPPORT=y

  video: backlight: Remove useless BACKLIGHT_LCD_SUPPORT kernel symbol

• -CONFIG_HAVE_DEBUG_STACKOVERFLOW=y

  x86/irq/64: Remove stack overflow debug code

• -CONFIG_TRACING_EVENTS_GPIO=y

  tracing: stop making gpio tracing configurable

追記 (2019/7/13)

nvidia-kernel-dkms 418.74-1 と nvidia-legacy-390xx-kernel-dkms 390.116-1 で，以下の箇所で compile に失敗する(Linux 5.2.0)．mm: introduce put_user_page*(), placeholder versions

/var/lib/dkms/nvidia-current/418.74/build/nvidia-uvm/uvm8_tools.c:209:13: error: conflicting types for ‘put_user_pages’
 static void put_user_pages(struct page **pages, NvU64 page_count)
             ^~~~~~~~~~~~~~
In file included from /var/lib/dkms/nvidia-current/418.74/build/common/inc/nv-pgprot.h:17,
                 from /var/lib/dkms/nvidia-current/418.74/build/common/inc/nv-linux.h:20,
                 from /var/lib/dkms/nvidia-current/418.74/build/nvidia-uvm/uvm_linux.h:41,
                 from /var/lib/dkms/nvidia-current/418.74/build/nvidia-uvm/uvm_common.h:48,
                 from /var/lib/dkms/nvidia-current/418.74/build/nvidia-uvm/uvm8_tools.c:23:
./include/linux/mm.h:1075:6: note: previous declaration of ‘put_user_pages’ was here
 void put_user_pages(struct page **pages, unsigned long npages);
      ^~~~~~~~~~~~~~

./include/linux/mm.hに導入されたput_user_pagesはNVIDIAのドライバのそれと全く同じなので，以下のようにNVIDIA側でcomment outしてしまう．これでcompileできる．

--- a/nvidia-uvm/uvm8_tools.c
+++ b/nvidia-uvm/uvm8_tools.c
@@ -204,12 +204,14 @@ static bool tracker_is_counter(uvm_tools_event_tracker_t *event_tracker)
     return event_tracker != NULL && !event_tracker->is_queue;
 }
 
+/*
 static void put_user_pages(struct page **pages, NvU64 page_count)
 {
     NvU64 i;
     for (i = 0; i < page_count; i++)
         put_page(pages[i]);
 }
+*/
 
 static void unmap_user_pages(struct page **pages, void *addr, NvU64 size)
 {

Related articles

• 2024/04/08 13:19 / Linux 6.8.4
• 2022/04/18 15:22 / Linux 5.17
• 2021/09/08 12:13 / Linux 5.14
• 2021/07/19 11:11 / Linux 5.13
• 2021/04/28 18:58 / Linux 5.12
• 2021/01/13 21:27 / brtfs 上に swap ファイルを置く
• 2020/09/11 20:24 / Linux 5.9-rc4
• 2020/07/12 16:42 / Linux 5.8-rc4
• 2020/05/01 21:21 / Linux 5.7-rc1
• 2020/04/03 22:18 / Linux 5.6.x fs/cachefiles/rdwr.c bug
• 2020/02/22 19:33 / Linux 5.6-rc2
• 2020/01/11 20:50 / Linux 5.5-rc5
• 2019/11/25 14:45 / nvidia-kernel-dkms 418.74-1 with Linux 5.4
• 2019/10/02 00:03 / Linux 5.3.1 -> 5.4-rc1
• 2019/09/20 14:45 / nvidia-kernel-dkms 418.74-1 with Linux 5.3
• 2019/07/22 19:13 / Linux 5.2.2 -> 5.3-rc1
• 2019/06/28 20:38 / GeForce GT 430 with nvidia-legacy-390xx-kernel-dkms 390.116-1~bpo9+1
• 2019/05/07 19:43 / Linux 5.0.9 -> 5.1.0
• 2019/03/07 22:16 / Linux 4.20.13 -> 5.0.0
• 2018/11/06 11:30 / Linux 4.19.0 -> 4.20-rc1
• 2018/08/29 11:06 / Linux 4.18.5 -> 4.19-rc1
• 2018/06/20 17:06 / Linux 4.17.2 -> 4.18-rc1
• 2018/04/19 15:25 / Linux 4.16.2 -> 4.17-rc1
• 2018/02/12 17:23 / Linux 4.15.3 -> 4.16-rc1
• 2018/01/29 11:08 / Linux 4.14.15 -> 4.15
• 2017/11/28 12:42 / Linux 4.14.2 -> 4.15-rc1
• 2017/11/15 15:56 / Linux ORC unwinder と objtool (CONFIG_STACK_VALIDATION needs tools/objtool/objtool along headers)
• 2017/11/15 15:41 / Linux 4.13.12 -> 4.14.0
• 2017/09/18 07:04 / Linux 4.13.1 -> 4.14-rc1
• 2017/09/05 04:14 / Linux 4.12.10 -> 4.13
• 2017/07/16 23:56 / Linux 4.12.0 -> 4.13-rc1
• 2017/05/15 14:04 / Linux 4.11.0 -> 4.12-rc1
• 2017/05/03 00:24 / Linux 4.10.13 -> 4.11.0
• 2017/03/06 09:51 / Linux 4.10.1 -> 4.11-rc1
• 2017/02/20 10:31 / Linux 4.9.X -> 4.10
• 2016/12/30 21:28 / Linux 4.9 -> 4.10-rc1
• 2016/12/14 23:00 / Linux 4.8 -> 4.9