Raspberry Pi Zero WをPCに繋ぎ、ボタン（タクトスイッチ）を押したら「管」の文字を入力する仕組みを作りたい

• Windows 11で「管」をアクセラレータキーとするメニューがあるという話から
• Raspberry Pi Zeroをキーボード扱いではなくJoypad(GamePad)扱いしたほうが確実かも
• ラズパイZeroのHID(Joypad)化とPC側でのキーの読み替えの仕込み
• Windows 11の、実際のWindows+Xメニューでも試してみた(2021/11/4追記)

■Windows 11で「管」をアクセラレータキーとするメニューがあるという話から

少し前の話になりますが、Windows 11で、[Windows］＋［X］メニューの「Windowsターミナル(管理者)」のアクセラレータキーが「管」に設定されていて、キーボードから押せないという問題が起きていました。そしてそれを、ゲームボーイ(カラー)を使った力業で解決したという記事がありました。

どうやら、GlovePieで「key.Unicode7BA1 = joystick.button2」を設定して「管」を入力する仕組みを構築したようです。
(7BA1は「管」のUTF-16(BE)表現。JoystickのButton2の入力をPCが受け取ると、GlovePieが「管」の文字を送出するようである)

これって、Raspberry Pi Zero WをUSB接続のHIDとして認識させる方法でもできるはずだよね？ということを考えまして、実現する方法をずっと考えておりました。

ボタンを付けるので、GPIOピンの付いたRaspberry Pi Zero Wを用意する必要があります。

多分「ブレッドボードとタクトスイッチを使って、ボタンを押したら日本語キーボードにはなかなか存在しなさそうなスキャンコードをWindows PCに送り込み、そのキーをRegisterHotkey()で捕まえて、SendInput() APIのKEYEVENTF_UNICODEモードで『管』の文字を送り込む」方法でどうにかなるだろうなと思っていたものの、まとまった時間が確保できず、なかなか試せずにいました。

■Raspberry Pi Zeroをキーボード扱いではなくJoypad(GamePad)扱いしたほうが確実かも

SendInput() APIのKEYEVENTF_UNICODEモードで「管」の文字を送り込むの部分については、最近公開した疑似シリーズで、上記の事件を参考に作ったジョークネタとして「管」をアクセラレータキーにするという状態を作った際、単体テストとしてキーボードシミュレータを使ってみるということをしたので、実現できることは確認できています。

実際色々考えて見ると、「日本語キーボードにはなかなか存在しなさそうなスキャンコード」とWindowsのVirtual Key Codeの対応を調べるのは至難の業だし、「日本語キーボードにない」からといって、正しくそのコードを受け取りたい動きを邪魔してしまうのはよくない。

というわけで、キーボードではなく、Joypad(GamePad)のボタンを押すシミュレーションをした方が確実ではないかな？と思うようになりました。

■ラズパイZeroのHID(Joypad)化とPC側でのキーの読み替えの仕込み

Raspberry Pi Zero WをUSB接続のHIDとして認識させて「物理版マウスふるふる」を作ったときの状態を、少し変化させることによって実現してみます。

(1) まず、物理版マウスふるふるを作った時には、/etc/fstabを編集してSDカードをRead Only化してしまっていましたので、Read Onlyを解除後、fstabを編集して恒久的に元に戻します(赤字の部分)。

pi@raspberrypi5:~ $ mountfs rw
Filesystem mounted in READ-WRITE mode

pi@raspberrypi5:~ $ sudo vi /etc/fstab

proc            /proc           proc    defaults          0       0
PARTUUID=○○○○-01  /boot           vfat    defaults                  0       2
PARTUUID=○○○○-02  /               ext4    defaults,noatime          0       1

# a swapfile is not a swap partition, no line here
#   use  dphys-swapfile swap[on|off]  for that
tmpfs           /tmp             tmpfs    defaults,size=64m,noatime,mode=1777      0       0
tmpfs           /var/tmp         tmpfs    defaults,size=16m,noatime,mode=1777      0       0
tmpfs           /var/log         tmpfs    defaults,size=32m,noatime,mode=0755      0       0
tmpfs           /var/lib/systemd tmpfs    defaults,size=64m,noatime,mode=0755      0       0

(2) 次の内容で hid.sh を修正します。接続したPCに対し、Joypadとして認識させるシェルスクリプトです。

　前回、PCに対してHID (Human Interface Device) なUSBデバイスだと認識させるための設定を行っていましたが、マウスではなくJoypad(GamePad)として認識させるように変更します。今回も、以下の内容は、TomoSoftさんの内容を参考に構成しています。

pi@raspberrypi5:~ $ vi hid.sh

#!/bin/bash
/usr/sbin/modprobe libcomposite
cd /sys/kernel/config/usb_gadget/
mkdir -p g1
cd g1
echo 0x1d6b > idVendor  # Linux Foundation
echo 0x0104 > idProduct # Multifunction Composite Gadget
echo 0x0100 > bcdDevice # v1.0.0
echo 0x0200 > bcdUSB    # USB2
mkdir -p strings/0x409
echo "S/N DUMMY 000-00"   > strings/0x409/serialnumber
echo "inasoft.org"        > strings/0x409/manufacturer
echo "Generic USB Joypad" > strings/0x409/product
N="usb0"
mkdir -p functions/hid.$N
echo 1 > functions/hid.$N/protocol
echo 1 > functions/hid.$N/subclass
echo 8 > functions/hid.$N/report_length
echo -ne \\x05\\x01\\x09\\x04\\xa1\\x01\\x09\\x01\\xa1\\x00\\x05\\x09\\x19\\x01\\x29\\x03\\x15\\x00\\x25\\x01\\x95\\x03\\x75\\x01\\x81\\x02\\x95\\x01\\x75\\x05\\x81\\x03\\x05\\x01\\x09\\x33\\x09\\x34\\x09\\x35\\x16\\x01\\x80\\x26\\xff\\x7f\\x75\\x10\\x95\\x03\\x81\\x06\\xc0\\xc0 > functions/hid.usb0/report_desc
C=1
mkdir -p configs/c.$C/strings/0x409
echo "Config $C: ECM network" > configs/c.$C/strings/0x409/configuration
echo 250 > configs/c.$C/MaxPower
ln -s functions/hid.$N configs/c.$C/
# End functions
ls /sys/class/udc > UDC

pi@raspberrypi5:~ $ chmod 744 hid.sh

(2) Raspberry Pi Zero WのGPIOとブレッドボードとタクトスイッチを使って、Joypadボタンを作ります。

　上記の写真では分かりづらいので、模式図を示します。

(3) タクトスイッチを押したら「Joypadの1ボタンを押されたとPCに伝える」スクリプトを作成します。

　ボタンを押したらGPIO#24がHIGHになるので、それを監視して、Joypadのボタンを押下状態にします。

pi@raspberrypi5:~ $ vi watch_button_as_joypad.py

#!/usr/bin/env python3

import RPi.GPIO as GPIO
import time

GPIO.setmode(GPIO.BCM)
GPIO.setup(24, GPIO.IN)

def write_report(report):
    with open('/dev/hidg0', 'rb+') as fd:
        fd.write(report.encode())

while True:
    if GPIO.input(24) == GPIO.HIGH:
      write_report(chr(1)+chr(0x00)+chr(0)+chr(0x00)+chr(0)+chr(0x00)+chr(0))
    else:
      write_report(chr(0)+chr(0x00)+chr(0)+chr(0x00)+chr(0)+chr(0x00)+chr(0))
    time.sleep(0.1)


pi@raspberrypi5:~ $ chmod 744 watch_button_as_joypad.py

　hid.shで準備した/dev/hidg0に対して、Joypadの状態を書き込みます。最初の1バイトがボタン押下状態を表しているそうです。

(4) さきほど準備したスクリプトを、rootのcronでOS起動時に実行するようにします。末尾を下記の内容で修正します。

pi@raspberrypi5:~ $ sudo crontab -e

MAILTO=""
@reboot /usr/bin/bash /home/pi/hid.sh;/usr/bin/python /home/pi/watch_button_as_joypad.py > /tmp/errlog.txt 2>&1

(5) Raspberry Pi Zero側の準備はひとまず完了です。いったん、Raspberry Pi Zeroを安全にシャットダウンします。

pi@raspberrypi5:~ $ sudo shutdown -h now

(6) PC側でJoypadのボタン1を受け取ったら、SendInput() APIで『管』の文字を送出するプログラムを作成し、実行しっぱなしにします。

C++版 / PowerShell版

【C++版】 joyPadBtn2Kan.cpp

#include <stdio.h>
#include <windows.h>
#include <mmsystem.h>

#pragma comment(lib, "winmm.lib")

int main()
{
    JOYINFO  ji, ji2;
    bool     bPushButton;     // Joypadのボタン押下状態
    bool     bLastPushButton; // Joypadのボタン押下状態(前回)…連続押し防止のため

    while(1) {
        bPushButton = false;
        // Joypadのボタン押下状態を読み取り(最大2台まで判定)
        if ( JOYERR_NOERROR == joyGetPos(JOYSTICKID1, &ji)) {
            if ( (ji.wButtons & 0x01) == 0x01 ) {
                bPushButton = true;
            }
        }
        if ( JOYERR_NOERROR == joyGetPos(JOYSTICKID2, &ji2)) {
            if ( (ji2.wButtons & 0x01) == 0x01 ) {
                bPushButton = true;
            }
        }

        if (bPushButton) {
            if (bLastPushButton == true) {
                // 連続長押しは無視
            }
            else {
                bLastPushButton = true;
                printf("管"); // Joypad(#1 or #2)のボタン1押下を認識したら「管」の文字を画面に出力

                INPUT inputs[2];
                ZeroMemory(inputs, sizeof(inputs));
                // 押し
                inputs[0].type = INPUT_KEYBOARD;
                inputs[0].ki.dwFlags = KEYEVENTF_UNICODE;
                inputs[0].ki.wScan = 0x7BA1; // 管(UTF-16 BE)
                // 離し
                inputs[1] = inputs[0];
                inputs[1].ki.dwFlags |= KEYEVENTF_KEYUP;

                // キー入力シミュレーション(Unicode文字列モード)
                SendInput(2, inputs, sizeof(INPUT));
             }
        }
        else {
            bLastPushButton = false;
        }

        // CPUを回しすぎないようにウェイト
        MsgWaitForMultipleObjects(0, NULL, FALSE, 1, QS_ALLINPUT);
    }
    return 0;
}

【PowerShell版】 joyPadBtn2Kan.ps1

# C# class for calling win32api
$source = @"
using System;
using System.Runtime.InteropServices;  // for DllImport, Marshal

public class Win32API {
  [DllImport("user32.dll")]
  extern static uint SendInput(
    uint       nInputs,   // Number of INPUT structure
    INPUT[]    pInputs,   // INPUT structure
    int        cbSize     // Size of INPUT structure
  );
  [StructLayout(LayoutKind.Sequential)]
  struct INPUT
  { 
    public int        type; // 0 = INPUT_MOUSE
                            // 1 = INPUT_KEYBOARD
    public KEYBDINPUT ki;
  }
  [StructLayout(LayoutKind.Sequential)]
  struct KEYBDINPUT
  {
    public short   wVk;
    public short   wScan;   // Unicode character which is to be sent to the foreground application
    public int     dwFlags;
    public int     time;
    public UIntPtr dwExtraInfo;
    public int     dummy1;
    public int     dummy2;
  }

  public static uint sendInputKan()
  {
    INPUT[] inputs = new INPUT[2];

    // [0]Pull down
    inputs[0].type = 1;          // INPUT_KEYBOARD
    inputs[0].ki.dwFlags = 4;    // KEYEVENTF_UNICODE
    inputs[0].ki.wScan = 0x7BA1; // "kan" (means administrator acronym in Japanese)
    inputs[0].ki.wVk = 0;
    inputs[0].ki.time = 0;
    inputs[0].ki.dwExtraInfo = UIntPtr.Zero;
    // [1]Release
    inputs[1].type = 1;          // INPUT_KEYBOARD
    inputs[1].ki.dwFlags = 6;    // KEYEVENTF_UNICODE | KEYEVENTF_KEYUP
    inputs[1].ki.wScan = 0x7BA1; // "kan" (means administrator acronym in Japanese)
    inputs[1].ki.wVk = 0;
    inputs[1].ki.time = 0;
    inputs[1].ki.dwExtraInfo = UIntPtr.Zero;

    // Key Input simulation(Unicode mode)
    return SendInput(2, inputs, Marshal.SizeOf(inputs[0]));
  }

  [DllImport("winmm.dll")]
  extern static int joyGetPos(
    int uJoyID,                  // Identifier of the joystick to be queried
    IntPtr pji                   // Pointer to a JOYINFO structure
  );

  [StructLayout(LayoutKind.Sequential)]
  struct JOYINFO {
      public int dwXpos;
      public int dwYpos;
      public int dwZpos;
      public int dwButtons;      // Current state of joystick buttons
  }

  // Get current state of joystick button #1
  public static bool joyGetBtn1(int iJoy)
  {
    IntPtr ptr;
    JOYINFO ji = new JOYINFO();
    ptr = Marshal.AllocCoTaskMem(Marshal.SizeOf(typeof(JOYINFO)));
    Marshal.StructureToPtr(ji, ptr, false);

    if ( 0 == joyGetPos(iJoy, ptr)) {
      ji = (JOYINFO)Marshal.PtrToStructure(ptr, ji.GetType());
      if ( (ji.dwButtons & 0x01) == 0x01 ) {
        Marshal.FreeCoTaskMem(ptr);
        return true;
      }
    }

    Marshal.FreeCoTaskMem(ptr);
    return false;
  }
}
"@
Add-Type -Language CSharp -TypeDefinition $source

# Last button press state
$bLastPushButton = $false

while ($true) {
  $bPushButton = $false
  
  # Get joystick No.1 button1 status
  if ( [Win32API]::joyGetBtn1(0)) {
    $bPushButton = $true
  }
  # Get joystick No.2 button1 status
  if ( [Win32API]::joyGetBtn1(1)) {
    $bPushButton = $true
  }

  if ($bPushButton) {
    if ($bLastPushButton) {
      # Ignore if you hold down the button
    }
    else {
      $bLastPushButton = $true
      Write-Host -NoNewline "*"
      $dmy = [Win32API]::sendInputKan()
    }
  }
  else {
    $bLastPushButton = $false
  }

  # Sleep to prevent CPU load
  Start-Sleep -m 50
}

(7) Raspberry Pi ZeroとPCをUSB接続します。Raspberry Pi Zero側のmicro USB端子は、「PWR」ではなく「USB」の方を使用します。PCとRaspberry Pi Zeroが接続されると、Raspberry Pi Zeroが起動します。

(8) 動作テストです。待っていると、PC側でJoypadとして認識されます。

前回マウスとして認識させたRaspberry Pi Zeroを再利用しようとした場合、今回もマウスとして認識されてしまうことがあります。その場合は、PC側で「デバイスの削除」をしてから、再接続してみてください。

Raspberry Pi Zero側のタクトスイッチを押してみると、「管」の文字が入力されることが分かります。
(上記(6)のJoypadの監視プログラムを一般権限で動作させた場合は、キー入力の対象とするプログラムも一般権限で動作させてください。キー入力の対象とするプログラムの方だけが管理者権限で動作していると、キーの入力ができません)

(9) 終了するときは、Raspberry Pi Zeroを安全にシャットダウンします。

pi@raspberrypi5:~ $ sudo shutdown -h now

　/etc/fstabを編集してSDカードをRead Only化すればブチ切りもできます。

■Windows 11の、実際のWindows+Xメニューでも試してみた

Windows 11の正式公開から約1か月経過しました。公開当初は誤字（翻訳ミス？）があったり、動作が不安定なところがあったりと、あまり良い話は聞かなかったためWindows 10からのアップグレードを躊躇っておりましたが、さすがに1か月経てば安定するだろうというと思いまして、アップグレードを試してみることにしました。

当初、アップグレード中の進捗率の表示が「あなたはそこに○○％です」と表示されるということが笑われていましたが、さすがにその点は解消されたようですね。

で、実際にアップグレードをしてみますと、手元の環境では今のところ、少なくとも

• MS-IMEの変換が第3候補以降表示されない→【追記】直近のアップデートで修正済
• PlaySound() APIがメモリ内の音声データモノラルのwavデータを再生してくれない(作者の環境での現象。他の環境や、同じ作者の環境でもリモート接続した場合は発生しないっぽくて詳細不明)
• デスクトップ上で右クリックすると、メニューが表示されずに、エクスプローラー（シェル）が再起動→【追記】直近のアップデートで修正済

という問題が発生しており、お世辞にも安定したOSとは言えません。このあたりは、窓の杜などのサイトで継続的に情報収集し対処していくとか、Windows Updateでパッチが登場するのをひたすら待つ必要がありそうです。また、個人的に、

• タスクバーの右クリック、エクスプローラのファイルの右クリックなどで、マウス操作で呼び出したコンテキストメニュー（ポップアップメニュー）でアクセラレータキーが表示されないし効かない。もう一段階操作が必要。これまでは「マウスで右クリック＋キーボードでR」でファイルのプロパティをすばやく呼び出していたのに、それができなくなった。
• スタートボタンを押したときに、直ちに表示されるのはピン止めとおススメだけで、スタートメニューがずらりと表示させるにはもう一段階操作が必要。
• エクスプローラのファイルの右クリックメニューの、削除・切り取りなどがメニュー上部のアイコンで示されており、操作しづらい。見つけづらい。

など、仕様と思われる点も、使いづらいと言わざるを得ません。Windows 10に戻そうかな……。

それはさておき、実際にRaspberry Pi ZeroをWindows 11で試してみたいと思います。

先ほども述べた通り、Windows 11では、マウス操作でポップアップメニューを呼び出した場合と、キーボード操作でポップアップメニューを呼び出した場合とで、メニューの見た目や操作感が変わってきます。

今回対象となるのは、右側の「Windows+X」キーでメニューを呼び出した場合となります。見ての通り、「Windowsターミナル(管理者)」となっており、「管」の部分にアンダーラインが引かれていて、管の字を直接キーボードから入力しなければなりません。

もちろん、Windows+Xでポップアップメニューが表示されているところで、IMEを呼び出し「管」を漢字変換して呼び出すこともできますが、今回はそれをやりたいわけではないので、さっそく、Raspberry Pi ZeroとJoypad監視＆「管」文字送信のPowerShellスクリプトを試してみます。

うまく行きました。

さて、うまく行ったし、Windows 11はまだまだ使いづらいし、Windows 10に戻そうかな……。

あ、ちなみに、Raspberry Pi Zeroを使わなくても、PC用に使えるUSB接続のゲームコントローラーがあれば、1番目と認識されるボタンを押下することで同じことが試せます。

• RapberryPi Zero Wでゲームパッドを作成してパソコンでデータ表示 - TomoSoft
• Raspberry Pi編 第３回 押しボタンでLチカ - システムリンクIT塾
• RaspberryPi Helix - yskoht's blog (今回は採用しませんでしたが、いずれはBluetooth接続もやってみたい)

• 管理人のふたこと 2021年5月 Raspberry Pi Zero WをPCに繋ぎ、マウスのフリをさせてハードウェア版マウスふるふるを作ってみる
• 管理人のひとこと 2021/05/09 前々から気になってた、Raspberry Pi ZeroってFRISKのケースに入るって本当かな。ずっと試したかった
• 管理人のひとこと 2021/05/13 Raspberry Pi Picoを買ったけど、あまり上手くいかず。上手くいかないうちにだんだん熱が冷めて…
• 管理人のひとこと 2021/05/14 最後にこれだけは試しておきたい！Raspberry Pi PicoをMINTIAケースに入れられるか？
• 管理人のひとこと 2021/05/15 ちゃんとやり遂げておきたい。Raspberry Pi ZeroをFRISKケースに入れる件
  
• 管理人のひとこと 2021/10/18 疑似ダッシュボードProに最新のネタをぶっこんだのは良いけど、テストをどうやってやろう……