一次猜谜的过程：在VB里调用没有接口说明的DLL函数

本文来自qingye2008所发的此帖的讨论，感谢陈辉、马云剑、qingye的耐心指点和分享。

1、引言

话说 qingye同学得到了一个用于加解密的Dll（该动态库在这里下载），通过Dll Export Viewer看到dll有2个导出函数分别是Dll_EncIn和Dll_EncOut， qingye同学想在VB中使用这两个函数。因为搞不到接口说明，只好通过查看汇编代码来猜测参数数量和类型。通过同学们的一番摸索，大致的过程小结如下：

（1）先用IDA之类的静态反汇编工具看函数的参数有几个、有没有返回值；（确定是两个、没有返回值）

（2）再用OD之类的动态反汇编调试工具看寄存器里存的参数具体是啥，并根据函数的预定功能，来猜测参数应该声明成什么类型的、应该传什么内容。

a) 比如这个函数的功能是加密，那根据功能猜测要传进去的参数至少应该有明文、也可能还有长度。另外函数应该还有个办法来返回加密后的密文，既然函数没有返回值，那有可能还有个传地址的参数是密文。所以，初步猜测应该有两个参数，一个传明文字符串，一个用来接收密文字符串。

b) 用OD跟进去看寄存器里的内容，发现传字符串“123”，寄存器里写的是“03313233”；再传字符串“123123”，寄存器里写的是“06313233313233”。这就可以确定，这个参数是字符串，字符串的编码是ANSI的（因为&H31是数字1的ANSI编码）,字符串缓冲区之前的首字节是这个ANSI字符串的字节长度。

c) 考虑到这是个用Delphi实现的动态库，所以查阅Delphi的相关文档，确认Delphi中有一种叫做Short String的字符串符合b)里描述的特征，所以印证了这种猜测。

d) 两个参数，是密文在前还是明文在前呢？根据OD观察的结果，并且记住第一个参数后入栈，可以确定是密文在前，明文在后。

（3）根据以上猜测构造在VB里的声明。这就要用到这篇博文和这篇博文里提到的知识了。

2、传结构指针

先来看陈辉写的代码，我觉得是最好最简捷的写法了。

Option Explicit

Private Declare Function Dll_EncIn Lib "d:/EncryptionA.dll" (ByVal lpstrOutput As Long,_
    ByVal lpstrInput As Long) As Long
Private Declare Function Dll_EncOut Lib "d:/EncryptionA.dll" (ByVal lpstrOutput As Long,_
    ByVal lpstrInput As Long) As Long
Private Declare Sub copyMemory Lib "kernel32" Alias "RtlMoveMemory" (Destination As Any,_
    Source As Any,ByVal Length As Long)

Private Type SHORT_STRING
    Length As Byte
    Buffer(254) As Byte
End Type

Public Sub Test_Encode()
    Dim p As SHORT_STRING
    Dim pp As SHORT_STRING
    Dim strTmp As String
    
    p.Length = 6
    copyMemory p.Buffer(0),ByVal "123123",6

    Call Dll_EncIn(VarPtr(pp),VarPtr(p))
    
    strTmp = StrConv(pp.Buffer,vbUnicode)
    strTmp = Left(strTmp,pp.Length)
    Debug.Print strTmp
    
    Call Dll_EncOut(VarPtr(pp),VarPtr(pp))

    strTmp = StrConv(pp.Buffer,pp.Length)
    Debug.Print strTmp
End Sub

说明如下：

（1） 这两个参数我们肯定不能穿String类型进去，因为虽然 VB会自动把传进去的字符串变量改成期待的ANSI编码，但显然这个DLL期待的不是VB里的 BSTR字符串，编码对但结构不对，那还是不行。

（2） 不能直接传String的话，我们就要自己构造传进去的东西。一种比较原始的办法，是自己构造Byte数组（后面会举例）；另外一种是构造结构，像上面陈辉写的代码这样。 用结构的好处是在VB里写代码比较清晰，可以直接用.运算符来取得相应的字节。

（3）大家要注意， 不能把结构里的Byte数组定义为字符串，像下面这样

Private Type STRING_TYPE
    Length As Byte
    strBuffer As String
End Type

这样定义，虽然不会引发VB自动的UA/AU转换，但是由于在VB中字符串变量和字符串缓冲区是分开存储的，所以这里strBuffer只是一个4字节的指针变量。而DLL期待的却是字节长度加字符串缓冲区的一块连续的内存，所以，对不上号，还是不中（见这个帖子的讨论）。不过的话，如果把这个strBuffer定义为 定长字符串（并且长度为4字节倍数）的话，数据就是紧挨着存放的，看下面这种结构的定义也能得到正确的结果。

'结构中含定长字符串的方法——来自Tiger_Zhao
Private Type SHORT_STRING
    Length As Byte
    strBuffer As String * 252
End Type

Public Sub Test_EncodeCH()
    Dim pIn As SHORT_STRING
    Dim pOut As SHORT_STRING
    Dim strTmp As String
    
    pIn.Length = 6
    pIn.strBuffer = StrConv("123123",vbFromUnicode)

    Call Dll_EncIn(VarPtr(pOut),VarPtr(pIn))
    
    strTmp = StrConv(pOut.strBuffer,pOut.Length)
    Debug.Print strTmp
    
    pIn = pOut
    Call Dll_EncOut(VarPtr(pOut),VarPtr(pIn))

    strTmp = StrConv(pOut.strBuffer,pOut.Length)
    Debug.Print strTmp
End Sub

（4）看陈辉写的这几个copyMemory是很方便的，比直接在VB里逐字节（后面我会写这样的代码）自己写简捷多了，但是要小心别用错哦。不过，当定义为定长字符串时更为方便，因为不需要用copyMemory，可以直接给字符串赋值了（见上面Tiger_Zhao的代码）。

3、传字节数组的办法

这是我写的，

Option Explicit

Private Declare Sub Dll_EncIn Lib "D:/EncryptionA.dll" (ByVal lpstrOutput As Long,_
    ByVal lpstrInput As Long)
Private Declare Sub Dll_EncOut Lib "D:/EncryptionA.dll" (ByVal lpstrOutput As Long,_
    ByVal lpstrInput As Long)

'假设1：第1个参数是返回的密文字符串'
'假设2：DLL使用的字符串形式是：长度+ANSI编码'
Public Sub Test_Encode()
    Dim strInput As String,strOutput As String
    Dim bytInput() As Byte,bytOutput() As Byte
    Dim i As Long    
    
'直接按猜想的格式传字节数组进去'
    '转成ANSI字符串'
    strInput = StrConv("123",vbFromUnicode)
    bytInput = strInput
    '加上长度字节，比copyMemory麻烦多了'
    ReDim Preserve bytInput(UBound(bytInput) + 1)
    For i = UBound(bytInput) To 1 Step -1
        bytInput(i) = bytInput(i - 1)
    Next i
    bytInput(0) = LenB(strInput)
    
    ReDim Preserve bytOutput(254)

'调用Dll'
'    Call Dll_EncIn(bytOutput,bytInput) '如果这样写就大错特错了'
    Call Dll_EncIn(VarPtr(bytOutput(0)),VarPtr(bytInput(0)))
    Erase bytInput
    
'把密文字符串读回VB'
    '把长度字节去掉'
    For i = 1 To UBound(bytOutput)
        bytOutput(i - 1) = bytOutput(i)
    Next i
    ReDim Preserve bytOutput(UBound(bytOutput) - 1)
    '转成Unicode字符串'
    strOutput = bytOutput
    Erase bytOutput
    strOutput = StrConv(strOutput,vbUnicode)
    '把VbNullChar去掉'
    strOutput = Left(strOutput & vbNullChar,InStr(1,strOutput,vbNullChar) - 1)
    
    Debug.Print strOutput
End Sub

说明如下：

（1）看我没用copyMemory，直接自己构造的Byte数组，是不是比陈辉的代码啰嗦很多？

（2）要传数组地址可别直接传数组变量的地址，而要 传数组的一个元素的地址。注意VB里的数组变量和C里的数组变量时不同的。C里的数组变量可以当指针用，指向它的第一个元素；而VB里的数组变量则是指向数组描述符。我昨天就是因为把这两个弄混了，结果老是让VB挂掉。

一次猜谜的过程：在VB里调用没有接口说明的DLL函数

相关推荐